最新のGPUは使っていないのですが、おそらくPascal世代のGPUはレイトレース3Dに対応していないのが原因だと思います。
以前から、NVIDIAサイトに下記メーッセージが表示されているので、まだ、対応していないと思われます。
Note: The 3D ray-tracing feature will be available soon on NVIDIA GPUs based on NVIDIA Pascal™ architecture, which includes Quadro P6000 and P5000 GPUs.