Q:
ディープラーニング処理の実行時にタスクマネージャー上でGPUの使用率が変化していません。
専用GPUメモリの使用量は上がっていて、推論速度的にもGPUが使用されていそうなのですが。

A:
CPU内蔵グラフィックス (iGPU) と 別体GPU (dGPU) の両方が有効な環境で本現象が発生することを確認しています。
タスクマネージャー上での表示だけの問題で、実際はHALCON・MERLIC・DeepLearningToolで指定したデバイスが正しく使用されています。

下記キャプチャは再現環境で、DLTでの学習中に、nvidia-smiの表示する使用率 (GPU-Util：88%) と タスクマネージャー上の3D使用率 (学習中は通常ここの使用率が高くなります) が一致しないことがわかります。
nvidia-smiでは使用率が高くなっていることから、DLTは正しくGPUを使用できていることがわかります。


NVIDIAとWindows間の問題であるため、HALCON・MERLIC・DeepLearningTool側で対処する方法はありません。
iGPUを無効化することが解決策ですが、実害のない現象であるためそのまま使用いただいても問題ありません。

nvidia-smi上での使用率も低い場合、学習/推論処理のうち、GPUを使っている時間が短いことが考えられます。
例えばモデルに軽量なものを指定して学習させた場合、GPUの使用時間よりもファイル読み込みなどのGPUに関連しない処理にかかる時間のほうが長くなると、GPUの使用率は低く表示されます。アクセス速度の遅いHDDを使用しているとよくこの現象が発生します。この場合、単純に高速なストレージ (SSD) で作業することで結果的にGPU使用率が向上します。
推論時も、前処理・後処理や画像の取り込みなどの処理時間が長いと使用率は低くなります。
これは、GPU使用率が、サンプリング時間内におけるGPUの計算時間から算出されるためです。