Q.
GPUで推論を行っているとき、連続で処理しているときは問題ないのですが、散発的に(5秒に1回など)推論を実行すると処理時間が極端に長くなることがあります。
連続時は20msだったものが100msを超えるような推論時間になり、ばらつきが大きいのですがこれを抑えることは可能ですか?

A.
GPUの省電力設定が原因です。
GPUを使用していない状態が続くと省電力モードに移行し、そこからの復帰、または省電力モードのまま推論が行われるために処理時間が長くなってしまいます。
ある程度連続的 (例：100msに1回) に推論している場合でも、内部的にはわずかに省電力状態になっており、最大パフォーマンスが発揮されていないこともあります。

解決のために、NVIDIA Control Panelから3D設定の管理→電源管理モード を「パフォーマンス最大化を優先」に設定します。
この設定で解決しない場合、nvidia-smiを使った詳細な設定が必要です。記事番号000009712を参照してください。