Q:
HALCON 23.11とRTX40シリーズの組み合わせにおいて、VRAM以上のサイズのモデルを展開できてしまうことがあります。
たとえば、RTX4090は24GBのVRAMを持ちますが、これにバッチサイズ1で23GBを使用するようなモデルを、バッチサイズ3に設定しても展開できてしまいます。
このとき、VRAMの使用量は最大近く、そして共有メモリの使用量も増加します。バッチサイズ1の場合は共有メモリは使用されません。
このとき、エラー4104 Out of compute device memoryが発生することを期待していますが、それが発生しません。
また、推論速度が著しく低下します。
HALCON 23.11×RTX3090ではバッチサイズ3へ設定するとエラー4104が発生するため、以前のバージョンと同じ動作になります。
何が原因でしょうか?

A：
結論として、CUDAおよびNVIDIAドライバの仕様です。
この現象は、少なくともWindows OSでAdaアーキテクチャのGPUがWDDMモードで駆動している場合に発生することを確認しています。ほかのアーキテクチャにおいても発生する可能性は否定できません。
回避方法としては下記の選択肢が挙げられます。

• 記事番号 000012137 の設定を行う (Windows)
• 画面表示用に別のGPUを用意し、対象のGPUをTCCモードへ切り替える

ただし、NVIDIAはGeForceシリーズのほとんどのGPUについてTCCモードへの切り替えをサポートしません。基本は記事番号000012137の対応策になります。