Q.
通常GPUやTensorRTなど、ディープラーニングの実行デバイス間での推論速度比較を行えるようなスクリプトはありますか。

A.
添付のサンプルをご確認ください。
results.csvに各デバイスでの実行結果が出力されます。

hrun経由で実行すればコンソールに経過が表示されます。
※添付のbatファイルではopenvino_2021で設定しています。異なるバージョンを使用している場合は適宜変更ください。