Q:
推論でバッチサイズを設定しまとめて推論する場合どの程度高速になりますか？
A:
計算で求められるものでもなく実機で確認する必要があります。
バッチサイズを1づつ増やし推論時間を計測するサンプルを作成しました。

検証例）
500x500のenhancedネットワークを利用した場合、
RTX2080Tiでバッチサイズ25まで設定できることがわかりました。
しかし、CUDAコアの並列可能な上限よりバッチサイズ8以降は同時処理を行っても
並列化の恩恵は受けられず、処理時間がバッチサイズに比例して上がっていくため、
有効なバッチサイズは8までです。
そのときの1枚当たりの処理時間が1.95ms程度でしたので
約2msかかるとすると1秒間で500枚処理できます。
処理目標が20MPの画像を1秒間に16枚ですので、
オーバーラップなしで500x500に区分けした場合でも1280枚/secとなるため、
RTX2080Tiをもってしてもスペック不足になります。

RTX2080Tiの性能を超えるGPUも市場にはありますが計算機用の特化したGPUとなるため
100万円以上と大変高額です。

GPU複数枚刺しの検討を推奨いたします。
ちなみに、RTX2080Tiよりも1世代前のGTX1080Tiですと、同じ環境で
バッチサイズ12の時が最小値となり、2.53ms程度1枚当たりの推論処理時間がかかります。