Q.
find_calib_objectにてExtraction of the mark contours failed (HALCONエラーコード: #8398)が発生します

A.
ノイズの影響でエッジ抽出に失敗している可能性があります。
GenParamNameとGenParamValueにそれぞれ['sigma'], [1.5]のように平滑化パラメータsigmaに1以上の数値を指定し、滑らかなエッジ抽出ができるようパラメータを変更してください。
抽出されるエッジは事前にedges_sub_pixオペレータで確認が可能です。
edges_sub_pixにおいてFilter='canny'を指定した際のパラメータalphaがfind_calib_objectのsigmaに該当します。