Q:
expand_domain_grayは具体的にどういうアルゴリズムなのでしょうか。
ドメイン外がどういう輝度を選択して塗られるかの資料はありますでしょうか？

A:
expand_domain_grayはexpand_regionの輝度版といった感じで、
ドメインで膨張処理をしたあとドメイン外の箇所にその拡張される前に隣接していたピクセルの輝度値で塗りつぶすという処理がされます。添付のプログラムを参照ください。
シンプルなので早いものの、ドメイン外のピクセルが２箇所に接している場合でも平均値などをとっているわけではなく
ランの概念で膨張していたときのピクセルの優先が決定される部分があり想定と若干違うものとなりやすいという部分に注意が必要です。