Q:
select_feature_set_svmで自動特徴量選択を行おうとした際に
エラー3387 [Nu was chosen too big]が発生して選択されない。

A:
本エラー3387はSVMの正規化の定数Nuが大きく
分類のための線が引けない場合に発生します。
Nuはグループの中から例外として判定するための数値でこれが大きいと
除外されるものが増えていきます(添付画像参照)

おそらく、対象の画像と特徴値でデフォルト値では十分な設定が区分けを作ることができず
本エラーが発生しているものと思われます。

select_feature_set_svmではNu(初期値0.05)を以下の記述より
変更することが可能ですので値を下げることにより改善されるかご確認ください。

select_feature_set_svm (ClassTrainDataHandle, 'greedy', 'nu', 0.02, SVMHandle, SelectedFeatures, Score)