Q:
①学習率はトレーニング誤差およびバリデーション誤差が下がらない場合に値を大きくする
②モメンタムはトレーニング誤差およびバリデーション誤差が下がらない場合に値を小さくする

と考えていますが、相関関係があるのでしょうか。

また、トレーニング誤差とバリデーション誤差はどのような違いがありますか。

A:
それぞれディープラーニングネットワークの判定の重みを決定する際に
用いられます。まったく相関がないわけではないですが
学習率の設定が高いからモメンタムを低くさせるといったものではなく
トレーニング中の正答率を見てそれぞれ調整させていきます。

エポックがn回のとき
現在の重みが、読み込んだ画像から計算された重みの更新量が、学習率がとすると、
重みの更新式は、(+1) = () となります。
モメンタムはこの重みが変わりすぎることを抑制し、早く収束させられるようにします。
A(n+1)=A(n) +β⊿()　 (" β"：モメンタム)

学習中のグラフがなかなか０に向かわない場合は学習率を高くし
トレーニング誤差が上下して安定しないときにモメンタムを高くします。
ただしモメンタムが高すぎると、正しい判定基準から学習できていないことが生じ
トレーニング誤差とバリデーション誤差がずれることが起きるため
その場合モメンタムを下げる調整が必要となります。
⇒train_dl_classifier_batchのヘルプよりモメンタムの詳細を確認可能です。

完全に正しいわけではないですが、わかりやすくなるよう例えると

ディープラーニングは教科書を丸暗記する勉強法で
エポック数がテキストを読み返す回数で、学習率はどれだけ熱心に読み込むかとなりますが
学習率を常に高くしすぎると、早く内容を覚えてくれやすくはなりますが
質問するときに、助詞や語順まで完全に一致しないと答えられないほど融通が利かない勉強結果になってしまいます。これがトレーニング誤差とバリデーション誤差が大きい場合です。

それを防ぎつつ高速に勉強できるように
学習率によって、まずは重要な単語の重みを強く、それ以外は学習の度合いを弱めて流して読むようにします。
モメンタムは、前回の学習でここはだいたい正しかったからもっと流しちゃっていいよとする度合いで学習を終わらせるのを早くするものとなります。


＞また、トレーニング誤差とバリデーション誤差はどのような違いがありますか。

トレーニング誤差は実際に学習に使っている画像に対して判定結果が誤ったかの確率です。
何に分けるべきかをその画像で検討しているため
分類種別ごとに存在する、画像内のどんな違いでも(全体の明るさや特定の画素に何かがある場合など)判定基準にされることから
人が目視で確認できる以上に高い分類精度を持つことも可能です。

それに対してバリデーション誤差は、ディープラーニングでは
用意された画像の一部をトレーニング用ではなく
学習結果が正しいか確認用に別にしていますので、その画像に対する、誤った判定がされた確率です。
上記のトレーニングの際に、実際に判断基準にすべきもの以外で不要なトレーニングを行っていると誤差はトレーニング誤差と隔離してしまうため
学習が誤っているとといった判断に利用できます。