過学習とは?
一言でいうと: 練習問題を丸暗記して応用が利かなくなる、AIの「勉強の失敗」です。
過学習の基本
過学習とは、機械学習のモデルが学習用データの細部や偶然の偏りまで覚え込んでしまい、新しいデータに対してうまく判断できなくなる現象です。たとえば試験の練習問題だけを丸暗記した生徒が、少しひねった問題で解けなくなる状態に似ています。モデルが複雑すぎる、学習データが少なすぎる、学習を長く続けすぎるといった条件で起きやすくなります。対策としては、データを増やす、モデルをシンプルにする、正則化という工夫で覚え込みを抑える、学習の途中で検証用データで出来を確認して早めに止める、といった方法が知られています。学習データへの成績ではなく、未知のデータへの成績(汎化性能)を高めることが、機械学習の大きな目標の一つです。逆に、学習が足りずに単純なパターンすら十分に身についていない状態は「未学習(学習不足)」と呼ばれます。
ここがポイント
なぜ起きるのか
モデルには「データの本質的なパターンを学ぶ力」と「たまたまの偏りまで覚える力」の両方があります。データが少ない、あるいはモデルの表現力が大きすぎると、後者が勝ってしまいます。人間で言えば、例外や言い回しまで暗記してしまい、肝心の考え方が身についていない状態です。
見分け方の基本
過学習は、学習用データでの成績は良いのに、検証用データでの成績が悪い、という差で見分けられます。そのため実務では、データを学習用と検証用に分けておくのが基本です。学習を進めるほど検証成績が悪化していくようなら、過学習が進んでいるサインだと考えられます。
代表的な対策
データを増やす・種類を増やすことが最も根本的な対策です。そのほか、学習データに少し変化を加えて水増しする「データ拡張」、モデルの複雑さにブレーキをかける「正則化」、一部の接続をランダムに切って依存を減らす「ドロップアウト」など、さまざまな工夫が使われています。
使うときのコツ・注意点
関連アイテムを楽天市場で探す
広告(PR):楽天市場へのリンクはアフィリエイトリンクです。リンク先で購入されると、このサイトに紹介料が入ることがあります(価格は変わりません)。