Select Language

AI Technology Community

構造リスク最小化Structural Risk Minimization

構造的リスク最小化(Structural Risk Minimization)とは、関数集合を関数部分集合のシーケンスに構築し、各部分集合をVC次元の大小に従って並べることを指します。各部分集合内で最小の経験的リスクを探し、部分集合間で経験的リスクと信頼範囲を折り衷して考慮し、実際のリスクを最小化することです。すなわちSRM基準です。

いわゆる構造的リスク最小化とは、分類精度(経験的リスク)を保証しながら、学習機械のVC次元を低下させることで、学習機械の全サンプル集合における期待リスクをコントロールすることができます。

従来の機械学習方法で一般的に採用されている経験的リスク最小化の原則は、サンプル数が有限の場合には不合理です。したがって、経験的リスクと信頼範囲を同時に最小化する必要があります。

機械学習過程では、経験的リスクを最小化するだけでなく、VC次元をできるだけ小さくして信頼範囲を狭めることで、小さな実際のリスクを達成し、つまり未来のサンプルに対して良好な汎化性能を得ることができます。

統計学習理論は新しい戦略を提案しました。すなわち、関数集合を関数部分集合のシーケンスに構築し、各部分集合をVC次元の大小に従って並べることです。各部分集合内で最小の経験的リスクを探し、部分集合間で経験的リスクと信頼範囲を折り衷して考慮し、実際のリスクを最小化します。この考え方を構造的リスク最小化(Structural Risk Minimization)と呼び、すなわちSRM基準です。

有限の訓練サンプルの下では、学習機械のVC次元が高いほど信頼範囲が大きくなり、真のリスクと経験的リスクの間の差が大きくなる可能性が高くなります。これが過学習現象が発生する理由です。


post
  • 171

    item of content
機械学習は多分野にまたがる学問であり、確率論、統計学、近似理論および複雑なアルゴリズムに関する知識を包含しています。コンピュータをツールとして用い、人間の学習方法をリアルタイムで模倣することを目指すとともに、既存の内容を知識構造に分類して学習効率を効果的に向上させることを目指しています。