私たちはよく、「どのアルゴリズムがより良いか」や「AアルゴリズムはBアルゴリズムより良い」といったような話を聞きます。実はこのような言い方は、ある具体的な問題（タスク）を解決するという前提を無視しています。なぜそう言うかというと、すべての潜在的な問題を考慮すると、すべての学習アルゴリズムは同じくらい良いからです。アルゴリズムの相対的な優劣を議論するには、具体的な問題とタスクを対象にする必要があり、それに意味があります。

例を挙げましょう。私たちは2組のデータセットを持っています。それぞれを訓練データセットとテストデータセットに分割した後、仮説関数AとBを使ってそれぞれ対応する2つの訓練データセットをフィッティングし、以下の結果を得ました。

図（a）のデータ分布の下では、モデルAとBはすべての訓練サンプルを完璧にフィッティングしましたが、テストサンプルでの性能では、モデルAのフィッティング効果がモデルBを上回っています。図（b）のデータ分布の下では、モデルAとBは同様にすべての訓練サンプルを完璧にフィッティングしましたが、テストサンプルでの性能では、モデルBのフィッティング効果がモデルAを上回っています。

上記の例は、どのアルゴリズムも絶対的に完璧なものはなく、それぞれのアルゴリズムには適したデータセット、つまり適したタスクがあることを十分に示しています。

無料の食事はない定理（No Free Lunch Theorem、略してNFL）が言っているのは、私たちが思いつく最も先進的なアルゴリズムであろうと、どんなに不器用なアルゴリズム（例えば無茶な推測）であろうと、それらの期待性能は実際には同じであるということです。

この結論は非常に「信じられない」ように見えますが、実際には成り立っています。ただし、それが成り立つ前提は、すべての可能性のあるデータ分布においてです。しかし、実生活では、私たちは多くの場合、自分が解決しようとしている問題にのみ注目し、それに対する良い解決策を見つけたいと思っています。実生活のシーンを挙げると、例えばあなたの家から地下鉄の駅まで800mあり、出勤時に地下鉄の駅に早く到着したい場合、自転車シェアを選ぶのは良い選択です。しかし、北京から上海まで早く移動したい場合、自転車シェアは明らかに良い選択ではありません。ですから、私たちが注目するのは、現在解決しようとしている問題（またはタスク）の下で、それに適した解決策を見つけることです。

ですから、機械学習の研究の目標は、汎用的な学習アルゴリズムや絶対的に最良の学習アルゴリズムを見つけることではありません。逆に、私たちの目標は、どのような分布が機械学習が経験を獲得する「現実の世界」と関連しているか、どのような学習アルゴリズムが私たちが注目するデータ生成分布で最も効果的かを理解することです。