増分学習の能力とは、現実世界の連続的な情報の流れを継続的に処理し、新しい知識を吸収しながら、旧知識を保持し、さらには統合・最適化する能力のことです。

機械学習の分野では、増分学習はモデル訓練における一般的な欠陥である「災害的忘却（catastrophic forgetting）」を解決することに取り組んでいます。つまり、一般的な機械学習モデル（特に誤差逆伝播法に基づくディープラーニング手法）は、新しいタスクで訓練する際に、旧タスクでの性能が通常著しく低下します。

災害的忘却の主な原因の1つは、「従来のモデルはデータ分布が固定または定常であり、訓練サンプルが独立同分布であると仮定している」ことです。そのため、モデルはすべてのタスクにおいて同じデータを何度も見ることができます。しかし、データが連続的な情報の流れになると、訓練データの分布は非定常になります。モデルが非定常なデータ分布から継続的に知識を獲得する際に、新しい知識が旧知識に干渉し、モデルの性能が急速に低下し、場合によっては以前に学習した旧知識が完全に上書きまたは忘却されます。

災害的忘却を克服するために、私たちはモデルに、一方では新しいデータから新しい知識を統合し、既存の知識を抽出する能力（可塑性）を発揮させ、もう一方では新しい入力が既存の知識に著しく干渉するのを防ぐ（安定性）必要があります。これら2つの相反する要求が、いわゆる「安定性 - 可塑性のジレンマ（stability - plasticity dilemma）」を構成しています。

災害的忘却を解決する最も単純で無理矢理な方法は、すべての既知のデータを使用してネットワークパラメータを再訓練し、データ分布の時間的な変化に適応させることです。モデルを最初から訓練することは確かに災害的忘却の問題を完全に解決しますが、この方法は非常に非効率的で、モデルが新しいデータをリアルタイムで学習することを大きく妨げます。増分学習の主な目標は、計算および記憶リソースが限られた条件下で、安定性 - 可塑性のジレンマの中で最も効用の高い平衡点を見つけることです。