増分学習と持続学習（Continual Learning）、生涯学習（Lifelong Learning）の概念はおおむね等価であり、いずれも連続的なデータストリームでモデルを訓練するものです。時間の経過とともに、より多くのデータが徐々に利用可能になり、一方で古いデータはストレージ制限やプライバシー保護などの理由で徐々に利用できなくなる場合があります。また、学習タスクのタイプや数量は事前に定義されていません（例えば、分類タスクにおけるクラス数）。

しかし、増分学習には現在特別に明確な定義がないため、オンライン学習、転移学習、マルチタスク学習などの概念と混同されやすいです。「特に増分学習とオンライン学習の違いに注意する必要があります。オンライン学習では通常、各サンプルを一度だけ使用する必要があり、データはすべて同じタスクからのものです。一方、増分学習はマルチタスクであり、次のタスクに入る前に現在のタスクのデータを複数回処理することが許されます」。上の図は増分学習と他の学習パラダイムの違いを示しています。一般的に、増分学習には以下のいくつかの特徴があります。

• 新しい知識を学習すると同時に、以前に学習した大部分の知識を保持することができます。つまり、モデルは古いタスクと新しいタスクの両方で良好な性能を発揮します。

• 計算能力とメモリはクラス数の増加に伴って一定またはゆっくりと増加するはずです。最も理想的な状況は、あるタスクの学習が完了すると、そのタスクの観測サンプルがすべて破棄されることです。

• モデルは新しいタスクと新しいデータから継続的に新しい知識を学習することができます。新しいタスクが異なる時間に現れた場合でも、モデルは訓練可能です。

増分学習問題の複雑性と挑戦の多様性のため、人々は通常、特定の設定下での増分学習のみを議論します。画像分類モデルを例にとると、モデルが新しい画像と新しいクラスを増分学習する能力を持つことが望まれますが、前者は多くの場合転移学習に関連しています。したがって、タスク増分学習（Task-incremental Learning）と、もう少し難度の高いクラス増分学習（Class-incremental Learning）が、現在のディープラーニングコミュニティで主に考慮されている増分学習パラダイムです。