ドロップアウトはネットワークの正則化手法であり、実際には多くの異なるネットワーク構造を訓練するのと同じです。それにもかかわらず、推論段階ではすべての異なる構造のパラメータが依然として共有されます。なぜなら、実際には1つのネットワークしか存在しないからです。

機械学習アルゴリズムには、バギングという概念があります。バギングは一種の投票メカニズムを提供するのと同じで、あるタスクに対して、1つのモデルだけを使って決定を下すのではなく、複数のモデルの平均によって最終的な決定を下します。

ドロップアウトでは1つのモデルしかないため、平均操作を行うことができません。代わりに、モデルの重みにドロップアウト率pを乗算します。この手法は線形活性化関数ではそれなりに機能しますが、非線形活性化関数を通した場合には正確ではありません。一方、マクスアウトモデルのアフィン変換には非線形活性化関数が含まれていないため、この変換にもドロップアウト手法を導入することができます。そして実験により、マクスアウトとドロップアウトの組み合わせが比較的良好な結果をもたらすことが示されています。