コンテキスト 私の[OpenAI Scholar夏季プログラム][1]の一環として、テキスト分類にULMFiTアプローチを試してみたいと思いました：[http://nlp.fast.ai/classification/2018/05/15/introducting-ulmfit.html][2]。 ULMFiTは、線形分類器の*ヘッド*または*デコーダー*を備えた「最先端のAWD LSTM」言語モデルの*バックボーン*または*エンコーダー*として説明されています。 Jeremy HowardとSebastian Ruderによって公開された言語モデルは、WikiText - 103で事前学習されており、オプションで下流のタスクに関連するコーパスで微調整することもできます。 一般的な考え方は、まずモデルに英語（ウィキペディア）を教え、次により具体的な文章（例えば、映画レビュー）について教えることです。そのような事前知識があれば、感情分析はずっと簡単になるはずです。 アプローチ 最初は、[映画レビュー感情分析Playgroundコンペティション][3]のRotten Tomatoesデータセットが提供する完全な文章でWikiText - 103言語モデルを微調整しようと試みましたが、分類結果はあまり良くありませんでした。 まず大規模な[IMDB映画レビューデータセット][4]で微調整し、次にRotten Tomatoesの文章で微調整し、最後に線形ヘッドを適用して感情を分類することで、より良い結果を得ました。このプロセスの結果が事前学習済みモデル`fwd_pretrain_aclImdb_clas_1.h5`です。これは[ここ][5]で提供されているスクリプトで事前学習されました。私はこれらのスクリプトをおおよそ次の順序で実行しました： # WikiText - 103からIMDBに微調整 python create_toks.py data/aclImdb/imdb_lm/ python tok2id.py data/aclImdb/imdb_lm/ python finetune_lm.py data/aclImdb/imdb_lm/ data/wt103/ 0 50 --lm - id pretrain_wt103 --early_stopping True # IMDBからRTに微調整 python create_toks.py data/rt/rt_lm/ python tok2id.py data/rt/rt_lm/ python finetune_lm.py data/rt/rt_lm/ data/aclImdb/imdb_lm/ 0 50 --lm - id pretrain_aclImdb --early_stopping True --pretrain_id aclImdb # 分類 python train_clas.py data/rt/rt_clas/ 0 --lm - id pretrain_aclImdb --clas - id pretrain_aclImdb --lr 0.0001 --cl = 25 その後、コンペティション提出用の[kernel][6]を実行するのに必要なすべてのファイルを圧縮しました。 結論 正直なところ、もっと印象的な結果を期待していました。コンペティションでの私のまあまあの[結果][7]は、文のすべての「フレーズ」（単なる句読点まで）に同じ感情を割り当てるという難しいタスクの証である可能性があります。おそらく、より多くのエポック数やパラメータの調整に時間を費やすと良いかもしれません。 謝辞 すべての功績はJeremy HowardとSebastian Ruderにあります。詳細な説明や論文、動画、コードへのリンクについては、["Introducing state of the art text classification with universal language models"][8]をチェックしてください。 [1]: https://iconix.github.io/dl/2018/05/30/openai-scholar [2]: http://nlp.fast.ai/category/classification.html [3]: https://www.kaggle.com/c/movie-review-sentiment-analysis-kernels-only/ [4]: http://ai.stanford.edu/~amaas/data/sentiment/ [5]: https://github.com/fastai/fastai/tree/master/courses/dl2/imdb_scripts [6]: https://www.kaggle.com/iconix/ulmfit-for-rotten-tomatoes/code [7]: https://www.kaggle.com/iconix/ulmfit-for-rotten-tomatoes [8]: http://nlp.fast.ai/classification/2018/05/15/introducting-ulmfit.html