## BERTはあなたのデータをファインチューニングするのに適したモデルでしょうか？それとも最初から事前学習する必要がありますか？ あなたのモデルの学習データを知る BERTモデルは一般的に利用できるようになり、サブワードトークナイゼーションの使用も広まっています。しかし、これらのベースモデルはあなたのデータに対してファインチューニングするのに適しているでしょうか？サブワードトークナイゼーションは、ベースモデルが学習された語彙を隠しています。元の学習データのユニグラムとその分布を調べることで、あなたのデータが最初からモデルを学習することで恩恵を受けるかどうかを判断することができます。 内容 このデータセットは、英語のBERTベースの小文字モデルを学習するために使用された学習データの可能な限りの再構築です。このデータセットは、BookCorpusデータセットとWikipediaの処理済みダンプ（2019年8月）に由来します。BERTのトークナイゼーションスキームの原則に従い、句読点やストップワードは削除されていません。元のUnicodeテキストは[NFKC](https://unicode.org/reports/tr15/)を使用して正規化され、SpaCy英語モデル（大規模）を使用してトークナイズされ、コーパス全体の各ユニグラムの総数が記録されています。ユニグラムは頻度の降順に並べられています。CSVファイルの列値はタブ区切りです。 謝辞 Wikipediaと公開アーカイブサイトが処理前のデータを提供しました。 インスピレーション ここにいくつかの有用なアイデアを紹介します。 * あなたのドメインのデータの確率分布を構築し、BERTベースがあなたのタスクに十分近いかどうかを判断します。 * 新しいBERTモデル（例：Bio - BERT、Legal - BERT）の学習データを分析し、共有語彙に対するクルバック・ライブラー発散を計算することで、それらがBERTベースとどれだけ類似または異なっているかを定量化します。 * このデータを使用して、その姉妹データセット[BERT bigrams](https://www.kaggle.com/toddcook/bert - english - uncased - bigrams)の重要なバイグラムを評価して特定します。 * あなたのデータのどれだけがOOV（語彙外）であるかを判断します。これは再学習の必要性の強い信号となり得ます。 バグ データに何か問題を見つけた場合は、私に知らせてください。私が修正します。 更新 小さな修正の他に、WikipediaのデータリリースがBERTの学習データにより近いものであることがわかった場合、このデータセットを更新します。