BERTはあなたのデータをファインチューニングするのに適したモデルでしょうか？それとも最初から事前学習が必要でしょうか？

モデルの学習データを知る

BERTモデルは一般的に利用できるようになり、サブワードトークン化の使用も広まっています。しかし、これらのベースモデルはあなたのデータに対してファインチューニングするのに適しているでしょうか？サブワードトークン化は、ベースモデルが学習された語彙を隠してしまいます。元の学習データのユニグラムとその分布を調べることで、あなたのデータが最初からモデルを学習することから恩恵を受けるかどうかを判断できます。

内容

このデータセットは、英語のBERTベースの大文字小文字を区別しないモデルを学習するために使用された学習データの最善の再構築です。このデータセットは、BookCorpusデータセットとWikipedia（2019年8月）の処理済みダンプに由来しています。BERTのトークン化スキームの原則に従い、句読点やストップワードは削除されていません。元のUnicodeテキストは、NFKCを使用して正規化され、SpaCy英語モデル（大規模）を使用してトークン化され、コーパス全体の各バイグラムの総数が記録されました。バイグラムは文の境界をまたぎませんが、すべてのトークンを含み、スペース、改行、非表示文字のみが省略されています。バイグラムは頻度の降順でソートされています。CSVファイルの列値はタブ区切りです。

このデータセットはすべてのバイグラムを含んでいるため大きいです。もちろん、多くの低頻度のものをフィルタリングしてノイズを減らしたいと思うでしょう。採用できる方法はたくさんあるので、ユーザーが独自のフィルターを適用できるようにしたかったのです。また、完全なカウントを含めることは、このコーパスのベースを拡張し、新しいデータとともに使用して言語の変化や新しいトレンドを見つけるために重要でした。

謝辞

Wikipediaと公開アーカイブサイトが処理用の生データを提供しました。

インスピレーション

いくつかの有用なアイデアを紹介します

• 姉妹データセット BERTユニグラム を使用して：

• 言語モデリングを試す

• 相互情報量を計算して興味深い連語を見つける

• あなたのドメインのデータの確率分布を構築し、BERTベースがあなたのタスクに十分近いかどうかを判断する。

• 新しいBERTモデル（例：Bio - BERT、Legal - BERT）の学習データを分析し、共通の語彙に対するクルバック・ライブラー情報量を計算することで、それらがBERTベースとどれだけ類似または異なっているかを定量化する。

• 新しい言語データと比較して、新しいキーワードやトレンドを見つける。