ライセンス これらのモデルはすべて、ソースコードと同じライセンス（Apache 2.0）で公開されています。 コンテキスト GitHubリポジトリ（https://github.com/google-research/bert）のREADMEから： > BERT（Bidirectional Encoder Representations from Transformers）は、トランスフォーマーを用いた双方向エンコーダ表現であり、自然言語処理（NLP）の幅広いタスクで最先端の結果を得る新しい言語表現事前学習手法です。 > BERTを詳細に説明し、いくつかのタスクでの完全な結果を提供する学術論文はこちらで見ることができます：https://arxiv.org/abs/1810.04805 。 内容 このデータセットには、最後の取得日（ファイルの説明と最後のコミット日に記載されている）時点でのGoogle ResearchのBERT GitHubリポジトリのコードと最新の事前学習モデルが含まれています。 > 論文からBERT-BaseとBERT-Largeのモデルを公開しています。Uncasedは、WordPieceトークン化の前にテキストが小文字に変換されていることを意味します。例えば、John Smithはjohn smithになります。Uncasedモデルはまた、アクセント記号も取り除きます。Casedは、本来の大文字小文字とアクセント記号が保持されていることを意味します。通常、ケース情報がタスクに重要でない限り（例えば、固有表現認識や品詞タグ付け）、Uncasedモデルの方が良いです。 > > これらのモデルはすべて、ソースコードと同じライセンス（Apache 2.0）で公開されています。 > > 多言語モデルと中国語モデルに関する情報は、多言語版のREADMEを参照してください。 > > Casedモデルを使用する場合は、トレーニングスクリプトに--do_lower=Falseを渡すようにしてください。（独自のスクリプトを使用している場合は、FullTokenizerに直接do_lower_case=Falseを渡してください。） このデータセットに含まれるモデル： - BERT-Base、Uncased：12層、768隠れ層、12ヘッド、1億1000万パラメータ - BERT-Large、Uncased：24層、1024隠れ層、16ヘッド、3億4000万パラメータ - BERT-Base、Cased：12層、768隠れ層、12ヘッド、1億1000万パラメータ - BERT-Large、Cased：24層、1024隠れ層、16ヘッド、3億4000万パラメータ - BERT-Base、多言語Cased（新しく、推奨）：104言語、12層、768隠れ層、12ヘッド、1億1000万パラメータ - BERT-Base、中国語：中国語（簡体字と繁体字）、12層、768隠れ層、12ヘッド、1億1000万パラメータ **含まれない**もの： - BERT-Base、多言語Uncased（旧バージョン、非推奨）（非推奨、代わりに多言語Casedを使用してください）：102言語、12層、768隠れ層、12ヘッド、1億1000万パラメータ 各.zipファイルには3つの項目が含まれています： - 事前学習された重みを含むTensorFlowチェックポイント（bert_model.ckpt）（実際には3つのファイル）。 - WordPieceを単語IDにマッピングするボキャブラリファイル（vocab.txt）。 - モデルのハイパーパラメータを指定する設定ファイル（bert_config.json）。 謝辞 これは私の作品ではなく、Google Researchの作品です。BERTの仕組み、有用性と重要性、および使用方法に関する詳細な情報は、彼らの論文とリポジトリのREADMEを読んでください。