コンテキスト このデータセットは、もともと2018年11月のナッシュビルデータサイエンスミートアップ「Gensim入門」[1]のために用意されたものです。私は産業界でよく見られる形式の大規模なテキストコーパスを提供したいと考え、2017年8月20日の英語版ウィキペディアのダンプを取得し、Gensimの優れた[segment_wiki][2]スクリプトを使ってテキストを抽出し、最後に独自のコードを書いてSQLiteデータベースにデータを格納しました。 このデータセットには約500万件の記事が含まれ、個別のセクションは2300万以上あります。記事のテキストのみが含まれ、すべてのリンクは削除され、メタデータ（例えば、背景の議論やバージョン履歴）は含まれていません。それでも、私はちょうどファイルサイズ制限に収まり、20GBちょうど手前に収まりました。 コンテンツ 私は物事をシンプルに保ちたかったので、すべてを1つのテーブル「articles」にまとめました。article_idにはインデックスがあります。 - **article_id**：整数型、各一意のタイトルの識別子 - **article_title**：文字列型、記事のタイトル - **section_title**：文字列型、各記事のサブセクションのタイトル - **section_text**：文字列型、各サブセクションのテキスト 私はまた、このデータセットに基づいていくつかの簡単なトピックモデルと単語埋め込みを事前学習しました。アップロード時点でのファイルサイズ制限は20GBなので、事前学習されたGensimモデルを含む別のデータセット「2017年8月20日の英語版ウィキペディア記事モデル」[3]を作成しました。 謝辞 ウィキメディア財団の[要件][4]に従い、このデータセットはクリエイティブ・コモンズ 表示 - 継承 3.0 非移植ライセンスの下で提供されます。クリエイティブ・コモンズ 表示 - 継承 3.0 非移植ライセンスの条件の下で、および特に明記されない限り、GNU自由文書ライセンス（バージョンなし、不変セクション、表紙テキスト、裏表紙テキストなし）の条件の下で、ウィキペディアのテキストをコピー、配布、および/または変更する許可が与えられます。 バナー画像は[Lysander Yuen][5]によって[Unsplash][6]で提供されています。 [1]: https://www.meetup.com/Data-Science-Nashville/events/256605771/ [2]: https://radimrehurek.com/gensim/scripts/segment_wiki.html [3]: https://www.kaggle.com/jkkphys/english-wikipedia-articles-20170820-models [4]: https://en.wikipedia.org/wiki/Wikipedia:Database_download [5]: https://unsplash.com/@_lysander_yuen [6]: https://unsplash.com/