コンテキスト 私はGoを使って自然言語処理（NLP）を練習するためのデータセットを作成したいと思いました。go-nutsは公式のGoメーリングリストであり、そのメッセージは理想的な候補となります。 内容 このデータセットは、[ggmbox](https://github.com/vmarkovtsev/ggmbox)を使ってGoogleグループをクロールすることで作成されました。メールのIDが与えられれば生のメールを取得することが可能なので、まずすべてのトピックを発見してリスト化し、その後個々のメールを取得しました。このデータセットには**31,432のトピック**と**200,785のメッセージ**が含まれています。 `golang-nuts.tar.xz` は2018年12月9日時点で取得したメールで、`golang-nuts.json.gz` は各ディスカッショントピックのメタデータです。また、`threads.csv.gz` には各トピックの平文メッセージが論理的な順序で、かつ一部のフィルタリングが行われた状態で含まれています。例えば、引用部分は削除されています。もしこれを改善したり、カスタムの情報抽出器を書いたりする場合は、[parse.go](https://github.com/vmarkovtsev/ggmbox/blob/master/parse.go) を参照してください。Pythonユーザーの方は、[`email.message_from_file()`](https://docs.python.org/3/library/email.parser.html#email.message_from_file) を使ってメールを読み込むことができますが、一部のファイルのBase64エンコードされた部分をデコードするには追加の作業が必要な場合があります。詳しくは [MIME](https://en.wikipedia.org/wiki/MIME) を参照してください。 謝辞 メールの内容の著作権はそれぞれの著者に帰属します。ggmboxコードのGoらしいレビューは[Francesc Campoy](https://twitter.com/francesc)によって行われています（まだ終了していません！）。クロール速度は[Scrapy](https://scrapy.org/)のおかげです。ハードウェアと精神的なサポートは[source{d}](https://sourced.tech)から提供されています。アイデアは[GopherCon Russia](https://www.gophercon-russia.ru/)から着想を得ています。 関連情報: [chromium-devアーカイブ](https://www.kaggle.com/vmarkovtsev/chromiumdev-archive)