文脈 [スプリングボード](https://www.springboard.com/)のプロジェクト用です。人々が書いたテキストに基づいて人口統計情報を推測する大規模なプロジェクトの一部になる可能性もあります。そして、その過程でいくつかの社会言語学的な洞察を得ることが期待されます。このプロジェクトに関連する一部のコード（これらのデータを生成するために使用されるコードの大部分を含む）は、[このGitHubリポジトリ](https://github.com/andyharless/twit_demog)にありますが、まだ少々混乱しています。 内容 これらのファイルには、2019年5月21日から2019年6月1日までにTwitter APIを介してダウンロードされたツイートのテキストが含まれています。各ツイートを識別するユーザーIDとタイムスタンプ、および（表示名に基づいて）ユーザーが男性か女性かを示す指標が付けられています。ツイートは英語のものに限定され、[gender - guesser](https://pypi.org/project/gender - guesser/)パッケージで男性または女性と識別できる名前のユーザーに関連するオリジナルのツイート（つまり、リツイートではない）です。（名前は含まれていません。）ツイートは、時間とユーザーIDによってトレーニングセット、検証セット、テストセットに分割されています。（言い換えると、ファイル間で時間またはユーザーIDに重複がないようにし、トレーニングセットから検証セット、テストセットへの順序は時間的に厳密に前方に進むようにします。）各ファイルのツイートは、男性と識別されたものと女性と識別されたものが均等になるように選択されています（通常は、すべての「女性」ツイートを保持し、「男性」ツイートのランダムなサブセットを選択することを意味します）。ツイートは、ハッシュタグ、メンション、URL、メディア、および記号を削除するために（Timothy Rennerからコピーした[スクリプト](https://gist.github.com/timothyrenner/dd487b9fd8081530509c)を使用して）前処理されています。 謝辞 Twitter、Kaggle、gender - guesserパッケージの著者とメンテナ、ツイートを書いたユーザー、そして高価なソフトウェアを買えない人たちにデータ処理を可能にするパッケージに取り組むすべてのオープンソースの人たちに感謝します。 着想 ツイートのテキストに基づいて、機械学習モデルをどれだけうまく訓練してTwitterユーザーの性別を推測できるでしょうか？そして、そのようなモデルはTwitterユーザーの性別社会言語学について何を教えてくれるでしょうか？