コンテキスト このデータセットには、約3年前にKaggleでΜαριο? Μιχαηλιδη? KazAnovaによって公開された既存の生データセットに対応する160万件のツイートのspaCy埋め込みとそれぞれのターゲットラベルが含まれています。Kaggleのカーネルを使用した私の個人的な経験では、spaCyはノートブック上では私の個人用マシンと比べてかなり遅く動作するようです。ですから、このデータセットは、独自の機械学習やディープラーニングモデルを訓練する際に、プロセスの最初のステップ、つまり160万件のツイートを前処理して学習に使用できるツイート埋め込みに変換する手間を省くことができるため、本当に便利になると思います！ 内容 生データの元のデータセットは、この[リンク](https://www.kaggle.com/kazanova/sentiment140)を使用してアクセスできます。 ここでは、データセットは2つのファイルに分割されています。最初の`Spacy_training_full.pickle`は、spaCyが提供する最大の産業用言語ライブラリであるspaCy `en_vectors_web_lg`を使用して変換された各ツイートの標準化されたベクトルを含んでいるため、160万 x 300の形状をしています。同じことのバリエーションを示すPythonファイルはGitHubにホストされており、この[リンク](https://github.com/akshaydnicator/Twitter-Sentiment-Analysis-Competition---Analytics-Vidhya/blob/master/Data_Preprocessing/Tweets_to_Spacy_embeddings.py)を使用してアクセスできます。 2番目のファイル`Spacy_targets_training_full.pickle`には、訓練用の対応するターゲットラベルが含まれています。これは`keras.utils.to_categorical`を使用して前処理されており、Kerasで直接使用できます。簡単のために、ツイート埋め込みの順序は変更されておらず、元の生データセットのままになっています。つまり、最初の80万行はネガティブな感情を示す「0」とラベル付けされ、最後の80万行はポジティブな感情を示す「1」とラベル付けされています。 謝辞 元の生ツイートデータセットを提供してくれた[Μαριο? Μιχαηλιδη? KazAnova](https://www.kaggle.com/kazanova)に感謝します。 インスピレーション 新しいアイデアは大歓迎です。まずは、spaCy埋め込みがKaggle上の機械学習やディープラーニングモデルでどれほど有用か、そして巨大なラベル付きですぐに使えるツイート埋め込みの公開データセットを使用して達成できる最高の精度はどれくらいかを知りたいです。