コンテキスト このデータセットは、[元のデータセット](https://www.kaggle.com/uciml/sms-spam-collection-dataset)の拡張版です。元のデータセットは、**スパム**または**通常メッセージ**とタグ付けされた英語のSMSメッセージのセットです。 このデータセットは、BERT埋め込みを使用する可能性を追加するために作成されました。Kaggleのカーネルでこれらの埋め込みを作成することはメモリ効率の理由から実行不可能であるため、私はローカルでそれらを作成し、元のデータセットに加えて埋め込みを提供します。したがって、このデータセットでは、元のデータセットに加えて、各SMSメッセージの埋め込みが得られます！ 詳細な説明については、[元のデータセット](https://www.kaggle.com/uciml/sms-spam-collection-dataset)を参照してください。 内容 このデータセットには、[元のデータセット](https://www.kaggle.com/uciml/sms-spam-collection-dataset)と同じ情報に加えて、追加のDiltilBERT分類埋め込みが含まれています。 これにより、5574行と770列のデータセットが得られます。 - `spam` -> メッセージが*スパム*か*通常メッセージ*かを指定するターゲット列 - `original_message` -> 元の未処理のメッセージ - `0` から `768` -> メッセージが処理された後のDistilBERT分類埋め込みを含む列 着想 - 埋め込みを使用してスパムメッセージを分類できますか？ - BERT埋め込みはTF-IDFよりも良い結果を得られますか？ - 得られる最高のROC-AUCは何ですか？ - このデータセットから導き出せる特徴量は何ですか？ - スパム/通常メッセージで最も一般的な単語は何ですか？ - 正しく分類できないスパムメッセージは何ですか？ データセットの作成手順 HuggingFaceのDistilBERTは、彼らの[transformers](https://github.com/huggingface/transformers)パッケージから使用されます。 [Jay Allamarのチュートリアル](http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/)に従って、DistilBERTを使用してメッセージをエンコードしました。 メモリ効率の理由から、すべてのメッセージは最初に句読点を取り除き、次に英語のストップワードを削除します。そして、最初の30トークンのみを保持します。 [私の分析](https://www.kaggle.com/mrlucasfischer/bert-the-spam-detector-that-uses-just-10-words)によると、元のデータセットでは、ストップワードを除くと、ほとんどの*通常メッセージ*は約10語、*スパムメッセージ*は約29語であることがわかります。これは、メッセージからストップワードを削除した後、最初の30トークンを保持すると、一部の情報が失われる可能性がありますが、致命的ではないことを意味します。（実際、[私の分析](https://www.kaggle.com/mrlucasfischer/bert-the-spam-detector-that-uses-just-10-words)では、メッセージを処理した後、最初の10トークンのみを使用してエンコードするだけで、ベースラインのランダムフォレストで0.881のROC-AUCを達成できる良好なエンコードが可能であることが示されています。） 埋め込みがどのように作成されたかをよりよく理解するために、データセットを作成するスクリプトが含まれた[Githubリポジトリ](https://github.com/lsfischer/bert-spam-embeddings)を確認することをお勧めします。 謝辞 [Jay Allamarのチュートリアル](http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/)に従って、DistilBERTを使用してメッセージをエンコードしました。 元のデータセットは、[UCI機械学習リポジトリ](https://archive.ics.uci.edu/ml/index.php)の一部であり、[ここ](https://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection)で見つけることができます。 UCI機械学習では、元のデータセットが有用であると思われる場合は、[ここ](http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/)に記載されている元の著者を引用することを推奨しています。 Almeida, T.A., Gómez Hidalgo, J.M., Yamakami, A. Contributions to the Study of SMS Spam Filtering: New Collection and Results. Proceedings of the 2011 ACM Symposium on Document Engineering (DOCENG'11), Mountain View, CA, USA, 2011