ストップワードは、どの言語にも存在する単語で、文に大きな意味を付加しないものです。これらの単語は、文の意味を犠牲にすることなく安全に無視することができます。一部の検索エンジンでは、「the」「is」「at」「which」「on」など、最も一般的な短い機能語がストップワードに該当します。この場合、ストップワードを含むフレーズを検索する際、特に「The Who」や「Take That」などの名前で問題が生じることがあります。

ストップワードを削除するタイミングは？

テキスト分類や感情分析のタスクがある場合、ストップワードはモデルに何らの情報も提供しないため、削除すべきです。つまり、コーパスから不要な単語を除外するのです。ただし、言語翻訳のタスクがある場合は、ストップワードは他の単語とともに翻訳する必要があるため、有用です。

ストップワードを削除するタイミングについて、厳密なルールはありません。ただ、言語分類、スパムフィルタリング、キャプション生成、自動タグ生成、感情分析など、テキスト分類に関連するタスクを行う場合は、ストップワードを削除することをおすすめします。
一方、機械翻訳、質問応答問題、テキスト要約、言語モデリングなどのタスクの場合は、ストップワードはこれらのアプリケーションの重要な部分であるため、削除しない方が良いでしょう。

利点と欠点：

私たちが最初に自問することの1つは、行うタスクの利点と欠点は何かということです。NLPにおけるストップワード削除の利点と欠点をいくつか見てみましょう。

利点：

• ストップワードは大量に出現するため、分類やクラスタリングに使用できる固有の情報をほとんど提供しないため、ディープラーニングや機械学習モデルの学習前にテキストから削除されることが多いです。

• ストップワードを削除すると、データセットのサイズが減少し、モデルの学習時間も減少し、モデルの精度に大きな影響を与えることはありません。

• ストップワードの削除は、有意義なトークンが少なくなり、潜在的にパフォーマンスを向上させるのに役立つ可能性があります。したがって、分類精度を向上させることができます。

欠点：

ストップワードの不適切な選択と削除は、テキストの意味を変える可能性があります。したがって、ストップワードを選択する際には注意が必要です。
例：「This movie is not good.」
前処理ステップで「not」を削除すると、文「this movie is good」はポジティブな意味を持つことになり、誤った解釈になります。

利用可能な言語

• アラビア語

• ブルガリア語

• カタルーニャ語

• チェコ語

• デンマーク語

• オランダ語

• 英語

• フィンランド語

• フランス語

• ドイツ語

• グジャラート語

• ヒンディー語

• ヘブライ語

• ハンガリー語

• インドネシア語

• マレー語

• イタリア語

• ノルウェー語

• ポーランド語

• ポルトガル語

• ルーマニア語

• ロシア語

• スロバキア語

• スペイン語

• スウェーデン語

• トルコ語

• ウクライナ語

• ベトナム語