Open Dataset

必应クエリからの訓練済みバイグラム埋め込みコーパス

10.3G

559 hits

0 likes

0 downloads

0 discuss

MNIST Classification

Introduction
Data file
Related papers
Code
Discuss(0)
Instructions

Data Structure ? 10.3G

*The above analysis is the result extracted and analyzed by the system, and the specific actual data shall prevail.

README.md

この二重埋め込み空間モデル（DESM）は、クエリ語と文書語の2つの単語埋め込みを使用する情報検索モデルです。

これは、各クエリ語ベクトルとすべての文書語ベクトルとの間のベクトル類似度を考慮します。

情報検索の主な課題は、文書の関連性をモデリングすることです。従来の方法では単語頻度を使用し、より多くのクエリ語が出現する文書は、その語に関連する可能性が高いとされます。DESMは、各クエリ語の関連性の証拠として複数の文書語を使用します。たとえば、クエリ語「Albuquerque」について、以下の2つのテキスト段落は単語頻度では区別できません。それぞれ1回出現しています。私たちの方法では、「人口」や「都市」などの関連用語の存在を考慮します。これにより、段落（a）がアルバカーキに関連していることが証明され、段落（b）はアルバカーキを単に言及しているだけです。

desm_aboutness

ここでは、よく知られたツールword2vecを使用して二重埋め込みを生成します。ほとんどのword2vec研究では、単語埋め込みはモデルの入力行列（IN）のみから取得されます。本論文では、出力行列（OUT）の埋め込みも使用します。下表では、「イェール」のINベクトルは「ハーバード」のINベクトル（IN - IN）に近いですが、OUT空間では、最も近い近傍は「教師」（IN - OUT）です。単一埋め込み方法（IN - INとOUT - OUT）は、同じタイプの単語をグループ化する傾向があり（典型的）、二重埋め込み方法（IN - OUT）は、学習データで一緒に出現する単語をグループ化します（局所的）。