# アマゾン映画レビューに対する正解ラベルの追加  ---------- これは何？ これは私の論文「大規模ウェブデータコレクションの分類/クラスタリング技術」に関するサイドプロジェクトです。 私の主な目標は、機械学習コミュニティに新しい、充実した正解ラベル付きのデータセットを提供することでした。すべてのラベルは、数ヶ月間にわたってAmazon.comをクローリング/スクレイピングすることで収集されました。ここでいうラベルとは、商品が分類されるカテゴリのことを指します（下のスクリーンショットの緑色の下線付きのラベルを参照）。  もしあなたがこのデータセットを改善する貢献ができると感じたら、[github.com](https://github.com/bazakoskon/labels-on-Amazon-movie-reviews-dataset) でフォークしてください。 元のデータセット [アマゾン映画レビューデータセット](https://snap.stanford.edu/data/web-Movies.html) は、1997年8月から2012年10月までの間にアマゾンユーザーが残した7,911,684件のレビューから構成されています。 データ形式: - product/productId: _B00006HAXW_ - review/userId: _A1RSDE90N6RSZF_ - review/profileName: _Joseph M. Kotow_ - review/helpfulness: _9/9_ - review/score: _5.0_ - review/time: _1042502400_ - review/summary: _Pittsburgh - Home of the OLDIES_ - review/text: _私はすべてのドゥー・ワップDVDを持っていますが、この1枚は最初のものと同じかそれ以上に良いです。これらのパフォーマーがいなくなったら、二度と彼らを見ることはできないことを忘れないでください。リノは素晴らしい仕事をしました。もしあなたがドゥー・ワップやロックンロールが好きなら、このDVDを大好きになるでしょう！！_ ここで: - product/productId: ASIN、例えば [amazon.com/dp/B00006HAXW](http://www.amazon.com/dp/B00006HAXW) - review/userId: ユーザーのID、例えば [A1RSDE90N6RSZF](http://www.amazon.com/gp/cdp/member-reviews/A1RSDE90N6RSZF) - review/profileName: ユーザーの名前 - review/helpfulness: レビューが役に立ったと感じたユーザーの割合 - review/score: 商品の評価 - review/time: レビューの時間（Unix時間） - review/summary: レビューの要約 - review/text: レビューの本文 新しいラベル付きデータセット 収集されたすべてのデータ（SNAPデータセットのすべてのASINについて、約800万件のレビューに対する約25.3万の商品）は、次の形式のcsvファイル `labels.csv` に保存されています。 - ASIN: 商品の一意の識別子 - Categories: [label, label, label,..., label] 新しいデータ形式は次のようになります。 - product/productId: _B00006HAXW_ - review/userId: _A1RSDE90N6RSZF_ - review/profileName: _Joseph M. Kotow_ - review/helpfulness: _9/9_ - review/score: _5.0_ - review/time: _1042502400_ - review/summary: _Pittsburgh - Home of the OLDIES_ - review/text: _私はすべてのドゥー・ワップDVDを持っていますが、この1枚は最初のものと同じかそれ以上に良いです。これらのパフォーマーがいなくなったら、二度と彼らを見ることはできないことを忘れないでください。リノは素晴らしい仕事をしました。もしあなたがドゥー・ワップやロックンロールが好きなら、このDVDを大好きになるでしょう！！_ - **product/categories: _['CDs & Vinyl', 'Pop', 'Oldies', 'Doo Wop']_** 使い方 充実したデータセットを取得する方法について、以下の手順に従ってください。 1. [SNAPウェブサイト](https://snap.stanford.edu/data/web-Movies.html) から元のデータセットをダウンロードし（圧縮された状態で約3.3GB）、リポジトリのルートフォルダ（ `labels.csv` ファイルも同じ場所にあります）に配置してください。 2. pythonファイル `enrich.py` を実行してください（[githubプロジェクト](https://github.com/bazakoskon/labels-on-Amazon-movie-reviews-dataset) で入手できます）。すると、新しい充実したマルチラベル付きデータセットがエクスポートされます。新しいファイルの名前は `output.txt.gz` です。 _注意: pythonスクリプトがすべてのレビューを解析するのに時間がかかるので、しばらくお待ちください。_ pythonスクリプトは、新しい圧縮ファイルを生成します。このファイルは実質的に元のファイルと同じですが、追加の機能（product/categories）があります。 実際には、（pythonスクリプトは）両方のファイルのASIN値の間にマッピングを適用し、その商品のラベルデータをその商品のすべてのレビューインスタンスに追加の列として追加します。 以下はコードです。 import gzip import csv import ast def look_up(asin, diction): try: return diction[asin] except KeyError: return [] def load_labels(): labels_dictionary = {} with open('labels.csv', mode='r') as infile: csvreader = csv.reader(infile) next(csvreader) for rows in csvreader: labels_dictionary[rows[0]] = ast.literal_eval(rows[1]) return labels_dictionary def parse(filename): labels_dict = load_labels() f = gzip.open(filename, 'r') entry = {} for l in f: l = l.strip() colonPos = l.find(':') if colonPos == -1: yield entry entry = {} continue eName = l[:colonPos] rest = l[colonPos+2:] entry[eName] = rest if eName == 'product/productId': entry['product/categories'] = look_up(rest, labels_dict) yield entry if __name__ == "__main__": try: print ("データセットを解析中... しばらくお待ちください、少し時間がかかります...") with gzip.open('output.txt.gz', 'wb') as fo: for e in parse("movies.txt.gz"): for i in e: fo.write('%s: %s ' % (i, e[i])) fo.write(" ") print ("新しい充実したデータセットが正常にエクスポートされました！ ファイル名: output.txt.gz") except Exception as inst: print type(inst) print inst.args print inst 謝辞 このデータセットに基づいて論文を発表する場合は、以下の論文を引用してください。 - Bazakos Konstantinos and Ioannis Anagnostopoulos. Classification/Clustering Techniques for Large Web Data Collections. Dissertation, Hellenic Open University, 2017. - J. McAuley and J. Leskovec. [From amateurs to connoisseurs: modeling the evolution of user expertise through online reviews](http://i.stanford.edu/~julian/pdfs/www13.pdf). WWW, 2013. Bibtexも利用可能です。 @ptychionthesis{bzks:2017, author = {Bazakos Konstantinos and Anagnostopoulos Ioannis}, title = {Classification/Clustering Techniques for Large Web Data Collections}, school = {Hellenic Open University}, year = {2017}, month = {Jul} } , @inproceedings{McAuley:2013:ACM:2488388.2488466, author = {McAuley, Julian John and Leskovec, Jure}, title = {From Amateurs to Connoisseurs: Modeling the Evolution of User Expertise Through Online Reviews}, booktitle = {Proceedings of the 22Nd International Conference on World Wide Web}, series = {WWW '13}, year = {2013}, isbn = {978-1-4503-2035-1}, location = {Rio de Janeiro, Brazil}, pages = {897--908}, numpages = {12}, url = {http://doi.acm.org/10.1145/2488388.2488466}, doi = {10.1145/2488388.2488466}, acmid = {2488466}, publisher = {ACM}, address = {New York, NY, USA}, keywords = {expertise, recommender systems, user modeling}, }