文脈 データサイエンティストは、多くの場合、Amazon Mechanical TurkやCrowdFlowerなどのクラウドソーシングプラットフォームを使用して、データのラベルを収集します。タスクの高品質かつタイムリーな実行を管理することは、そのような収集プロセスの重要な部分です。すべての作業者の割り当てを手動でチェックすることは不可能（または非効率的）です。作業者のタスクブラウザの動作（キー押下、スクロール、マウスクリック、タブ切り替えなど）に基づいて、その品質を予測できるという直感があります。このデータセットには、CrowdFlowerで実施された3つの異なるクラウドソーシングタスクの割り当て結果と、関連する作業者の動作が含まれています。 内容 私たちは3つのタスクを実行してデータを収集しました。 - 画像ラベリング - レシートの文字起こし - ビジネス検索 ![タスクのユーザーインターフェイス][1] タスクの説明はtasks.csvに記載されています。 対応するタスクの結果は、以下のファイルに記載されています。results_{task_id}.csv。作業者の活動は、以下のファイルに記載されています。 * activity_keyboard.csv - キーボードのキーが押されたタイムスタンプ * activity_mouse.csv - 関連するHTML要素とともにマウスがクリックされたタイムスタンプ * activity_tab.csv - タスクブラウザのタブが変更された（開かれた、アクティブになった、非表示になった、閉じられた）イベントのタイムスタンプ * activity_page.csv - タスクページで2秒ごとに発生したイベントの概要（キーボード活動の真偽値、マウス移動活動の真偽値、スクロール活動の真偽値、画面の位置、テキストが選択されたかどうかの真偽値） 結果ファイルは、CrowdFlowerによって提供された元のファイルと同様の構造を持っています。 * _unit_id: 各行に対してシステムによって作成された一意のID番号 * _created_at: 寄稿者が判断を提出した時間 * _golden: これがテスト問題である場合は「true」、そうでない場合は「false」 * _id: この特定の判断に対して生成された一意のID番号 * _missed: この行がテスト問題の誤った判断である場合は「true」 * _started_at: 寄稿者が判断に取り組み始めた時間 * _tainted: 寄稿者が必要な精度を下回ったとしてフラグが立てられた場合は「true」。この判断は集計には使用されません。 * _channel: 寄稿者がジョブにアクセスした作業チャネル * _trust: 寄稿者の精度。信頼度についての詳細はこちらを参照 * _worker_id: 寄稿者に割り当てられた一意のID番号（現在のデータセットではMD5値が与えられています） * _country: 寄稿者の出身国 * _region: 寄稿者の出身地域の地域コード * _city: 寄稿者の出身都市 * _ip: 寄稿者のIPアドレス（現在のデータセットではMD5値が与えられています） * {{field}}: ジョブの各フィールドに対応する列があり、ヘッダーはフィールドの名前と同じになります。 * {{field}}_gold: テスト問題の正解 謝辞 私たちは、CrowdFlowerで私たちの必ずしも面白くないタスクを遂行してくれたクラウドワーカーに感謝します。 [1]: http://bit.ly/2wWtuDe