タスクの説明 これは[SNAハッカソン - テキスト][1]のデータで、[SNAハッカソン][2]の3つのタスクのうちの1つです。 [SNAハッカソン][2]のために、2018年2月から3月にかけて、ソーシャルネットワーク[Одноклассники][4]のユーザーのニュースフィード内の公開グループからコンテンツ表示ログが収集されました。テストセットには、3月の最後の1週間半が隠されています。ログの各レコードには、何が誰に表示されたか、またユーザーがそのコンテンツにどのように反応したか（「クラス」を付けた、コメントを残した、無視した、またはフィードから隠した）に関する情報が含まれています。 タスクの要点は、テストセットの各ユーザーに対して、「クラス」を獲得する候補者をできるだけ上位に配置するように候補者をランキングすることです。 データの説明 情報は[Apache Parquet][5]形式で提供されており、これはSparkフレームワークの主要な形式です。Pythonからこの形式を扱うには、[Apache Arrow][6]ライブラリを使用することをおすすめします。理解を容易にするために、[GitHub][7]のリポジトリにはベースラインが公開されています。ご利用ください。 訓練セットでは、データは日ごとに分割されており、1日の中でもユーザーIDによって6つの部分に分けられています（同じユーザーは常に同じ部分に分類されます）。このような配置により、参加者はすべてのデータを一度に分析するのではなく、特定の日やユーザーのサブグループに限定して分析することができます。 データには以下のフィールドが含まれています（`/train`と`/test`ディレクトリ）： - `instanceId_userId` — ユーザーの識別子（匿名化されています） - `instanceId_objectType` — オブジェクトのタイプ - `instanceId_objectId` — オブジェクトの識別子（匿名化されています） - `feedback` — ユーザーの反応タイプの配列（配列内に`Liked`トークンが存在することは、ユーザーがオブジェクトに「クラス」を付けたことを示します） - `audit_clientType` — ユーザーがアクセスしたプラットフォームのタイプ - `audit_timestamp` — フィードが生成された時間 - `metadata_ownerId` — 表示されたオブジェクトの作成者（匿名化されています） - `metadata_createdAt` — 表示されたオブジェクトの作成日 訓練用のテキストセットのオブジェクトに関しては、Apache Parquet形式で関連するテキストが追加で提供されています（`/texts`ディレクトリ）： - `objectId` — オブジェクトの識別子 - `lang` — テキストの言語（Одноклассниковの言語検出器に基づいています） - `text` — オブジェクトに関連する生のテキスト - `preprocessed` — 句読点のフィルタリングとステミングの後に得られたトークンの配列 結果の評価 チャンピオンシップの参加者は、「クラス」の可能性が高いオブジェクトが最上位に配置されるようにフィードをソートする必要があります。ソートは各ユーザーごとに個別に行われ、その後、以下の形式の提出テキストが生成されます（形式は`int`型と`int[]`型の列を持つPandasデータフレームのエクスポートに対応しています）： User_id_1,"[object_id_1_1, object_id_2_2] User_id_2,"[object_id_2_1, object_id_2_2, object_id_2_3] 提出物には、テストセットの各ユーザーに対する行が含まれている必要があり、行はIDの昇順でソートされている必要があります。各ユーザーのオブジェクトは、関連性の降順でソートされている必要があります。提出物の評価では、各ユーザーの個別のROC - AUCが計算され、その後すべてのユーザーに対する平均が計算され、100倍されます。 [1]: https://mlbootcamp.ru/round/19/tasks/ [2]: https://snahackathon.org/ [3]: https://mlbootcamp.ru/round/19/tasks/ [4]: https://ok.ru/ [5]: https://parquet.apache.org/ [6]: https://arrow.apache.org/ [7]: https://github.com/MailRuChamps/snahackathon