問題の説明 これは[SNA Hackathon - コラボレーティブシステム][1]のデータであり、[SNA Hackathon][2]の3つの問題のうちの1つです。 [SNA Hackathon][2]の競技のために、2018年2月から3月にかけて、ソーシャルネットワーク[Одноклассники][4]のユーザーのニュースフィードにおける公開グループのコンテンツ表示ログが収集されました。テストセットには、3月の最後の1週間半が隠されています。ログの各レコードには、何が誰に表示されたか、またユーザーがそのコンテンツにどのように反応したか（「素敵」と評価した、コメントした、無視した、またはフィードから隠した）に関する情報が含まれています。 問題の核心は、テストセットの各ユーザーに対して、「素敵」と評価される候補をできるだけ上位に配置するように候補をランキングすることです。 データの説明 情報は[Apache Parquet][5]形式で提供されており、これはSparkフレームワークの主要な形式です。Pythonでこの形式を扱うには、[Apache Arrow][6]ライブラリを使用することをおすすめします。理解を容易にするために、[GitHub][7]のリポジトリにはベースラインが公開されています。ご利用ください。 訓練セットでは、データは日単位で分割され、その日の中ではユーザーIDによって6つの部分に分けられています（同じユーザーは常に同じ部分に分類されます）。このような構成により、参加者はすべてのデータを一度に分析するのではなく、特定の日やユーザーのサブグループに限定して分析することができます。 データには以下のフィールドが含まれています（`/train`および`/test`フォルダ）： - `instanceId_userId` — ユーザーの識別子（匿名化されています） - `instanceId_objectType` — オブジェクトのタイプ - `instanceId_objectId` — オブジェクトの識別子（匿名化されています） - `feedback` — ユーザーの反応タイプの配列（配列内に`Liked`トークンが含まれている場合は、ユーザーがオブジェクトを「素敵」と評価したことを示します） - `audit_clientType` — ユーザーがアクセスしたプラットフォームのタイプ - `audit_timestamp` — フィードが生成された時間 - `metadata_ownerId` — 表示されたオブジェクトの作成者（匿名化されています） - `metadata_createdAt` — 表示されたオブジェクトの作成日 - `audit_*` — フィード生成のコンテキストに関する詳細情報； - `metadata_*` — オブジェクト自体に関する詳細情報； - `userOwnerCounters_*` — ユーザーとコンテンツ作成者の過去の相互作用に関する情報； - `ownerUserCounters_*` — コンテンツ作成者とユーザーの過去の相互作用に関する情報； - `membership_*` — コンテンツが公開されているグループへのユーザーの所属に関する情報； - `user_*` — ユーザーに関する詳細情報； - `auditweights_*` — 現在のシステムによって抽出された多数の実行時特徴。 結果の評価 チャンピオンシップの参加者は、「素敵」と評価される可能性の高いオブジェクトが上位になるようにフィードをソートする必要があります。ソートは各ユーザーごとに個別に行われ、その後、以下の形式の提出ファイルが生成されます（形式は、`int`型と`int[]`型の列を持つPandasデータフレームからのエクスポートに対応しています）： User_id_1,"[object_id_1_1, object_id_2_2] User_id_2,"[object_id_2_1, object_id_2_2, object_id_2_3] 提出ファイルには、テストセットの各ユーザーに対する行が含まれている必要があり、行はIDの昇順にソートされている必要があります。各ユーザーのオブジェクトは、関連性の降順にソートされている必要があります。提出ファイルの評価では、各ユーザーに対して個別のROC - AUCが計算され、その後、すべてのユーザーに対する平均が計算され、100倍されます。 [1]: https://mlbootcamp.ru/round/17/tasks/ [2]: https://snahackathon.org/ [3]: https://mlbootcamp.ru/round/17/tasks/ [4]: https://ok.ru/ [5]: https://parquet.apache.org/ [6]: https://arrow.apache.org/ [7]: https://github.com/MailRuChamps/snahackathon