comma.aiがcomma2k19を公開します。これは、カリフォルニア州の280号高速道路での33時間以上の通勤データセットです。つまり、カリフォルニア州のサンノゼとサンフランシスコの間の20kmの高速道路区間で、それぞれ1分間の2019個のセグメントから構成されています。 comma2k19は、完全に再現可能で拡張可能なデータセットです。データは、comma EONを使用して収集されました。 comma EONは、道路を向いたカメラ、携帯電話のGPS、温度計、9軸IMUなど、最新のスマートフォンと同様のセンサーを備えています。 さらに、EONは、生のGNSS測定値と、comma grey pandaによって車から送信されるすべてのCANデータをキャプチャします。

ここでは、オープンソースのGNSS処理ライブラリであるLaikaも紹介します。 Laikaは、生データの収集に使用されたGNSSモジュールよりも40％精度の高い位置を算出します。 このデータセットには、記録カメラのグローバルな参照フレームにおける姿勢（位置+向き）推定値が含まれています。これらの姿勢は、Laikaによって処理されたデータに依存する密結合INS/GNSS/ビジョンオプティマイザーで計算されました。comma2k19は、密結合GNSSアルゴリズムや、一般的なセンサーで動作するマッピングアルゴリズムの開発と検証に最適です。

データセットの構造

ディレクトリ構造

データは、それぞれ約200分の運転データからなる10個のチャンクに分割されています。データセットのチャンク1 - 2はRAV4のもので、残りはシビックのものです。RAV4のドングルIDは b0c9d2329ad1606b で、シビックのドングルIDは 99c94dc769b5d96e です。

Dataset_chunk_n
|
+-- route_id (dongle_id|start_time)
     |
     +-- segment_number
          |
          +-- preview.png (最初のフレームのビデオ)
          +-- raw_log.bz2 (生のcapnpログ、openpilot-tools: logreaderで読み取り可能)
          +-- video.hevc (ビデオファイル、openpilot-tools: framereaderで読み取り可能)
          +-- processed_log/ (numpy配列としての処理済みログ、詳細はフォーマットを参照)
          +-- global_pos/ (numpy配列としてのカメラのグローバルな姿勢、詳細はフォーマットを参照)

ログフォーマット

processed_logディレクトリ内のすべてのログタイプには、2つのnumpy配列が含まれています。システムデバイスの起動時間を基準とした秒単位のタイムスタンプ配列と、値配列です。

processed_log
|
+--IMU ([前方、右、下])
|  |
|  +--加速度: (m^2/s)
|  +--未校正のジャイロ (rad/s)
|  +--ジャイロバイアス: Androidのジャイロバイアス推定値 (rad/s)
|  +--ジャイロ: Androidのバイアス補正済み (rad/s)
|  +--未校正の磁気センサー: (T)
|  +--磁気センサー: Androidのキャリブレーション済み (T)
|
+--CANデータ:
|  |
|  +--車速 (m/s)
|  +--ステアリング角 (deg)
|  +--車輪速度: [前左、前右、後左、後右] (m/s)
|  +--レーダー: [前方距離 (m),
|     |
|     |  左方距離 (m),
|     |  相対速度 (m/s),
|     |  nan,
|     |  nan,
|     |  アドレス,
|     |  新しいトラック (bool)]
|  +--生のCAN: これは値配列としてではなく、3つの別々の配列 [src, アドレス, データ] として保存されます
|
+--GNSS
   |
   +--live_gnss_qcom: [緯度 (deg),
   |                  経度 (deg),
   |                  速度 (m/s),
   |                  UTCタイムスタンプ (s),
   |                  高度 (m),
   |                  方位 (deg)]
   +--live_gnss_ublox: [緯度 (deg),
   |                    経度 (deg),
   |                    速度 (m/s),
   |                    UTCタイムスタンプ (s),
   |                    高度 (m),
   |                    方位 (deg)]
   |
   +--raw_gnss_qcom: 各行は、1つのエポックにおける1つの衛星の測定値を表しており、
   |                  laikaで簡単に操作できます。
   |                  [PRN (NMEA ID、laikaを参照),
   |                   受信時のGPS時間の週 (GPS週),
   |                   受信時のGPS時間の週内の時間 (s),
   |                   nan,
   |                   疑似距離 (m),
   |                   疑似距離の標準偏差 (m),
   |                   疑似距離の変化率 (m/s),
   |                   疑似距離の変化率の標準偏差 (m/s)]
   +--raw_gnss_ublox: 各行は、1つのエポックにおける1つの衛星の測定値を表しており、
                      laikaで簡単に操作できます。
                      [PRN (NMEA ID、laikaを参照),
                       受信時のGPS時間の週 (GPS週),
                       受信時のGPS時間の週内の時間 (s),
                       GLONASSチャンネル番号 (-7..6) GLONASSでない場合はnan,
                       疑似距離 (m),
                       疑似距離の標準偏差 (m),
                       疑似距離の変化率 (m/s),
                       疑似距離の変化率の標準偏差 (m/s)]

姿勢フォーマット

カメラの姿勢とビデオの各フレームのタイムスタンプは、以下のように保存されます:
  frame_times: 起動時間におけるビデオフレームのタイムスタンプ (s)
  frame_gps_times: GPS時間におけるビデオフレームのタイムスタンプ: ([GPS週 (週), 週内の時間 (s)])
  frame_positions: カメラのECEFにおけるグローバルな位置 (m)
  frame_velocities: カメラのECEFにおけるグローバルな速度 (m/s)
  frame_orientations: ECEFフレームからローカルなカメラフレームに回転するために必要なクォータニオンとしてのグローバルな向き
                     [前方、右、下] として定義される (ハミルトンクォータニオン!!!!)

Microsoftベースのファイルシステムの回避策

ExFatやNTFSなどの一部のファイルシステムでは、ファイル名やディレクトリ名にパイプ文字 | を使用することができません。Microsoftベースのファイルシステムを使用している場合の回避策は、データセットを非Microsoftのファイルシステムに移動し、そこでアーカイブを解凍し、python3 utils/unzip_msft_fs.py <dataset dir> <goal dir> を実行することです。ここで、<dataset dir> にはすべてのチャンクがzipファイルとして含まれており、<goal dir> はzipファイルを展開したいディレクトリです。これにより、すべてのzipファイルが並列に展開され、パイプ文字がすべてアンダースコアに置き換えられます。