画像例：

コードと関連論文：

SpatialSense: An Adversarially Crowdsourced Benchmark for Spatial Relation Recognition（空間関係認識のための敵対的クラウドソーシングベンチマーク）

楊開宇（Kaiyu Yang）、オルガ・ルサコフスキー（Olga Russakovsky）、鄧佳（Jia Deng） 国際コンピュータビジョン会議（ICCV）2019

データ引用：

@inproceedings{yang2019spatialsense,
  title={SpatialSense: An Adversarially Crowdsourced Benchmark for Spatial Relation Recognition},
  author={Yang, Kaiyu and Russakovsky, Olga and Deng, Jia},
  booktitle={International Conference on Computer Vision},
  year={2019},
}

アノテーションファイル情報：

{
  'url': 'https://farm4.staticflickr.com/3543/5704634119_8b8ccf3229.jpg',  # Flickr画像のURL
  'nsid': '10392797@N03',          # ユーザーのFlickr NSID
  'height': 500,
  'width': 281,
  'split': 'train',                # 訓練/検証/テスト分割
  'annotations': [{                # 空間関係のリスト
    '_id': '59fbffe4f25c8070bb77ec42',                                     # 関係の一意の識別子      
    'predicate': 'on',               
    'object': {
      'y': 402,                    # (x, y)はオブジェクト上の点
      'x': 148,
      'name': 'ground',
      'bbox': [196, 500, 3, 278]   # バウンディングボックス
    },
    'subject': {
      'y': 317, 
      'x': 157, 
      'name': 'cat', 
      'bbox': [230, 434, 31, 264]
    },
    'label': True                  # 関係は正例
    }, {
    '_id': '59ff0e910de0c80e4077c5f0',
    'predicate': 'to the left of',
    'object': {
      'y': 213,
      'x': 240,
      'name': 'mirror',
      'bbox': [0, 345, 160, 280]
    },
    'subject': {
      'y': 303, 
      'x': 143, 
      'name': 'cat', 
      'bbox': [226, 449, 33, 271]
    },
    'label': True},
  ...  
  ]}

座標とバウンディングボックスの約束：

原点は画像の左上隅です。x軸は幅方向、y軸は高さ方向です。バウンディングボックス[y0, y1, x0, x1]は、左上隅が(x0, y0)で、右下隅が(x1, y1)です。

詳細情報はプロジェクトのホームページをご覧ください。