元の[MNIST画像データセット][1]は手書き数字のデータセットで、画像ベースの機械学習手法において人気のあるベンチマークです。しかし、研究者たちはこれを更新し、コンピュータビジョンにとってより挑戦的で、実世界のアプリケーションに適した代替データセットを開発する取り組みを再開しています。最近の代替データセットの1つであるFashion - MNIST[データセット][2]で指摘されているように、Zalandoの[研究者][3]は、「MNISTのほとんどの数字のペア（サンプルごとに合計784ピクセル）は、たった1つのピクセルでもかなりうまく区別できる」という驚くべき主張を引用しています。コミュニティがより多くの代替データセットを開発するよう促すために、ここでは手話MNIST（Sign Language MNIST）を紹介します。これは、ラベルとピクセル値が1行にまとめられた同じCSV形式に従っています。手のジェスチャーによるアメリカ手話の文字データベースは、動きを必要とするJとZを除いた24クラスの文字からなる多クラス問題を表しています。 このデータセットの形式は、古典的なMNISTに近くなるようにパターン化されています。各トレーニングケースとテストケースは、アルファベットの各文字A - Zに1対1で対応するラベル（0 - 25）を表しています（ジェスチャーの動きのため、9 = Jまたは25 = Zのケースはありません）。トレーニングデータ（27,455ケース）とテストデータ（7,172ケース）は、標準的なMNISTの約半分のサイズですが、それ以外は、ラベル、pixel1、pixel2....pixel784のヘッダー行があり、これは0 - 255のグレースケール値を持つ単一の28x28ピクセル画像を表しています。元の手のジェスチャーの[画像データ][4]は、複数のユーザーが異なる背景の前でジェスチャーを繰り返したものでした。手話MNISTのデータは、手の関心領域を切り抜いていないカラー画像が少数（1704枚）含まれていたものを大幅に拡張したものです。新しいデータを作成するために、ImageMagickに基づく画像パイプラインを使用し、手の部分のみを切り抜き、グレースケール化、リサイズを行い、その後少なくとも50種類以上のバリエーションを作成して数量を拡大しました。修正と拡張の戦略は、フィルター（'Mitchell'、'Robidoux'、'Catrom'、'Spline'、'Hermite'）を使用し、5％のランダムピクセル化、±15％の明るさ/コントラストの調整、最後に3度の回転を行うことでした。画像が非常に小さいため、これらの修正は、興味深い、制御可能な方法で解像度とクラス分離を効果的に変えます。 このデータセットは、Fashion - MNIST[2]とSreehariによるジェスチャーの機械学習パイプライン[4]に触発されて作成されました。 堅牢な視覚認識アルゴリズムは、畳み込みニューラルネットワークなどの最新の機械学習手法に挑戦する新しいベンチマークを提供するだけでなく、コンピュータビジョンアプリケーションを使用して、聴覚障害者がより良くコミュニケーションをとるのに実用的に役立つ可能性があります。国立難聴およびその他のコミュニケーション障害研究所（NIDCD）によると、200年の歴史を持つアメリカ手話は、完全で複雑な言語（文字のジェスチャーはその一部にすぎません）であり、多くの北米の聴覚障害者にとって主要な言語です。アメリカ手話は、「四大言語」であるスペイン語、イタリア語、ドイツ語、フランス語に次いで、米国で最も使用される少数民族言語です。Raspberry Piのような安価なボードコンピュータにOpenCVを搭載し、いくつかのテキスト読み上げ機能を使って、コンピュータビジョンを実装し、改善された自動翻訳アプリケーションを実現することができます。 [1]: https://en.wikipedia.org/wiki/MNIST_database [2]: https://github.com/zalandoresearch/fashion-mnist [3]: https://arxiv.org/abs/1708.07747 [4]: https://github.com/mon95/Sign-Language-and-Static-gesture-recognition-using-sklearn