11k手データセットへようこそ。これは、18歳から75歳までの190人の被験者の11076枚の手の画像（1600×1200ピクセル）から成る集合です。各被験者には、左右の手の指を開いたり閉じたりするように求められました。各手は、均一な白色の背景の下、カメラとほぼ同じ距離を保って、背側と掌側から撮影されました。各画像には、以下の情報を含む関連するメタデータレコードがあります。 (1) 被験者ID、(2) 性別、(3) 年齢、(4) 肌色、および(5) 撮影された手の情報のセット（右手または左手、手の側面（背側または掌側）、および手の画像に装飾品、マニキュア、または不規則性が含まれているかどうかを示す論理指標）。提案されたデータセットには大量の手の画像があり、より詳細なメタデータがあります。このデータセットは、適切な学術的公平使用に対して無料です。

引用

@article {
    afifi201911kHands,
    title = {11K Hands: gender recognition and biometric identification using a large dataset of hand images},
    author = {Afifi, Mahmoud},
    journal = {Multimedia Tools and Applications},
    doi = {10.1007/s11042-019-7424-8},
    url = {https://doi.org/10.1007/s11042-019-7424-8},
    year={2019}
}

統計情報

以下の図は、提案されたデータセットの基本的な統計情報を示しています。

最初の図には以下の内容が含まれています。

上部： データセット内の肌色の分布が示されています。各肌色カテゴリの画像数は、図の右上に記載されています。肌検出プロセスは、Conaireらによって提案された肌検出アルゴリズムを使用して実行されました [1]。

下部： 1) 被験者の数、2) 手の画像（背側と掌側）、3) 装飾品付きの手の画像、および4) マニキュア付きの手の画像の統計情報を示しています.

2番目の図は、提案されたデータセットの被験者と画像の年齢分布を示しています。

[1] Conaire, C. O., O'Connor, N. E., & Smeaton, A. F.. Detector adaptation by maximising agreement between independent data sources. In CVPR'07

他のデータセットとの比較

[1] Sun, Z., Tan, T., Wang, Y., & Li, S. Z. (2005, June). Ordinal palmprint represention for personal identification. In Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on (Vol. 1, pp. 279-284). IEEE.

[2] Yoruk, E., Konukoglu, E., Sankur, B., & Darbon, J. (2006). Shape-based hand recognition. IEEE transactions on image processing, 15(7), 1803-1815.

[3] Yörük, E., Dutağaci, H., & Sankur, B. (2006). Hand biometrics. Image and Vision Computing, 24(5), 483-497.

[4] Hu, R. X., Jia, W., Zhang, D., Gui, J., & Song, L. T. (2012). Hand shape recognition based on coherent distance shape contexts. Pattern Recognition, 45(9), 3348-3359.

[5] Kumar, A. (2008, December). Incorporating cohort information for reliable palmprint authentication. In Computer Vision, Graphics & Image Processing, 2008. ICVGIP'08. Sixth Indian Conference on(pp. 583-590). IEEE.

[6] Ferrer, M. A., Morales, A., Travieso, C. M., & Alonso, J. B. (2007, October). Low cost multimodal biometric identification system based on hand geometry, palm and finger print texture. In Security Technology, 2007 41st Annual IEEE International Carnahan Conference on (pp. 52-58). IEEE.

ベースモデル

我々は、提案されたデータセットを使用して性別分類のための2ストリームCNNを提案します。次に、この学習済みの2ストリームCNNを、性別分類と生体認証の両方の特徴抽出器として使用します。後者は、2つの異なるアプローチを使用して処理されます。最初のアプローチでは、学習済みのCNNから抽出された深層特徴から特徴ベクトルを構築し、サポートベクターマシン（SVM）分類器を学習させます。2番目のアプローチでは、学習済みのCNNの異なるレイヤーから抽出された深層特徴を3つのSVM分類器に入力し、ローカルバイナリパターン（LBP）特徴を使用して1つのSVM分類器を学習させ、すべてのSVM分類器の分類スコアを合計することで得られる正しい識別率を向上させます。

学習済みのモデルと分類器は、以下の表からダウンロードできます。

性別分類

女性の手の画像の数に偏りがあるため（上記の統計を参照）、各性別の背側の手の画像1000枚を学習に、各性別の背側の手の画像500枚をテストに使用します。画像はランダムに選択され、学習セットとテストセットは被験者の互いに素なセットになります。つまり、被験者の手の画像が学習データに含まれている場合、この被験者はテストデータから除外され、逆もまた同様です。掌側の手の画像についても同じことが行われます。各側について、過学習の問題を避けるために実験を10回繰り返し、精度の平均を評価指標として考えます。

比較のために、10セットの学習とテストのペアを使用して、異なる画像分類方法を学習させました。方法は、(1) ビジュアルワードバッグ（BoW）、(2) フィッシャーベクトル、(3) Alexnet（CNN）、(4) VGG - 16（CNN）、(5) VGG - 19（CNN）、および(6) Googlenet（CNN）です。最初の画像分類フレームワーク（BoWとFV）には、3つの異なる特徴記述子を使用しました。(1) SIFT、(2) C - SIFT、および(3) rgSIFTです。さらなる比較のために、同じ評価基準を使用することをお勧めします。我々の実験で使用された10セットの学習とテストのペアをダウンロードするには、以下の表を参照してください。

各セットには以下のファイルが含まれています。

• g_imgs_training_d.txt: 学習用の画像ファイル名（背側）

• g_imgs_training_p.txt: 学習用の画像ファイル名（掌側）

• g_imgs_testing_d.txt: テスト用の画像ファイル名（背側）

• g_imgs_testing_p.txt: テスト用の画像ファイル名（掌側）

• g_training_d.txt: g_imgs_training_d.txt内の各対応する画像ファイル名の真の性別

• g_training_p.txt: g_imgs_training_p.txt内の各対応する画像ファイル名の真の性別

• g_testing_d.txt: g_imgs_testing_d.txt内の各対応する画像ファイル名の真の性別

• g_testing_p.txt: g_imgs_testing_p.txt内の各対応する画像ファイル名の真の性別

各実験で使用された画像を抽出するには、この Matlabコード を使用できます。このコードは10個のディレクトリを生成し、各ディレクトリには各性別の学習セットとテストセットが含まれています。次に、imageDatastore関数 を使用してそれらをロードできます（CNN_training.mソースコードを参照）。

学習済みのCNNモデル、SVM分類器、および結果

Matlab Neural Network Toolbox Model for Networkサポートパッケージがインストールされていない場合、この関数はAdd - On Explorerで必要なサポートパッケージへのリンクを提供します。サポートパッケージをインストールするには、リンクをクリックし、次に「インストール」をクリックします。コマンドラインでモデル名（例：alexnet、vgg16、vgg19、およびgooglenet）を入力して、インストールが成功したことを確