WSJ0ヒップスターアンビエントミックス（WHAM!）データセットは、wsj0-2mixデータセットの各2話者混合音声に、独自のノイズ背景シーンをペアリングしています。また、背景ノイズに加えて音声信号に人工的な残響を追加した拡張版のWHAMR!も作成しました。

ノイズオーディオは、2018年末にサンフランシスコ湾岸地域の様々な都市部で収集されました。主な環境は、レストラン、カフェ、バー、公園です。オーディオは、三脚に取り付けたApogee Sennheiserバイノーラルマイクを使用して、地面から1.0〜1.5メートルの高さで録音されました。

「WHAM!ノイズデータセット」と呼ばれるノイズサンプルのセットは、ここで提供されており、ノイズデータとWSJ0データセットからWHAM!およびWHAMR!データセットを構築するためのスクリプトも同梱されています。また、「WHAM!48kHzノイズデータセット」も提供しており、これは元のサンプルレートで録音されたノイズで、WSJ0クリップの長さに分割されていません。WHAM!ノイズデータセットとWHAM!48kHzノイズデータセットは、理解可能な音声が含まれるセグメントを削除するように処理されています。WHAM!48kHzノイズデータセットは、WSJ0クリップの長さにさらに分割されていないため、クリップの長さの分布が広いです。

この研究については、我々の論文 「WHAM!: Extending Speech Separation to Noisy Environments.」 および 「WHAMR!: Noisy and Reverberant Single-Channel Speech Separation.」 で詳細に説明されています。

ダウンロード

WHAM!ノイズデータセットとそのバリエーション、および関連するデータ生成スクリプトは、以下からダウンロードできます。

• WHAM!ノイズデータセット。 （解凍後35GB、圧縮時17.65GB） MD5: 8649eafcd6dc391fda8deab7cc6b662e
• オリジナルのWHAM!データ生成スクリプトとドキュメント。 （解凍後2.8MB、圧縮時674KB） MD5: c836e2fce9449ee0d063c15c2fce0fb0
• WHAMR!データ生成スクリプトとドキュメント。 （解凍後11.6MB、圧縮時4.8MB） MD5: 11a2384408bab4b7f3c64f171a593c70
• WHAM!48kHzノイズデータセット：元のサンプルレートの全長ノイズ録音。 （解凍後76GB、圧縮時68.1GB） MD5: b11cff68963f24acdefc64aa42766fa2

データセットの構築

WHAM!データセットは、wsj0-2mixデータセットの2話者混合音声とWHAM!ノイズデータセットのノイズサンプルを混合することで構築されます。ここで提供されるのはノイズデータのみで、ユーザーはWSJ0データセットへのアクセス（およびライセンス）が必要です。

WHAM!については、README を参照して、混合スクリプトの使用方法の詳細な手順を確認してください。混合スクリプトは、上記のリンク からダウンロードできます。

WHAMR!については、README を参照して、混合スクリプトの使用方法の詳細な手順を確認してください。混合スクリプトは、上記のリンク からダウンロードできます。

データセットの構造

WHAM!ノイズデータセットは、wsj0-2mixデータセットに従って、トレーニングセット、検証セット、テストセットに分割されています。

クリップは、2チャンネル、サンプリングレート16kHzの32ビット浮動小数点WAV形式です。クリップの平均長は10秒で、最短のクリップは3.5秒、最長のクリップは47.7秒です。

引用

WHAM!は、三菱電機研究室（MERL） と Whisper の共同研究成果です。WHAM!またはWHAM!48kHzを使用する場合は、データセットを説明した我々の論文 を引用してください。

@inproceedings{Wichern2019WHAM,
    title     = {WHAM!: Extending Speech Separation to Noisy Environments},
    author    = {Wichern, Gordon and Antognini, Joe and Flynn, Michael and Zhu,
                 Licheng Richard and McQuinn, Emmett and Crow,
                 Dwight and Manilow, Ethan and Le Roux, Jonathan},
    booktitle = {Proc. Interspeech},
    year      = {2019},
    month     = sep
}

WHAMR!を使用する場合は、データセットを説明した我々の論文 を引用してください。

@inproceedings{Maciejewski2020WHAMR,
    title     = {WHAMR!: Noisy and Reverberant Single-Channel Speech Separation},
    author    = {Maciejewski, Matthew and Wichern, Gordon and Le Roux, Jonathan},
    booktitle = {Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
    year      = {2020},
    month     = may
}