Data Structure ?
51.81M
Data Structure ?
*The above analysis is the result extracted and analyzed by the system, and the specific actual data shall prevail.
README.md
10kGNADデータセットは、最初のドイツ語のトピック分類データセットとして、一部の問題を解決することを目的としています。
これは、オーストリアのオンライン新聞紙の10273本のドイツ語のニュース記事から構成されており、9つのトピックに分けられています。
これらの記事は、100万本の記事コーパスの中で、これまで使われていなかった部分です。
100万本の記事コーパスの中で、各記事にはトピックパスがあります。例えば、ニュースルーム/Wirtschaft/Wirtshaftpolitik/Finanzmaerkte/Griechenlandkriseなどです。
10kGNADでは、トピックパスの2番目の部分、ここではWirtschaftをクラスラベルとして使用します。
したがって、このデータセットは、多クラス分類に使用することができます。
私は論文の中で、このデータセットを作成し、4つのドイツ語テキスト分類器を訓練し評価するために使用しました。
このデータセットを公開することで、ドイツ語のツールやモデルの進歩を支援したいと思っています。
さらに、このデータセットは、ドイツ語のトピック分類のベンチマークデータセットとして使用することができます。
数字と統計
ほとんどの現実世界のデータセットと同様に、10kGNADのクラス分布は不均衡です。
最も大きいクラスであるWebには1678本の記事が含まれていますが、小さいクラスであるKulturには539本の記事しか含まれていません。
しかし、Webクラスの記事は平均で最も単語数が少なく、文化クラスの記事はその次に少ない単語数です。
トレインとテストに分割
私は、10%の記事を層化してテストに使用し、残りの記事をトレインに使用することを提案します。
このデータセットをベンチマークデータセットとして使用するには、プロジェクトのルートディレクトリにあるtrain.csvとtest.csvファイルを使用してください。
The dataset is currently being organized and other channels have been prepared for you. Please use them
The dataset is currently being organized and other channels have been prepared for you. Please use them
- Share your thoughts
ALL
Data usage instructions:
I. Data Source and Display Explanation:
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
II. Ownership Explanation:
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
III. Data Reposting Explanation:
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
IV. Infringement and Handling Explanation:
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
VIP Download(0.24/day)
Download
18 
309
0
0
collect
Share