![日本語 - 英語字幕コーパス（JESC）[クリーニング済み]、280万文からなる大規模なコーパス](https://www.payititi.com/file/upload/pytt20210104/20210104665.png?t=2020-08-17-14-38-49)
Data Structure ?
220.08M
Data Structure ?
*The above analysis is the result extracted and analyzed by the system, and the specific actual data shall prevail.
README.md
このデータセットは、誤字の英単語を修正し、以下のものを用いて単語分割を行うことで、JESCをクリーニングしたバージョンです。
英語 => Spacy英語トークナイザー
日本語 => Jannomeトークナイザー
| データセット | フレーズペア |
|---|---|
| 訓練用 | 2371921 |
| テスト用 | 1992 |
| 検証用 | 1992 |
このデータセットは.tsv形式なので、'\t'で区切って読み取ることができます。
例:
# Python コード
import pandas as pd
df = pd.read_csv('./train', sep = '\t')概要
JESCは、機械翻訳システム、情報抽出、その他の言語処理技術の研究開発を支援することを目的としています。
JESCは、スタンフォード大学、Google Brain、楽天技術研究所の共同プロダクトです。インターネット上の映画やテレビの字幕をクロールし、そのキャプションを整列させることで作成されました。これは、無料で利用できる最大の英語 - 日本語コーパスの1つであり、口語表現が十分に表現されていない領域をカバーしています。
このデータセットを作成するために使用されたスクリプト、ツール、クローラーは、Githubでダウンロードできます。
論文はこちらで読むことができます。
内容
280万文からなる大規模なコーパス。
日常会話、口語表現、説明的な文章、物語的なディスコースの翻訳。これらは、日英機械翻訳では見つけにくい領域です。
トークン化された訓練/検証/テストデータ分割を含む前処理済みデータ。
独自のクロールデータセットを作成するためのコードと、機械翻訳データを操作するためのツール。
謝辞
スタンフォード大学、Google Brain、楽天技術研究所、特に著者のPryzant R.、Chung Y.、Jurafsky D.、Britz D.に深く感謝いたします。
公式サイト
引用
@ARTICLE{pryzant_jesc_2018,
author = {{Pryzant}, R. and {Chung}, Y. and {Jurafsky}, D. and {Britz}, D.},
title = "{JESC: Japanese-English Subtitle Corpus}",
journal = {Language Resources and evaluation Conference (LREC)},
keywords = {Computer Science - Computation and Language},
year = 2018
}
×
The dataset is currently being organized and other channels have been prepared for you. Please use them
The dataset is currently being organized and other channels have been prepared for you. Please use them
Note: Some data is currently being processed and cannot be directly downloaded. We kindly ask for your understanding and support.
No content available at the moment
No content available at the moment
- Share your thoughts
Go share your ideas~~
ALL
Welcome to exchange and share
Your sharing can help others better utilize data.
Data usage instructions:
I. Data Source and Display Explanation:
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
II. Ownership Explanation:
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
III. Data Reposting Explanation:
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
IV. Infringement and Handling Explanation:
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
VIP Download(0.24/day)
Download
28 
337
0
0
collect
Share