Data Structure ?
32.16M
Data Structure ?
*The above analysis is the result extracted and analyzed by the system, and the specific actual data shall prevail.
README.md
コンテキスト
私は、現在取り組んでいる小さな趣味プロジェクトのために、ダイアログデータセットが必要だと判断しました。そのデータセットはコーネル大学が親切にも[こちら][1]で提供しています。しかし、データベースプログラマーとして、私は構造化データを扱うことに慣れており、テキストベースのファイルから解析してリストを作成することは苦手です。そこで、このデータをSQL型のデータベースに入れると、自分の作業がずっと楽になると判断し、Pythonの小さなスクリプトを書いて、全データをSQLiteに分割しました。
内容
元のデータセット: https://www.kaggle.com/Cornell-University/movie-dialog-corpus
この記事を書いている時点で、元のデータセットは7か月前に更新されています。
データは正規化されており、私が遭遇したすべてのコード破壊的なアーティファクトは手動で修正されています。あなたがSQLに精通しており、SQLiteをサポートする言語やライブラリを持っている場合、このデータを扱うのはかなり簡単だと思います。私は元のデータセットからいくつかの冗長部分を削除しましたが、元のデータセットのすべてのデータが含まれていると思います。たとえば、元のデータセットでは、movie_lines.tsvにキャラクター名とキャラクターIDが一緒に記載されていますが、これは冗長です。なぜなら、名前はmovie_characters.tsvファイルに記載されているからです。これはファイルを直接処理する際には便利ですが、構造化データベースではJOINで簡単に取得できます。生の脚本のURLは映画テーブルに含まれています。
謝辞
元のコーパスを提供してくれたコーネル大学に感謝します。
写真はTobias Fischer氏によるUnsplashのものです。
インスピレーション
これが役に立つと思ったら、ぜひ知らせてください。他のデータセットについても必要に応じて同様の変換を行う可能性があり、誰かがその形式で役に立つと思えば喜んでアップロードします。
[1]: https://www.kaggle.com/Cornell-University/movie-dialog-corpus
×
The dataset is currently being organized and other channels have been prepared for you. Please use them
The dataset is currently being organized and other channels have been prepared for you. Please use them
Note: Some data is currently being processed and cannot be directly downloaded. We kindly ask for your understanding and support.
No content available at the moment
No content available at the moment
- Share your thoughts
Go share your ideas~~
ALL
Welcome to exchange and share
Your sharing can help others better utilize data.
Data usage instructions:
I. Data Source and Display Explanation:
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
II. Ownership Explanation:
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
III. Data Reposting Explanation:
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
IV. Infringement and Handling Explanation:
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
- 1. The data originates from internet data collection or provided by service providers, and this platform offers users the ability to view and browse datasets.
- 2. This platform serves only as a basic information display for datasets, including but not limited to image, text, video, and audio file types.
- 3. Basic dataset information comes from the original data source or the information provided by the data provider. If there are discrepancies in the dataset description, please refer to the original data source or service provider's address.
- 1. All datasets on this site are copyrighted by their original publishers or data providers.
- 1. If you need to repost data from this site, please retain the original data source URL and related copyright notices.
- 1. If any data on this site involves infringement, please contact us promptly, and we will arrange for the data to be taken offline.
VIP Download(0.24/day)
Download
0 
214
0
0
collect
Share