コンテキスト 新聞記事は、様々な分野のデータサイエンティストにとって人気で多様なデータソースです。この種の情報を収集するために、私はニュースウェブサイトからデータをクロールして抽出する拡張可能なパイプラインであるnewspipeを構築しました。このパイプラインの強力さと柔軟性を示すために、私はパイプラインにウェブサイトのURLのみを提供することで、ドイツ語圏の出版社から記事を収集しました。このデータセットはそのデモンストレーションの結果です。私は主に15のニュースソースから長期間にわたって記事をクロールしました。残りの33のニュースソースはテスト実行だけでした。 内容 主要なニュースソース： - ベルリン新聞（berliner - zeitung） - ビルト（bild） - フランクフルト・アルゲマイン（faz） - フォーカス（focus） - ハンデルスブラット（handelsblatt） - ハイゼ（heise） - メインポスト（mainpost） - シュピーゲル（spiegel） - シュトゥットガルト新聞（stuttgarter - zeitung） - ズーデュッツェ・ツァイトゥング（sueddeutsche） - ターゲスシュピーゲル（tagesspiegel） - タグリッヒ・ダイナミク（taz） - ヴェルト（welt） - ディー・ツァイト（zeit） すべてのJSONには以下のキーがあります： - `id`：一意のID - `author`：著者名を文字列として（関係のない情報を含む場合があります） - `published`：公開日をUnixタイムスタンプ（整数値）として - `title`：記事のタイトルを文字列として - `summary`：記事の要約（クリーニングされていません） - `text`：記事のテキストを文字列として - `link`：ニュース記事へのリンク - `tags`：記事のタグ（オプション） インスピレーション このデータセットが役に立ったと思った場合は、次のように引用してください： @misc{steven mi_2020, title={ドイツ語ニュースデータセット}, url={https://www.kaggle.com/dsv/1679751}, DOI={10.34740/KAGGLE/DSV/1679751}, publisher={Kaggle}, author={Steven Mi}, year={2020} } 私はこのデータセットを使ってGPT - 2を学習させ、次のような面白い結果を得ました。私は、このデータセットを使っていくつかのクールな分析を行えることを願っています。 「もしそれがあまりにも明らかになった場合、それは実際には患者にとって努力するための壊滅的な信号となる」