文脈 KaggleのPythonノートブックには、[大量のソフトウェア][docker file]が利用可能です。どのPythonパッケージが利用可能で、それぞれが何をするのかを記載したリファレンスをどこかで見つけることを期待していました。 探しているものが見つからなかったので、代わりにこのデータセットを作成することにしました。 [docker file]: https://github.com/Kaggle/docker-python/blob/master/Dockerfile 内容 このデータセットは4つのステップで作成されました。 1. [Kaggleノートブック内のコード][query notebook]を使って、600以上のインストールされたパッケージの名前を収集しました。 1. [パッケージリスト][Anaconda list]を[Anacondaからスクレイピング][query Anaconda]し、ノートブックのパッケージリストと照合しました。 1. 残った約400のパッケージについて、[Python Package Indexから注意深くクエリを実行][query PyPI]し、その[JSON API][]を使用しました。 1. 結果を[マニフェストにまとめました][collate]。 [query notebook]: https://www.kaggle.com/ottoschnurr/query-notebook-for-installed-packages [Anaconda list]: https://docs.anaconda.com/anaconda/packages/py3.6_linux-64/ [query Anaconda]: https://www.kaggle.com/ottoschnurr/query-anaconda-for-package-metadata [query PyPI]: https://www.kaggle.com/ottoschnurr/gather-pypi-package-metadata [JSON API]: https://warehouse.readthedocs.io/api-reference/json/ [collate]: https://www.kaggle.com/ottoschnurr/assemble-kaggle-notebook-python-package-manifest 参考 - [Anacondaの64ビットLinux Pythonパッケージリスト](https://docs.anaconda.com/anaconda/packages/py3.6_linux-64/)。 - [HTMLスクレイピング - The Hitchhiker's Guide to Python][scraping guide] - [PyPI JSON API](https://warehouse.readthedocs.io/api-reference/json/)。 - [PyPI APIのレート制限](https://warehouse.readthedocs.io/api-reference/#rate-limiting) [scraping guide]: https://docs.python-guide.org/scenarios/scrape/ 謝辞 - [元のスクリプト][]を提供してくれた@nagadomiに感謝します。 - [強力なノートブック環境][environment]を作成してくれたKaggleチームに感謝します。 - [j zamora][]による写真。 [original script]: https://www.kaggle.com/nagadomi/list-of-installed-packages [environment]: https://www.kaggle.com/docs/kernels#the-kernels-environment [j zamora]: https://unsplash.com/@jzamora