文脈 私は[Safebooruの画像メタデータ][1]セットを使用して、使用されたタグのリストを作成しました。 内容 リストには2つのバージョンがあります。1つは全てのタグのセットを持つもので、もう1つはタイプ付きのものです。 最初のリストには、使用頻度を含めた369,289個のタグが含まれています。 2番目のリストには、使用頻度とSafebooruで定義されたタイプを含めた15,283個のタグが含まれています。 タイプ付きのタグファイルはかなり小さいです。なぜなら、使用回数が128回未満といった多くの重要でないタグがあり、369,000件ものデータをすべて解析するのに時間がかかりすぎるからです。 処理の際、一部のタグは非ASCII文字を含んでいるため破棄されました。私はタグを格納するためにトライ木データ構造を使用していたため、⑨などの一部のユニコードタグを取り扱うことができませんでした。 私は一部のタイプを手動で修正しました。元々は少数（50個未満）のタグが曖昧とマークされており、これらは複数のタグタイプを持っていました。私は曖昧なタグに興味がなかったので、これらを無視しました。ウェブページを解析する際、このようなタグの最後にはカンマがあります（例：copyright, ）ので、私はそれらを削除しました。 謝辞 最初に私は[このスクリプト][2]を使用して最初のファイルを作成しました。その後、[別のスクリプト][3]を使用して、[Safebooruのサーバー][4]に対して、すべてのタグが一般的なものかそれ以外のものかを問い合わせました。おそらく12時間以上かかったと思います。 Safebooruのタグページにはいくつか深刻なバグがあるため、一部のタグの解析に失敗しました。これらのバグのあるタグは「不明」タイプとしてマークされており、自己責任で使用してください。（例：multiple_girls） 着想 さらなる分類が必要です。「一般」はあまりにも広いカテゴリーですが、私は現時点でそれらを分類するアイデアがありません。 私が見つけた非常に興味深い統計は、タグの数の近似値です。xを切り捨てパラメータとし、yをx回以上使用されたタグの数とします。私はそれをプロットして、とても驚きました！私の大まかな計算では、yは約total_number_of_tags * x^-0.70819になります。なぜこうなるのか私にはわかりませんが、とても興味深い結果でした。 ![両軸に対数スケールを適用しました][5] [1]: https://www.kaggle.com/phryxia/safebooru-2018 [2]: https://github.com/Phryxia/madproject/blob/master/01_extract_used_tags.py [3]: https://github.com/Phryxia/madproject/blob/master/02_classify_tag_type.py [4]: https://safebooru.org/index.php?page=tags&s=list [5]: https://blogfiles.pstatic.net/MjAxODA1MjhfMjEy/MDAxNTI3NDcyMDU0NTE0.07BxhiaGVHflsdCL1SwAL3nBwZ_w1ROmtzK3Id41FMog.BsEzTzWOBmYWUB_-wFBJS0ZVqsfOh5BpAQBzd2PR9tog.PNG.xaya_epica/009.png