自然言語理解のための略語曖昧性解消用の**医療**データセット（MeDAL）は、略語曖昧性解消のために収集された大規模な医療テキストデータセットで、医療分野の自然言語理解の事前学習用に設計されています。これはEMNLPのClinicalNLPワークショップで発表されました。 ?? [コード](https://github.com/BruceWen120/medal) ?? [データセット (Hugging Face)](https://huggingface.co/datasets/medal) ?? [データセット (Kaggle)](https://www.kaggle.com/xhlulu/medal-emnlp) ?? [データセット (Zenodo)](https://zenodo.org/record/4265632) ?? [論文 (ACL)](https://www.aclweb.org/anthology/2020.clinicalnlp-1.15/) ?? [論文 (Arxiv)](https://arxiv.org/abs/2012.13978) ? [事前学習済みELECTRA (Hugging Face)](https://huggingface.co/xhlu/electra-medal) ## データのダウンロード KaggleのAPIを通じて認証できる場合は、Kaggleからダウンロードすることをおすすめします。Kaggleの利点は、データが圧縮されているため、ダウンロードが速くなることです。データへのリンクはREADMEの上部にあります。 まず、kaggle.comでアカウントを作成する必要があります。その後、Kaggle APIをインストールする必要があります。 pip install kaggle 次に、[ここの指示](https://github.com/Kaggle/kaggle-api#api-credentials)に従って、ユーザー名とキーを追加する必要があります。それが完了したら、次のコマンドを実行できます。 kaggle datasets download xhlulu/medal-emnlp 今度は、すべてのファイルを解凍して `data` ディレクトリ内に配置します。 unzip -nq crawl-300d-2M-subword.zip -d data mv data/pretrain_sample/* data/ ## FastText埋め込みの読み込み LSTMモデルでは、fastText埋め込みを使用する必要があります。そのためには、まず重みをダウンロードして抽出します。 wget -nc -P data/ https://dl.fbaipublicfiles.com/fasttext/vectors-english/crawl-300d-2M-subword.zip unzip -nq data/crawl-300d-2M-subword.zip -d data/ ## モデルのクイックスタート ## Torch Hubの使用 `torch.hub` を使ってLSTMとLSTM-SAを直接読み込むことができます。 python import torch lstm = torch.hub.load("BruceWen120/medal"