コンテキスト このシラバスのコーパスは、学生の質問に答えるSiriやAlexaに似たAIである[Nimbusアシスタント](https://www.github.com/calpoly-csai/api)をサポートすることを目的としています。 シラバスの文脈では、学生は以下のような質問をすることがあります。 MATH 143ではどの教科書が必要ですか？ MATH 142の後に新しい本を買う必要がありますか？ Anton Kaulの143講座のコースウェブサイトは何ですか？ Kaul博士の成績評価方針は何ですか？ Kaulの143講座を合格するために最低限必要なことは何ですか？ Kaulの数学143講座で優秀な成績を取得するにはどうすればいいですか？ 内容 データは、[Thruuu、素晴らしく使いやすいSERP（検索エンジン結果ページ）スクレイパー](https://app.samuelschmitt.com/)を使用してスクレイピングされました。 # Thruuu * `thruuu.xlsx` - Thruuuからエクスポートされたデータ。 * `thruuu.pdf` - Thruuuからエクスポートされた予備分析。 # ノートブック/プロセス * `step-1-get-documents-from-sheet-urls.ipynb` - `thruuu.xlsx`を**入力**とし、`downloads.tar.gz`と`downloads.csv`を**出力**するノートブック。 * `step-2-extract-document-data-with-OCR.ipynb` - `downloads.tar.gz`と`downloads.csv`を**入力**とし、`extracted.csv`を**出力**するノートブック。 * `step-3-get-simple-logistical-information.ipynb` - `extracted.csv`を**入力**とし、`logistical_info.csv`を出力するノートブック。 # ノートブックの出力 * `downloads.tar.gz` - 100個のPDFファイル（一部のファイルは破損しています）。 * `downloads.csv` - シラバスの検索結果の位置と個々のPDFファイルを関連付けるテーブル。 * `extracted.csv` - 各PDFファイルと抽出されたOCRテキスト（平文もありますが、OCRが優先されます）を関連付けるテーブル。 * `logistical_info.csv` - 各PDFファイルと正規表現を通じて見つかったロジスティック情報（講師/事務室/メールアドレスなど）を関連付けるテーブル。 謝辞 Thruuuを作ってくれた[Samuel Schmitt](samuelschmitt.com)に感謝します！ 着想 * シラバスのテキストからどのような事実を抽出できるでしょうか？ * カリポリの教授がシラバスでよく使うフレーズは何ですか？ * シラバスに見られる最も稀なフレーズは何ですか？ * シラバスから教授の文章スタイルを特定できますか？