quick start guide to llms

大型語言模型快速入門指南 - 第二版

今天就取得您的副本，請留下評分/評論，告訴我您的想法！

歡迎來到「大型語言模型快速入門指南 - 第二版」的GitHub 儲存庫。該儲存庫包含本書中使用的程式碼片段和筆記本，演示了使用 Transformer 模型和大型語言模型 (LLM) 的各種應用程式和進階技術。在此處查看第一版的程式碼

儲存庫結構

目錄

• notebooks ：包含書中每一章的 Jupyter 筆記本。
• data ：包含筆記本中使用的資料集。
• images ：包含筆記本中使用的圖像和圖表。

筆記型電腦

以下是notebooks目錄中包含的筆記本列表，依照書中的章節組織。

第一部分 - 大型語言模型簡介

• 第 2 章：法學碩士語意搜尋

  • 02_semantic_search.ipynb ：使用 OpenAI 和開源模型進行語義搜尋的介紹。

• 第 3 章：快速工程的第一步

  • 03_prompt_engineering.ipynb ：針對指令對齊的法學碩士的有效提示工程指南。

• 第 4 章：人工智慧生態系統：整合各個部分

  • 04_rag_retrieval.ipynb ：建立檢索增強生成（RAG）管道。
  • 04_agent.ipynb ：使用 LLM 和其他工具建立 AI 代理程式。

第二部分 - 充分利用法學碩士

• 第 5 章：透過客製化微調優化法學碩士

  • 05_bert_app_review.ipynb ：微調應用程式評論分類的 BERT 模型。
  • 05_openai_app_review_fine_tuning.ipynb ：微調 OpenAI 模型以進行應用程式評論分類。

• 第 6 章：進階即時工程

  • 06_adv_prompt_engineering.ipynb ：提示工程中的先進技術，包括輸出驗證和語義小樣本學習。

• 第 7 章：自訂嵌入與模型架構

  • 07_recommendation_engine.ipynb ：使用自訂微調的 LLM 和嵌入來建立推薦引擎。

第三部分 - 法學碩士高級用法

• 第 9 章：超越基礎模型

  • 09_constructing_a_vqa_system.ipynb ：使用 GPT-2 和 Vision Transformer 建立視覺問答 (VQA) 系統的逐步指南。
  • 09_using_our_vqa.ipynb ：使用先前筆記本內建的VQA系統。
  • 09_flan_t5_rl.ipynb ：使用強化學習（RL）來改進 FLAN-T5 模型輸出。

• 第 10 章：進階開源 LLM 微調

  • 10_SAWYER_LLAMA_SFT.ipynb ：微調 Llama-3 模型以建立 SAWYER 機器人。
  • 10_SAWYER_Reward_Model.ipynb ：根據人類偏好為 SAWYER 機器人訓練獎勵模型。
  • 10_SAWYER_RLF.ipynb ：應用人類回饋強化學習 (RLHF) 來調整 SAWYER 機器人。
  • 10_SAWYER_USE_SAWYER.ipynb ：使用 SAWYER 機器人。
  • 10_anime_category_classification_model_freezing.ipynb ：微調用於動漫類別分類的 BERT 模型，比較層凍結技術。
  • 10_latex_gpt2.ipynb ：微調 GPT-2 以產生 LaTeX 公式。
  • 10_optimizing_fine_tuning.ipynb ：優化變壓器模型微調的最佳實務。

• 第 11 章：將法學碩士投入生產

  • 11_distillation_example_1.ipynb ：探索變壓器模型的知識蒸餾技術。
  • 11_distillation_example_2.ipynb ：先進的蒸餾方法和應用。
  • 11_llama_quantization.ipynb ：量化 Llama 模型以實現高效部署。

• 第 12 章：評估法學碩士

  • 12_llm_calibration.ipynb ：校準 LLM 輸出的技術。
  • 12_llm_gen_eval.ipynb ：評估 LLM 生成能力的方法。
  • 12_cluster.ipynb ：用於分析 LLM 輸出的聚類技術。
  • Probing - 有十多個用於 Probing 的筆記本，所以我在這裡只分享幾個關鍵的：
    • Llama-3 8B 透過提示「Who is {NAME}」來指導
    • BERT-大寫無提示
    • Mistral-7B-Instruct-v0.3，提示“Who is {NAME}”

如何使用

要使用此存儲庫：

1. 將儲存庫克隆到本機：

git clone https://github.com/yourusername/quick-start-llms.git

2. 導航至筆記本目錄並開啟您選擇的 Jupyter 筆記本：

 cd quick-start-llms

3. 安裝必要的庫：

pip install -r requirements.txt

注意：某些筆記本可能需要特定的資料集，可以在資料目錄中找到。

貢獻

歡迎貢獻！如果您有任何補充、更正或增強，請隨時提交拉取請求。

免責聲明

該存儲庫用於教育目的，旨在與“大型語言模型快速入門指南 - 第二版”一書一起使用。請參閱本書，了解筆記本中所涵蓋主題的深入解釋和討論。

更多思南的作品

1. 查看思南的電子報 AI 辦公時間，了解更多 AI/LLM 內容！
2. Sinan 有一個名為「實用智慧」的播客，他在其中談論人工智慧領域的最新、最偉大的內容！
3. 關注 O'Reilly 上的數據、法學碩士和 ChatGPT 入門播放列表，獲取 Sinan 作品的精選列表！