quick start guide to llms

大型语言模型快速入门指南 - 第二版

今天就获取您的副本，请留下评分/评论，告诉我您的想法！

欢迎来到“大型语言模型快速入门指南 - 第二版”的 GitHub 存储库。该存储库包含本书中使用的代码片段和笔记本，演示了使用 Transformer 模型和大型语言模型 (LLM) 的各种应用程序和高级技术。在此处查看第一版的代码

存储库结构

目录

• notebooks ：包含书中每一章的 Jupyter 笔记本。
• data ：包含笔记本中使用的数据集。
• images ：包含笔记本中使用的图像和图表。

笔记本电脑

下面是notebooks目录中包含的笔记本列表，按书中的章节组织。

第一部分 - 大型语言模型简介

• 第 2 章：法学硕士语义搜索

  • 02_semantic_search.ipynb ：使用 OpenAI 和开源模型进行语义搜索的介绍。

• 第 3 章：快速工程的第一步

  • 03_prompt_engineering.ipynb ：针对指令对齐的法学硕士的有效提示工程指南。

• 第 4 章：人工智能生态系统：整合各个部分

  • 04_rag_retrieval.ipynb ：构建检索增强生成（RAG）管道。
  • 04_agent.ipynb ：使用 LLM 和其他工具构建 AI 代理。

第二部分 - 充分利用法学硕士

• 第 5 章：通过定制微调优化法学硕士

  • 05_bert_app_review.ipynb ：微调应用程序评论分类的 BERT 模型。
  • 05_openai_app_review_fine_tuning.ipynb ：微调 OpenAI 模型以进行应用程序评论分类。

• 第 6 章：高级即时工程

  • 06_adv_prompt_engineering.ipynb ：提示工程中的先进技术，包括输出验证和语义小样本学习。

• 第 7 章：自定义嵌入和模型架构

  • 07_recommendation_engine.ipynb ：使用自定义微调的 LLM 和嵌入构建推荐引擎。

第三部分 - 法学硕士高级用法

• 第 9 章：超越基础模型

  • 09_constructing_a_vqa_system.ipynb ：使用 GPT-2 和 Vision Transformer 构建视觉问答 (VQA) 系统的分步指南。
  • 09_using_our_vqa.ipynb ：使用之前笔记本中内置的VQA系统。
  • 09_flan_t5_rl.ipynb ：使用强化学习（RL）来改进 FLAN-T5 模型输出。

• 第 10 章：高级开源 LLM 微调

  • 10_SAWYER_LLAMA_SFT.ipynb ：微调 Llama-3 模型以创建 SAWYER 机器人。
  • 10_SAWYER_Reward_Model.ipynb ：根据人类偏好为 SAWYER 机器人训练奖励模型。
  • 10_SAWYER_RLF.ipynb ：应用人类反馈强化学习 (RLHF) 来调整 SAWYER 机器人。
  • 10_SAWYER_USE_SAWYER.ipynb ：使用 SAWYER 机器人。
  • 10_anime_category_classification_model_freezing.ipynb ：微调用于动漫类别分类的 BERT 模型，比较层冻结技术。
  • 10_latex_gpt2.ipynb ：微调 GPT-2 以生成 LaTeX 公式。
  • 10_optimizing_fine_tuning.ipynb ：优化变压器模型微调的最佳实践。

• 第 11 章：将法学硕士投入生产

  • 11_distillation_example_1.ipynb ：探索变压器模型的知识蒸馏技术。
  • 11_distillation_example_2.ipynb ：先进的蒸馏方法和应用。
  • 11_llama_quantization.ipynb ：量化 Llama 模型以实现高效部署。

• 第 12 章：评估法学硕士

  • 12_llm_calibration.ipynb ：校准 LLM 输出的技术。
  • 12_llm_gen_eval.ipynb ：评估 LLM 生成能力的方法。
  • 12_cluster.ipynb ：用于分析 LLM 输出的聚类技术。
  • Probing - 有十多个用于 Probing 的笔记本，所以我在这里只分享几个关键的：
    • Llama-3 8B 通过提示“Who is {NAME}”进行指导
    • BERT-大写无提示
    • Mistral-7B-Instruct-v0.3，提示“Who is {NAME}”

如何使用

要使用此存储库：

1. 将存储库克隆到本地计算机：

git clone https://github.com/yourusername/quick-start-llms.git

2. 导航到笔记本目录并打开您选择的 Jupyter 笔记本：

 cd quick-start-llms

3. 安装必要的库：

pip install -r requirements.txt

注意：某些笔记本可能需要特定的数据集，可以在数据目录中找到。

贡献

欢迎贡献！如果您有任何补充、更正或增强，请随时提交拉取请求。

免责声明

该存储库用于教育目的，旨在与“大型语言模型快速入门指南 - 第二版”一书一起使用。请参阅本书，了解笔记本中所涵盖主题的深入解释和讨论。

更多思南的作品

1. 查看思南的时事通讯 AI 办公时间，了解更多 AI/LLM 内容！
2. Sinan 有一个名为“实用智能”的播客，他在其中谈论人工智能领域的最新、最伟大的内容！
3. 关注 O'Reilly 上的数据、法学硕士和 ChatGPT 入门播放列表，获取 Sinan 作品的精选列表！