hands on llms

法学硕士实践课程

学习培训和部署实时财务顾问

作者：Paul Iusztin、Pau Labarta Bajo 和 Alexandru Razvant

目录

• 1. 构建模块
  • 1.1.培训渠道
  • 1.2.流式实时管道
  • 1.3.推理管道
  • 1.4.金融问答数据集
• 2. 设置外部服务
  • 2.1.羊驼毛
  • 2.2.奎德兰特
  • 2.3.彗星ML
  • 2.4.光束
  • 2.5. AWS
• 3. 安装与使用
• 4. 讲座
  • 4.1.成本
  • 4.2.提问
  • 4.3.视频讲座
  • 4.4.文章
• 5. 许可证
• 6. 贡献者和教师

---

1. 构建模块

使用 3 管道设计，这就是您将在本课程中学习构建的内容↓

1.1.培训渠道

培训管道：

• 加载专有的问答数据集
• 使用 QLoRA 微调开源 LLM
• 在 Comet ML 的实验跟踪器上记录训练实验，并在 Comet ML 的 LLMOps 仪表板上记录推理结果
• 将最佳模型存储在 Comet ML 的模型注册表中

训练管道使用 Beam 作为无服务器 GPU 基础设施进行部署。

-> 在modules/training_pipeline目录下找到。

最低硬件要求

• CPU：4核
• 内存：14GiB
• VRAM：10 GiB（强制启用 CUDA 的 Nvidia GPU）

注意：如果您没有达到最低硬件要求，请不要担心。我们将向您展示如何将培训管道部署到 Beam 的无服务器基础设施并在那里培训法学硕士。

1.2.流式实时管道

实时特征管道：

• 从 Alpaca 获取财经新闻
• 使用 Bytewax 实时清理新闻文档并将其转换为嵌入内容
• 将嵌入存储到 Qdrant Vector DB 中

使用 GitHub 操作中内置的 CI/CD 管道，流式传输管道自动部署在 AWS EC2 计算机上。

-> 在modules/streaming_pipeline目录下找到。

最低硬件要求

• CPU：1核
• 内存：2GiB
• 显存：-

1.3.推理管道

使用 LangChain 创建一条链的推理管道：

• 从 Comet 的模型注册表下载微调后的模型
• 将用户问题作为输入
• 查询Qdrant Vector DB并增强相关财经新闻的提示
• 使用初始查询、向量数据库中的上下文和聊天历史记录调用微调的 LLM 以获得财务建议
• 将聊天记录保存到内存中
• 将提示和答案记录到 Comet ML 的 LLMOps 监控功能中

推理管道使用 Beam 作为无服务器 GPU 基础设施和 RESTful API进行部署。此外，它还包含在用于演示目的的 UI 下，并在 Gradio 中实现。

-> 在modules/financial_bot目录下找到。

最低硬件要求

• CPU：4核
• 内存：14GiB
• VRAM：8 GiB（强制启用 CUDA 的 Nvidia GPU）

注意：如果您没有达到最低硬件要求，请不要担心。我们将向您展示如何将推理管道部署到 Beam 的无服务器基础设施并从那里调用 LLM。

1.4.金融问答数据集

我们使用GPT3.5生成财务问答数据集，以微调我们的开源 LLM，使其专注于使用财务术语和回答财务问题。使用大型 LLM（例如GPT3.5生成训练较小 LLM（例如 Falcon 7B）的数据集被称为蒸馏微调。

→ 要了解我们如何生成财务问答数据集，请查看 Pau Labarta 撰写的这篇文章。

→ 要查看财务问答数据集的完整分析，请查看 Alexandru Razvant 编写的课程的数据集分析小节。

2. 设置外部服务

在深入学习模块之前，您必须为课程设置一些额外的外部工具。

注意：您可以在每个模块中进行设置，因为我们将在每个模块中指出您需要的内容。

2.1.羊驼毛

financial news data source

按照本文档向您展示如何创建免费帐户并生成本课程所需的 API 密钥。

注意： 1x Alpaca 数据连接是免费的。

2.2.奎德兰特

serverless vector DB

前往 Qdrant 并创建一个免费帐户。

然后，按照本文档了解如何生成本课程中所需的 API 密钥。

注意：我们将仅使用 Qdrant 的免费增值计划。

2.3.彗星ML

serverless ML platform

前往 Comet ML 并创建一个免费帐户。

之后，按照本指南生成您在课程中需要的 API 密钥和新项目。

注意：我们将仅使用 Comet ML 的免费增值计划。

2.4.光束

serverless GPU compute | training & inference pipelines

前往 Beam 并创建一个免费帐户。

之后，您必须按照他们的安装指南安装其 CLI 并使用您的 Beam 凭据进行配置。

要了解有关 Beam 的更多信息，请参阅以下介绍指南。

注意：您有大约 10 个免费计算小时。之后，您只需为您使用的内容付费。如果您有 Nvidia GPU >8 GB VRAM 并且不想部署训练和推理管道，则可以选择使用 Beam。

故障排除

使用 Poetry 时，我们在 Poetry 虚拟环境中定位 Beam CLI 时遇到问题。为了解决这个问题，在安装 Beam 后，我们创建一个指向 Poetry 二进制文件的符号链接，如下所示：

 export COURSE_MODULE_PATH= < your-course-module-path > # e.g., modules/training_pipeline
 cd $COURSE_MODULE_PATH
 export POETRY_ENV_PATH= $( dirname $( dirname $( poetry run which python ) ) )

 ln -s /usr/local/bin/beam ${POETRY_ENV_PATH} /bin/beam

2.5. AWS

cloud compute | feature pipeline

转到 AWS，创建一个帐户并生成一对凭证。

之后，下载并安装 AWS CLI v2.11.22 并使用您的凭证进行配置。

注意：您只需为您使用的内容付费。您将仅部署一个t2.small EC2 VM，每小时仅需~$0.023 。如果您不想部署功能管道，则可以选择使用 AWS。

3. 安装与使用

每个模块都有其依赖项和脚本。在生产设置中，每个模块都有其存储库，但在这个用例中，出于学习目的，我们将所有内容放在一个地方：

因此，请分别查看每个模块的自述文件，了解如何安装和使用它：

1. q_and_a_dataset_generator
2. 训练管道
3. 流媒体管道
4. 推理管道

4. 讲座

我们强烈鼓励您克隆此存储库并复制我们所做的一切，以充分利用本课程。

在每个模块的视频讲座、文章和自述文件中，您都会找到分步说明。

快乐学习！

4.1.成本

GitHub 代码（在 MIT 许可下发布）和视频讲座（在 YouTube 上发布）完全免费。永远都会是。

Medium 课程在 Medium 的付费墙下发布。如果您已经拥有它，那么它们是免费的。否则，您必须每月支付 5 美元的费用才能阅读这些文章。

4.2.提问

如果您在课程期间有任何疑问或问题，我们鼓励您在此存储库中创建一个问题，您可以在其中深入解释您需要的所有内容。

或者，您也可以在 LinkedIn 上联系老师：

• 保罗·尤斯汀
• 保罗·拉巴塔

4.3.视频讲座

4.3.1.课程简介

点击这里观看视频？

4.3.2.微调我们的开源法学硕士（概述）

点击这里观看视频？

4.3.3.微调我们的开源法学硕士（动手实践！）

点击这里观看视频？

4.3.4.实时文本嵌入管道

点击这里观看视频？

4.3.5.推理管道

点击这里观看视频？

4.4.文章

To understand the entire code step-by-step, check out our articles ↓

系统设计

• 第 1 课：法学硕士套件：使用流管道、RAG 和 LLMOps 构建可投入生产的实时财务顾问系统

特征管道

• 第 2 课：为什么在 LLM 应用程序中执行 RAG 时必须选择流式传输而不是批处理管道
• 第 3 课：这是构建和部署流管道以填充实时 RAG 的矢量数据库的方法

培训管道

• 第 4 课：LLM 微调套件中必须包含的 5 个概念
• 第 5 课：使用 QLoRA 编写通用代码来微调任何 LLM 的秘诀
• 第 6 课：从 LLM 开发到使用 LLMOps 的持续培训流程

推理管道

• 第 7 课：利用 3 管道架构设计 RAG LangChain 应用程序
• 第 8 课：准备 RAG LangChain 应用程序以进行生产

5. 许可证

本课程是根据 MIT 许可证发布的开源项目。因此，只要您分发我们的许可证并认可我们的工作，您就可以安全地克隆或分叉该项目并将其用作您想要的任何内容（例如大学项目、大学学位项目等）的灵感来源。

6. 贡献者和教师

	保罗·拉巴塔·巴霍 |高级 ML 和 MLOps 工程师 主要老师。视频课程中的那个人。 领英 推特/X YouTube 现实世界的机器学习通讯 真实世界的机器学习网站
	亚历山德鲁·拉兹万特 |高级机器学习工程师 二厨。幕后工程师。 领英 神经跳跃
	保罗·尤斯汀 |高级 ML 和 MLOps 工程师 主厨。那些随机出现在视频课程中的人。 领英 推特/X 解码机器学习通讯 个人网站 | ML 和 MLOps 中心