hands on llms

法學碩士實務課程

學習培訓和部署即時財務顧問

作者：Paul Iusztin、Pau Labarta Bajo 和 Alexandru Razvant

目錄

• 1. 建構模組
  • 1.1.培訓管道
  • 1.2.串流即時管道
  • 1.3.推理管道
  • 1.4.金融問答資料集
• 2. 設定外部服務
  • 2.1.羊駝毛
  • 2.2.奎德蘭特
  • 2.3.彗星ML
  • 2.4.光束
  • 2.5. AWS
• 3. 安裝與使用
• 4. 講座
  • 4.1.成本
  • 4.2.提問
  • 4.3.視訊講座
  • 4.4.文章
• 5. 許可證
• 6. 貢獻者和教師

---

1. 建構模組

使用 3 管道設計，這就是您將在本課程中學習構建的內容↓

1.1.培訓管道

培訓管道：

• 載入專有的問答資料集
• 使用 QLoRA 微調開源 LLM
• 在 Comet ML 的實驗追蹤器上記錄訓練實驗，並在 Comet ML 的 LLMOps 儀表板上記錄推理結果
• 將最佳模型儲存在 Comet ML 的模型登錄中

訓練管道使用 Beam 作為無伺服器 GPU 基礎架構進行部署。

-> 在modules/training_pipeline目錄下找到。

最低硬體需求

• CPU：4核心
• 記憶體：14GiB
• VRAM：10 GiB（強制啟用 CUDA 的 Nvidia GPU）

注意：如果您沒有達到最低硬體要求，請不要擔心。我們將向您展示如何將培訓管道部署到 Beam 的無伺服器基礎設施並在那裡培訓法學碩士。

1.2.串流即時管道

即時特徵管道：

• 從 Alpaca 獲取財經新聞
• 使用 Bytewax 即時清理新聞文件並將其轉換為嵌入內容
• 將嵌入儲存到 Qdrant Vector DB 中

使用 GitHub 作業中內建的 CI/CD 管道，串流管道自動部署在 AWS EC2 電腦上。

-> 在modules/streaming_pipeline目錄下找到。

最低硬體需求

• CPU：1核心
• 記憶體：2GiB
• 顯存：-

1.3.推理管道

使用 LangChain 創建一條鏈的推理管道：

• 從 Comet 的模型登錄下載微調後的模型
• 將使用者問題作為輸入
• 查詢Qdrant Vector DB並增強相關財經新聞的提示
• 使用初始查詢、向量資料庫中的上下文和聊天歷史記錄呼叫微調的 LLM 以獲得財務建議
• 將聊天記錄儲存到記憶體中
• 將提示和答案記錄到 Comet ML 的 LLMOps 監控功能中

推理管道使用 Beam 作為無伺服器 GPU 基礎架構和 RESTful API進行部署。此外，它還包含在用於演示目的的 UI 下，並在 Gradio 中實作。

-> 在modules/financial_bot目錄下找到。

最低硬體需求

• CPU：4核心
• 記憶體：14GiB
• VRAM：8 GiB（強制啟用 CUDA 的 Nvidia GPU）

注意：如果您沒有達到最低硬體要求，請不要擔心。我們將向您展示如何將推理管道部署到 Beam 的無伺服器基礎架構並從那裡呼叫 LLM。

1.4.金融問答資料集

我們使用GPT3.5產生財務問答資料集，以微調我們的開源 LLM，使其專注於使用財務術語和回答財務問題。使用大型 LLM（例如GPT3.5產生訓練較小 LLM（例如 Falcon 7B）的資料集稱為蒸餾微調。

→ 要了解我們如何產生財務問答資料集，請查看 Pau Labarta 撰寫的這篇文章。

→ 若要查看財務問答資料集的完整分析，請查看 Alexandru Razvant 所寫的課程的資料集分析小節。

2. 設定外部服務

在深入學習模組之前，您必須為課程設定一些額外的外部工具。

注意：您可以在每個模組中進行設置，因為我們將在每個模組中指出您需要的內容。

2.1.羊駝毛

financial news data source

請依照本文檔向您展示如何建立免費帳戶並生成本課程所需的 API 金鑰。

注意： 1x Alpaca 資料連線是免費的。

2.2.奎德蘭特

serverless vector DB

前往 Qdrant 並建立免費帳戶。

然後，請按照本文檔了解如何生成本課程中所需的 API 金鑰。

注意：我們將僅使用 Qdrant 的免費增值計劃。

2.3.彗星ML

serverless ML platform

前往 Comet ML 並建立免費帳戶。

之後，請按照本指南產生您在課程中需要的 API 金鑰和新專案。

注意：我們將僅使用 Comet ML 的免費增值方案。

2.4.光束

serverless GPU compute | training & inference pipelines

前往 Beam 並建立免費帳戶。

之後，您必須按照他們的安裝指南安裝其 CLI 並使用您的 Beam 憑證進行設定。

要了解有關 Beam 的更多信息，請參閱以下介紹指南。

注意：您有大約 10 個免費計算小時。之後，您只需為您使用的內容付費。如果您有 Nvidia GPU >8 GB VRAM 並且不想部署訓練和推理管道，則可以選擇使用 Beam。

故障排除

使用 Poetry 時，我們在 Poetry 虛擬環境中定位 Beam CLI 時遇到問題。為了解決這個問題，在安裝 Beam 後，我們建立一個指向 Poetry 二進位檔案的符號鏈接，如下所示：

 export COURSE_MODULE_PATH= < your-course-module-path > # e.g., modules/training_pipeline
 cd $COURSE_MODULE_PATH
 export POETRY_ENV_PATH= $( dirname $( dirname $( poetry run which python ) ) )

 ln -s /usr/local/bin/beam ${POETRY_ENV_PATH} /bin/beam

2.5. AWS

cloud compute | feature pipeline

前往 AWS，建立一個帳戶並產生一對憑證。

之後，下載並安裝 AWS CLI v2.11.22 並使用您的憑證進行設定。

注意：您只需為您使用的內容付費。您將僅部署一個t2.small EC2 VM，每小時僅需~$0.023 。如果您不想部署功能管道，則可以選擇使用 AWS。

3. 安裝與使用

每個模組都有其依賴項和腳本。在生產設定中，每個模組都有其儲存庫，但在這個用例中，出於學習目的，我們將所有內容放在一個地方：

因此，請分別查看每個模組的自述文件，以了解如何安裝和使用它：

1. q_and_a_dataset_generator
2. 訓練管道
3. 串流媒體管道
4. 推理管道

4. 講座

我們強烈鼓勵您複製此儲存庫並複製我們所做的一切，以充分利用本課程。

在每個模組的視訊講座、文章和自述文件中，您都會找到逐步說明。

快樂學習！

4.1.成本

GitHub 代碼（在 MIT 許可下發布）和視訊講座（在 YouTube 上發布）完全免費。永遠都會是。

Medium 課程在 Medium 的付費牆下發布。如果您已經擁有它，那麼它們是免費的。否則，您必須每月支付 5 美元的費用才能閱讀這些文章。

4.2.提問

如果您在課程期間有任何疑問或問題，我們鼓勵您在此儲存庫中建立一個問題，您可以在其中深入解釋您需要的所有內容。

或者，您也可以在 LinkedIn 上聯絡老師：

• 保羅·尤斯汀
• 保羅·拉巴塔

4.3.視訊講座

4.3.1.課程簡介

點這裡觀看影片？

4.3.2.微調我們的開源法學碩士（概述）

點這裡觀看影片？

4.3.3.微調我們的開源法學碩士（動手實踐！）

點這裡觀看影片？

4.3.4.即時文字嵌入管道

點這裡觀看影片？

4.3.5.推理管道

點這裡觀看影片？

4.4.文章

To understand the entire code step-by-step, check out our articles ↓

系統設計

• 第 1 課：法學碩士套件：使用流管道、RAG 和 LLMOps 建立可投入生產的即時財務顧問系統

特徵管道

• 第 2 課：為什麼在 LLM 應用程式中執行 RAG 時必須選擇串流傳輸而不是批次管道
• 第 3 課：這是建立和部署流管道以填充即時 RAG 的向量資料庫的方法

培訓管道

• 第 4 課：LLM 微調套件中必須包含的 5 個概念
• 第 5 課：使用 QLoRA 編寫通用程式碼來微調任何 LLM 的秘訣
• 第 6 課：從 LLM 開發到使用 LLMOps 的持續訓練流程

推理管道

• 第 7 課：利用 3 管道架構設計 RAG LangChain 應用程式
• 第 8 課：準備 RAG LangChain 應用程式以進行生產

5. 許可證

本課程是根據 MIT 許可證發布的開源專案。因此，只要您分發我們的許可證並認可我們的工作，您就可以安全地克隆或分叉該項目，並將其用作您想要的任何內容（例如大學項目、大學學位項目等）的靈感來源。

6. 貢獻者和教師

	保羅‧拉巴塔‧巴霍 |資深 ML 和 MLOps 工程師 主要老師。視訊課程中的那個人。 領英 推特/X Youtube 現實世界的機器學習通訊 真實世界的機器學習網站
	亞歷山德魯·拉茲萬特 |資深機器學習工程師 二廚。幕後工程師。 領英 神經跳躍
	保羅‧尤斯汀 |資深 ML 和 MLOps 工程師 主廚。那些隨機出現在視訊課程的人。 領英 推特/X 解碼機器學習通訊 個人網站 | ML 和 MLOps 中心