ODSC LLMOPS

從原型到生產的法學碩士

LLMOps、快速工程以及將 LLM 遷移到雲端

歡迎來到有關 LLMOps 的 ODSC 研討會的 GitHub 儲存庫。本研討會旨在幫助您透過量化、蒸餾、微調、Kubernetes 等方式釋放法學碩士的全部潛力！

這些案例研究大部分來自我的書：法學碩士快速入門指南

如需了解更多詳情並參加研討會，請點擊此處。

筆記本/幻燈片

使用我們全面的筆記本深入了解實際應用。這些筆記本將逐步引導您完成研討會中涵蓋的兩個案例研究，從而獲得互動和實踐的學習體驗。

研討會投影片

這是研討會的幻燈片。

• 投影片：[ODSC LLMOps](./slides/ODSC - 從原型到生產的法學碩士.pdf)

案例研究 1：量化 Llama 3

• 動態量化 Llama-3 - 使用位元和位元組在載入時即時量化模型。我們將研究量化前後的差異

• 了解如何載入 Llama 的預量化版本以比較速度和記憶體使用：

  • 使用 GGUF（無 GPU）

  • 使用 GGUF（使用 GPU）

案例研究 2：蒸餾法學碩士

• 蒸餾 BERT 模型以優化速度/內存- 了解如何執行特定於任務的蒸餾以小型化用於分類的 BERT 模型

案例研究 3：使用 llama.cpp 部署量化 Llama 3

• 此目錄用於在 GPU 上使用嵌入模型和帶有 GGUF 的 Llama 3 的 K8s 演示

案例研究 4：評估生成式人工智慧

• 使用評分標準評估法學碩士- 探索評估產生輸出的評分標準提示

• 評估一致性（時間允許） ——了解法學碩士如何判斷代理人的反應

額外的筆記本

以下是我在研討會期間參考的一些筆記本，但沒有時間詳細了解：

謝謝你！

如果您喜歡這些案例研究，請考慮在亞馬遜上給我的書 5 星評級，因為它對我作為作家確實有幫助！如需了解更多詳情並參加研討會，請點擊此處。