ODSC LLMOPS

从原型到生产的法学硕士

LLMOps、快速工程以及将 LLM 迁移到云端

欢迎来到有关 LLMOps 的 ODSC 研讨会的 GitHub 存储库。本研讨会旨在帮助您通过量化、蒸馏、微调、Kubernetes 等方式释放法学硕士的全部潜力！

这些案例研究大部分来自我的书：法学硕士快速入门指南

如需了解更多详情并参加研讨会，请点击此处。

笔记本/幻灯片

使用我们全面的笔记本深入了解实际应用。这些笔记本将逐步指导您完成研讨会中涵盖的两个案例研究，从而获得互动和实践的学习体验。

研讨会幻灯片

这是研讨会的幻灯片。

• 幻灯片：[ODSC LLMOps](./slides/ODSC - 从原型到生产的法学硕士.pdf)

案例研究 1：量化 Llama 3

• 动态量化 Llama-3 - 使用位和字节在加载时实时量化模型。我们将研究量化前后的差异

• 了解如何加载 Llama 的预量化版本以比较速度和内存使用情况：

  • 使用 GGUF（无 GPU）

  • 使用 GGUF（使用 GPU）

案例研究 2：蒸馏法学硕士

• 蒸馏 BERT 模型以优化速度/内存- 了解如何执行特定于任务的蒸馏以小型化用于分类的 BERT 模型

案例研究 3：使用 llama.cpp 部署量化 Llama 3

• 此目录用于在 GPU 上使用嵌入模型和带有 GGUF 的 Llama 3 的 K8s 演示

案例研究 4：评估生成式人工智能

• 使用评分标准评估法学硕士- 探索评估生成输出的评分标准提示

• 评估一致性（时间允许） ——了解法学硕士如何判断代理人的反应

额外的笔记本

以下是我在研讨会期间参考的一些笔记本，但没有时间详细了解：

谢谢你！

如果您喜欢这些案例研究，请考虑在亚马逊上给我的书 5 星评级，因为它对我作为一名作家确实有帮助！如需了解更多详情并参加研讨会，请点击此处。