End to End LLM

端到端法学硕士训练营

端到端 LLM（大型语言模型）训练营是从现实世界的角度设计的，遵循数据处理、开发和部署管道范例。与会者将了解为文本生成任务预处理 openassistant-guanaco 数据集的工作流程，并使用 LLAMA 2 700 亿模型（一个经过预训练和微调的法学硕士）训练数据集。与会者还将学习使用 NVIDIA® TensorRT™ LLM（一种用于高性能大型语言模型推理的 SDK）优化 LLM，了解使用 NVIDIA NeMo Guardrails 的 LLM 模型的防护提示和响应，以及使用 NVIDIA TensorRT LLM 后端部署 AI 管道（由 Triton™ 推理服务器提供支持），这是一款开源软件，可标准化每个工作负载的 LLM 部署和执行。

训练营内容

此内容包含三个实验室，以及一个挑战笔记本：

• 实验 1：使用自定义数据微调 Llama2
• 实验 2：使用 Finetune 模型构建 TensorRT 引擎
• 实验 3：使用 Triton Inference Server 部署 Finetune 模型
• 挑战实验室
• 护栏的应用（即将推出）

工具和框架

Bootcamp 材料中使用的工具和框架如下：

• NVIDIA NeMo™
• NVIDIA TensorRT™
• NVIDIA Triton™ 推理服务器

教程时长

整个训练营材料大约需要 7 小时 30 分钟。我们建议将材料的教学分为两天，在一个课程中涵盖实验 1-3，在下一课程中涵盖其余内容。

部署训练营材料

要部署实验室，请参阅此处提供的部署指南

归因

本材料源自 OpenHackathons Github 存储库。在此处查看其他材料

不要忘记查看其他开放黑客马拉松资源并加入我们的 OpenACC 和黑客马拉松 Slack 频道来分享您的经验并从社区获得更多帮助。

许可

版权所有 © 2024 OpenACC-Standard.org。本材料由 OpenACC-Standard.org 与 NVIDIA Corporation 合作根据 Creative Commons Attribution 4.0 International (CC BY 4.0) 发布。这些材料可能包括对其他实体开发的硬件和软件的引用；所有适用的许可和版权均适用。