End to End LLM

端到端法學碩士訓練營

端到端 LLM（大型語言模型）訓練營是從現實世界的角度設計的，遵循資料處理、開發和部署管道範例。與會者將了解為文本生成任務預處理 openassistant-guanaco 資料集的工作流程，並使用 LLAMA 2 700 億模型（一個經過預訓練和微調的法學碩士）訓練資料集。與會者還將學習使用NVIDIA® TensorRT™ LLM（一種用於高效能大型語言模型推理的SDK）優化LLM，了解使用NVIDIA NeMo Guardrails 的LLM 模型的防護提示和響應，以及使用NVIDIA TensorRT LLM 後端部署AI 管道（由 Triton™ 推理伺服器提供支援），這是一款開源軟體，可標準化每個工作負載的 LLM 部署和執行。

訓練營內容

此內容包含三個實驗室，以及一本挑戰筆記本：

• 實驗 1：使用自訂資料微調 Llama2
• 實驗 2：使用 Finetune 模型建立 TensorRT 引擎
• 實驗 3：使用 Triton Inference Server 部署 Finetune 模型
• 挑戰實驗室
• 護欄的應用（即將推出）

工具和框架

Bootcamp 材料中使用的工具和框架如下：

• NVIDIA NeMo™
• NVIDIA TensorRT™
• NVIDIA Triton™ 推理伺服器

教程時長

整個訓練營材料大約需要 7 小時 30 分鐘。我們建議將材料的教學分為兩天，在一個課程中涵蓋實驗 1-3，在下一課程中涵蓋其餘內容。

部署訓練營材料

若要部署實驗室，請參閱此處提供的部署指南

歸因

本資料源自 OpenHackathons Github 儲存庫。在此處查看其他材料

不要忘記查看其他開放黑客馬拉松資源並加入我們的 OpenACC 和黑客馬拉松 Slack 頻道來分享您的經驗並從社群獲得更多幫助。

授權

版權所有 © 2024 OpenACC-Standard.org。本資料由 OpenACC-Standard.org 與 NVIDIA Corporation 合作根據 Creative Commons Attribution 4.0 International (CC BY 4.0) 發布。這些材料可能包括對其他實體開發的硬體和軟體的引用；所有適用的許可和版權均適用。