End to End LLM

End-to-End-LLM-Bootcamp

Das End-to-End-LLM-Bootcamp (Large Language Model) ist aus einer realen Perspektive konzipiert und folgt dem Paradigma der Datenverarbeitung, Entwicklung und Bereitstellungspipeline. Die Teilnehmer durchlaufen den Arbeitsablauf der Vorverarbeitung des Openassistant-Guanaco-Datensatzes für die Textgenerierungsaufgabe und des Trainings des Datensatzes mithilfe des LLAMA 2 7Billion-Modells, einem vorab trainierten und fein abgestimmten LLM. Die Teilnehmer lernen außerdem, wie man ein LLM mithilfe von NVIDIA® TensorRT™ LLM optimiert, einem SDK für hochleistungsfähige Inferenz großer Sprachmodelle, Leitplanken-Eingabeaufforderungen und -Antworten des LLM-Modells mithilfe von NVIDIA NeMo Guardrails versteht und die KI-Pipeline mithilfe des NVIDIA TensorRT LLM-Backends bereitstellt (unterstützt von Triton™ Inference Server), einer Open-Source-Software, die die LLM-Bereitstellung und -Ausführung für jede Arbeitslast standardisiert.

Bootcamp-Inhalte

Dieser Inhalt enthält drei Labs sowie ein Challenge-Notizbuch:

• Labor 1: Feinabstimmung von Llama2 mit benutzerdefinierten Daten
• Labor 2: Erstellen einer TensorRT-Engine mit einem Finetune-Modell
• Labor 3: Bereitstellen eines Finetune-Modells mit Triton Inference Server
• Herausforderungslabor
• Anwendung von Leitplanken (in Kürze erhältlich)

Tools und Frameworks

Die im Bootcamp-Material verwendeten Tools und Frameworks sind wie folgt:

• NVIDIA NeMo™
• NVIDIA TensorRT™
• NVIDIA Triton™ Inferenzserver

Dauer des Tutorials

Das gesamte Bootcamp-Material würde etwa 7 Stunden und 30 Minuten dauern. Wir empfehlen, die Vermittlung des Materials auf zwei Tage aufzuteilen und die Übungen 1–3 in einer Sitzung und den Rest in der nächsten Sitzung abzudecken.

Bereitstellen des Bootcamp-Materials

Informationen zur Bereitstellung der Labs finden Sie im hier vorgestellten Bereitstellungsleitfaden

Namensnennung

Dieses Material stammt aus dem OpenHackathons-Github-Repository. Weitere Materialien finden Sie hier

Vergessen Sie nicht, sich weitere Open Hackathons-Ressourcen anzusehen und unserem OpenACC- und Hackathons-Slack-Kanal beizutreten, um Ihre Erfahrungen zu teilen und weitere Hilfe von der Community zu erhalten.

Lizenzierung

Copyright © 2024 OpenACC-Standard.org. Dieses Material wird von OpenACC-Standard.org in Zusammenarbeit mit der NVIDIA Corporation unter der Creative Commons Attribution 4.0 International (CC BY 4.0) veröffentlicht. Diese Materialien können Verweise auf Hardware und Software enthalten, die von anderen Unternehmen entwickelt wurden; Es gelten alle geltenden Lizenz- und Urheberrechte.