odsc llmops

LLMs vom Prototyp bis zur Produktion

LLMOps, Prompt Engineering und Verlagerung von LLMs in die Cloud

Willkommen im GitHub-Repository für den ODSC-Workshop zu LLMOps. Dieser Workshop soll Ihnen dabei helfen, das volle Potenzial von LLMs durch Quantisierung, Destillation, Feinabstimmung, Kubernetes und vieles mehr auszuschöpfen!

Die meisten dieser Fallstudien stammen aus meinem Buch: Quick Start Guide to LLMs

Für weitere Details und die Teilnahme am Workshop klicken Sie hier.

Notizbücher / Folien

Tauchen Sie mit unseren umfassenden Notizbüchern tief in die praktische Anwendung ein. Diese Notizbücher führen Sie Schritt für Schritt durch die beiden im Workshop behandelten Fallstudien und ermöglichen so ein interaktives und praktisches Lernerlebnis.

Workshop-Folien

Hier sind die Folien zum Workshop.

• Folien: [ODSC LLMOps](./slides/ODSC - LLMs from Prototype to Production.pdf)

Fallstudie 1: Quantisierung von Lama 3

• Dynamische Quantisierung von Llama-3 – Verwendung von Bits und Bytes zur Quantisierung eines Modells in Echtzeit unter Last. Wir werden die Unterschiede vor und nach der Quantisierung untersuchen

• Sehen Sie, wie Sie eine vorquantisierte Version von Llama laden, um Geschwindigkeit und Speichernutzung zu vergleichen:

  • Arbeiten mit GGUF (keine GPU)

  • Arbeiten mit GGUF (mit einer GPU)

Fallstudie 2: LLMs destillieren

• Destillieren von BERT-Modellen zur Optimierung von Geschwindigkeit/Speicher – Erfahren Sie, wie Sie eine aufgabenspezifische Destillation durchführen, um ein BERT-Modell für die Klassifizierung zu miniaturisieren

Fallstudie 3: Bereitstellung von Quantized Llama 3 mit llama.cpp

• Dieses Verzeichnis für eine K8s-Demo zur Verwendung von Einbettungsmodellen und Llama 3 mit GGUF auf einer GPU

Fallstudie 4: Evaluierung generativer KI

• Bewertung von LLMs mit Rubriken – Erkundung einer Rubrik-Eingabeaufforderung zur Bewertung des generativen Outputs

• Ausrichtung bewerten (je nach Zeit) – Sehen, wie ein LLM die Antworten des Agenten beurteilen kann

Zusätzliche Notizbücher

Hier sind einige Notizbücher, auf die ich während des Workshops verweise, für die ich aber keine Zeit habe:

Danke schön!

Wenn Ihnen die Fallstudien gefallen haben, denken Sie bitte darüber nach, meinem Buch bei Amazon eine 5-Sterne-Bewertung zu geben, da es mir als Autor wirklich hilft! Für weitere Details und die Teilnahme am Workshop klicken Sie hier.