hands on llms

Praxisorientierter LLM-Kurs

Erfahren Sie, wie Sie einen Echtzeit-Finanzberater schulen und einsetzen

von Paul Iusztin, Pau Labarta Bajo und Alexandru Razvant

Inhaltsverzeichnis

• 1. Bausteine
  • 1.1. Trainingspipeline
  • 1.2. Streaming-Echtzeit-Pipeline
  • 1.3. Inferenzpipeline
  • 1.4. Finanz-Q&A-Datensatz
• 2. Richten Sie externe Dienste ein
  • 2.1. Alpaka
  • 2.2. Qdrant
  • 2.3. Komet ML
  • 2.4. Strahl
  • 2.5. AWS
• 3. Installation und Nutzung
• 4. Vorträge
  • 4.1. Kosten
  • 4.2. Stellen Sie Fragen
  • 4.3. Videovorträge
  • 4.4. Artikel
• 5. Lizenz
• 6. Mitwirkende und Lehrer

---

1. Bausteine

Mithilfe des 3-Pipeline-Designs lernen Sie in diesem Kurs, Folgendes zu erstellen ↓

1.1. Trainingspipeline

Trainingspipeline, die:

• lädt einen proprietären Q&A-Datensatz
• Feinabstimmung eines Open-Source-LLM mithilfe von QLoRA
• protokolliert die Trainingsexperimente im Experiment-Tracker von Comet ML und die Inferenzergebnisse im LLMOps-Dashboard von Comet ML
• speichert das beste Modell im Modellregister von Comet ML

Die Trainingspipeline wird mithilfe von Beam als serverlose GPU-Infrastruktur bereitgestellt .

-> Gefunden im Verzeichnis modules/training_pipeline .

Mindestanforderungen an die Hardware

• CPU: 4 Kerne
• RAM: 14 GiB
• VRAM: 10 GiB (obligatorische CUDA-fähige Nvidia-GPU)

Hinweis: Machen Sie sich keine Sorgen, wenn Sie nicht über die Mindestanforderungen an die Hardware verfügen. Wir zeigen Ihnen, wie Sie die Trainingspipeline in der serverlosen Infrastruktur von Beam bereitstellen und dort den LLM trainieren.

1.2. Streaming-Echtzeit-Pipeline

Echtzeit-Feature-Pipeline, die:

• nimmt Finanznachrichten von Alpaca auf
• Bereinigt und wandelt die Nachrichtendokumente in Echtzeit mit Bytewax in Einbettungen um
• speichert die Einbettungen in der Qdrant Vector DB

Die Streaming-Pipeline wird mithilfe einer in GitHub-Aktionen integrierten CI/CD-Pipeline automatisch auf einer AWS EC2-Maschine bereitgestellt .

-> Gefunden im Verzeichnis modules/streaming_pipeline .

Mindestanforderungen an die Hardware

• CPU: 1 Kern
• RAM: 2 GiB
• VRAM: -

1.3. Inferenzpipeline

Inferenzpipeline, die LangChain verwendet, um eine Kette zu erstellen, die:

• lädt das fein abgestimmte Modell aus der Modellregistrierung von Comet herunter
• nimmt Benutzerfragen als Eingabe entgegen
• fragt die Qdrant Vector DB ab und erweitert die Eingabeaufforderung um entsprechende Finanznachrichten
• ruft das fein abgestimmte LLM für Finanzberatung unter Verwendung der anfänglichen Abfrage, des Kontexts aus der Vektor-DB und des Chat-Verlaufs auf
• Behält den Chatverlauf im Speicher bei
• Protokolliert die Eingabeaufforderung und Antwort in der LLMOps-Überwachungsfunktion von Comet ML

Die Inferenzpipeline wird mithilfe von Beam als serverlose GPU-Infrastruktur als RESTful-API bereitgestellt . Außerdem ist es zu Demozwecken in eine Benutzeroberfläche eingebettet, die in Gradio implementiert ist.

-> Gefunden im Verzeichnis modules/financial_bot .

Mindestanforderungen an die Hardware

• CPU: 4 Kerne
• RAM: 14 GiB
• VRAM: 8 GiB (erforderliche CUDA-fähige Nvidia-GPU)

Hinweis: Machen Sie sich keine Sorgen, wenn Sie nicht über die Mindestanforderungen an die Hardware verfügen. Wir zeigen Ihnen, wie Sie die Inferenzpipeline in der serverlosen Infrastruktur von Beam bereitstellen und von dort aus das LLM aufrufen.

1.4. Finanz-Q&A-Datensatz

Wir haben GPT3.5 verwendet, um einen Finanz-Q&A-Datensatz zu generieren, um unser Open-Source-LLM zu verfeinern und uns auf die Verwendung von Finanzbegriffen und die Beantwortung von Finanzfragen zu spezialisieren. Die Verwendung eines großen LLM wie GPT3.5 zum Generieren eines Datensatzes, der einen kleineren LLM (z. B. Falcon 7B) trainiert, wird als Feinabstimmung mit Destillation bezeichnet.

→ Um zu verstehen, wie wir den Finanz-Q&A-Datensatz erstellt haben, lesen Sie diesen Artikel von Pau Labarta.

→ Eine vollständige Analyse des Finanz-Q&A-Datensatzes finden Sie im Unterabschnitt „dataset_analysis“ des von Alexandru Razvant verfassten Kurses.

2. Richten Sie externe Dienste ein

Bevor Sie in die Module eintauchen, müssen Sie einige zusätzliche externe Tools für den Kurs einrichten.

HINWEIS: Sie können sie nach und nach für jedes Modul einrichten, da wir Ihnen in jedem Modul zeigen, was Sie benötigen.

2.1. Alpaka

financial news data source

Befolgen Sie dieses Dokument, um Ihnen zu zeigen, wie Sie ein KOSTENLOSES Konto erstellen und die API-Schlüssel generieren, die Sie für diesen Kurs benötigen.

Hinweis: 1x Alpaca-Datenverbindung ist KOSTENLOS.

2.2. Qdrant

serverless vector DB

Gehen Sie zu Qdrant und erstellen Sie ein KOSTENLOSES Konto.

Befolgen Sie anschließend dieses Dokument zum Generieren der API-Schlüssel, die Sie in diesem Kurs benötigen.

Hinweis: Wir verwenden ausschließlich den Freemium-Plan von Qdrant.

2.3. Komet ML

serverless ML platform

Gehen Sie zu Comet ML und erstellen Sie ein KOSTENLOSES Konto.

Befolgen Sie anschließend diese Anleitung, um einen API-SCHLÜSSEL und ein neues Projekt zu generieren, die Sie im Kurs benötigen.

Hinweis: Wir verwenden ausschließlich den Freemium-Plan von Comet ML.

2.4. Strahl

serverless GPU compute | training & inference pipelines

Gehen Sie zu Beam und erstellen Sie ein KOSTENLOSES Konto.

Anschließend müssen Sie der Installationsanleitung folgen, um die CLI zu installieren und mit Ihren Beam-Anmeldeinformationen zu konfigurieren.

Um mehr über Beam zu erfahren, finden Sie hier einen Einführungsleitfaden.

Hinweis: Sie haben ca. 10 kostenlose Rechenstunden. Danach zahlen Sie nur für das, was Sie nutzen. Wenn Sie über eine Nvidia-GPU mit >8 GB VRAM verfügen und die Trainings- und Inferenzpipelines nicht bereitstellen möchten, ist die Verwendung von Beam optional.

Fehlerbehebung

Bei der Verwendung von Poetry hatten wir Probleme, die Beam-CLI in einer virtuellen Poetry-Umgebung zu finden. Um dies zu beheben, erstellen wir nach der Installation von Beam einen symbolischen Link, der auf die Binärdateien von Poetry verweist, wie folgt:

 export COURSE_MODULE_PATH= < your-course-module-path > # e.g., modules/training_pipeline
 cd $COURSE_MODULE_PATH
 export POETRY_ENV_PATH= $( dirname $( dirname $( poetry run which python ) ) )

 ln -s /usr/local/bin/beam ${POETRY_ENV_PATH} /bin/beam

2.5. AWS

cloud compute | feature pipeline

Gehen Sie zu AWS, erstellen Sie ein Konto und generieren Sie ein Paar Anmeldeinformationen.

Laden Sie anschließend die AWS CLI v2.11.22 herunter, installieren Sie sie und konfigurieren Sie sie mit Ihren Anmeldeinformationen.

Hinweis: Sie zahlen nur für das, was Sie nutzen. Sie stellen nur eine t2.small EC2-VM bereit, was nur ~$0.023 /Stunde kostet. Wenn Sie die Feature-Pipeline nicht bereitstellen möchten, ist die Verwendung von AWS optional.

3. Installation und Nutzung

Jedes Modul hat seine Abhängigkeiten und Skripte. In einem Produktionsaufbau hätte jedes Modul sein eigenes Repository, aber in diesem Anwendungsfall haben wir zu Lernzwecken alles an einem Ort abgelegt:

Sehen Sie sich daher die README-Datei für jedes Modul einzeln an, um zu erfahren, wie es installiert und verwendet wird:

1. q_and_a_dataset_generator
2. training_pipeline
3. Streaming_pipeline
4. inference_pipeline

4. Vorträge

Wir empfehlen Ihnen dringend, dieses Repository zu klonen und alles zu replizieren, was wir getan haben, um das Beste aus diesem Kurs herauszuholen.

In den Videovorträgen, Artikeln und der README-Dokumentation jedes Moduls finden Sie Schritt-für-Schritt-Anleitungen.

Viel Spaß beim Lernen!

4.1. Kosten

Der GitHub-Code (veröffentlicht unter der MIT-Lizenz) und die Videovorträge (veröffentlicht auf YouTube) sind völlig kostenlos. Wird es immer sein.

Die Medium-Lektionen werden unter der kostenpflichtigen Pinnwand von Medium veröffentlicht. Wenn Sie es bereits haben, sind sie kostenlos. Andernfalls müssen Sie für das Lesen der Artikel eine monatliche Gebühr von 5 US-Dollar zahlen.

4.2. Stellen Sie Fragen

Wenn Sie während des Kurses Fragen oder Probleme haben, empfehlen wir Ihnen, in diesem Repository eine Ausgabe zu erstellen, in der Sie alles, was Sie brauchen, ausführlich erklären können.

Ansonsten können Sie die Lehrkräfte auch auf LinkedIn kontaktieren:

• Paul Iusztin
• Pau Labarta

4.3. Videovorträge

4.3.1. Einführung in den Kurs

Klicken Sie hier, um das Video anzusehen?

4.3.2. Feinabstimmung unseres Open-Source-LLM (Übersicht)

Klicken Sie hier, um das Video anzusehen?

4.3.3. Feinabstimmung unseres Open-Source-LLM (Hands-on!)

Klicken Sie hier, um das Video anzusehen?

4.3.4. Pipeline zur Texteinbettung in Echtzeit

Klicken Sie hier, um das Video anzusehen?

4.3.5. Inferenzpipeline

Klicken Sie hier, um das Video anzusehen?

4.4. Artikel

To understand the entire code step-by-step, check out our articles ↓

Systemdesign

• Lektion 1: Das LLMs-Kit: Erstellen Sie ein produktionsbereites Echtzeit-Finanzberatersystem mit Streaming-Pipelines, RAG und LLMOps

Feature-Pipeline

• Lektion 2: Warum Sie sich beim RAG in LLM-Anwendungen für Streaming gegenüber Batch-Pipelines entscheiden müssen
• Lektion 3: So können Sie eine Streaming-Pipeline erstellen und bereitstellen, um eine Vektor-DB für Echtzeit-RAG zu füllen

Trainingspipeline

• Lektion 4: 5 Konzepte, die in Ihrem LLM-Feinabstimmungskit enthalten sein müssen
• Lektion 5: Das Geheimnis des Schreibens von generischem Code zur Feinabstimmung jedes LLM mithilfe von QLoRA
• Lektion 6: Von der LLM-Entwicklung zu Pipelines für kontinuierliches Training mit LLMOps

Inferenzpipeline

• Lektion 7: Entwerfen Sie eine RAG LangChain-Anwendung unter Nutzung der 3-Pipeline-Architektur
• Lektion 8: Bereiten Sie Ihre RAG LangChain-Anwendung für die Produktion vor

5. Lizenz

Dieser Kurs ist ein Open-Source-Projekt, das unter der MIT-Lizenz veröffentlicht wird. Solange Sie also unsere LIZENZ weitergeben und unsere Arbeit anerkennen, können Sie dieses Projekt sicher klonen oder teilen und es als Inspirationsquelle für alles verwenden, was Sie wollen (z. B. Universitätsprojekte, Hochschulabschlussprojekte usw.).

6. Mitwirkende und Lehrer

	Pau Labarta Bajo | Leitender ML- und MLOps-Ingenieur Hauptlehrer. Der Typ aus den Video-Lektionen. LinkedIn Twitter/X Youtube Real-World-ML-Newsletter Real-World-ML-Site
	Alexandru Razvant | Leitender ML-Ingenieur Zweiter Koch. Der Ingenieur hinter den Kulissen. LinkedIn Neura-Sprünge
	Paul Iusztin | Leitender ML- und MLOps-Ingenieur Hauptkoch. Die Jungs, die zufällig in den Video-Lektionen vorbeischauen. LinkedIn Twitter/X Dekodierung des ML-Newsletters Persönliche Website | ML- und MLOps-Hub