hal9

Hal9: Generative Apps erstellen und teilen

Erstellen und implementieren Sie generative (LLMs und Diffusoren) Anwendungen (Chatbots und APIs) in Sekundenschnelle.

• Offen: Verwenden Sie ein beliebiges Modell (OpenAI, Llama, Groq, MidJourney) und eine beliebige Bibliothek wie (LangChain, DSPy).
• Intuitiv: App-Frameworks (Flask) müssen nicht erlernt werden. Verwenden Sie einfach input() und print() oder schreiben Sie die Datei auf die Festplatte.
• Skalierbar: Ingenieure können Ihre App mit skalierbaren Technologien (Docker, Kubernetes usw.) integrieren.
• Leistungsstark: Die Verwendung eines Betriebssystemprozesses (stdin, stdout, Dateien) als App-Vertrag ermöglicht lang laufende Agenten, mehrere Programmiersprachen und komplexe Systemabhängigkeiten.

Konzentrieren Sie sich auf KI (RAG, Feinabstimmung, Ausrichtung, Schulung) und überspringen Sie technische Aufgaben (Frontend-Entwicklung, Backend-Integration, Bereitstellung, Betrieb).

Erste Schritte

Erstellen und teilen Sie einen Chatbot in Sekundenschnelle wie folgt:

pip install hal9

hal9 create chatbot
hal9 deploy chatbot

Beachten Sie, dass deploy eine Umgebungsvariable HAL9_TOKEN mit einem API-Token erforderlich ist, das Sie unter hal9.com/devs erhalten können. Mit diesem Token können Sie die Bereitstellung von Ihrem lokalen Computer oder einem Notebook aus durchführen oder über GitHub automatisieren.

HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot

So einfach haben Sie Ihren ersten Chatbot erstellt!

Der Code in /chatbot/app.py enthält einen „Hello World“-Chatbot, der die Benutzeraufforderung liest und das Ergebnis zurückgibt:

 prompt = input ()
print ( f"Echo: { prompt } " )

Wir haben dieses Paket mit dem Gedanken an Einfachheit entworfen. Die Aufgabe des Codes besteht darin, Eingaben zu lesen und Ausgaben zu schreiben, das war’s auch schon. Das heißt, Sie können Chatbots erstellen, die LLMs verwenden, Bilder generieren oder sogar Tools verwenden, die eine Verbindung zu Datenbanken herstellen, oder sogar Websites und Spiele erstellen!

Schaffung

Standardmäßig hal9 create standardmäßig die --template echo , Sie können jedoch wie folgt andere auswählen:

hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq

Eine Vorlage stellt gebrauchsfertigen Code mit bestimmten Technologien und Anwendungsfällen bereit. Es ist sehr beliebt, die ChatGPT-ähnliche Vorlage von OpenAI mit --template openai zu verwenden. Der generierte Code sieht wie folgt aus:

 import hal9 as h9
from openai import OpenAI

messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )

completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )

h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )

Im Abschnitt „Lernen“ wird ausführlich erläutert, wie dieser Code funktioniert, es wird jedoch auch ein kurzer Überblick gegeben. Das hal9 Paket enthält Hilfsfunktionen zur Vereinfachung Ihres generativen KI-Codes. Sie können sich dafür entscheiden, hal9 überhaupt nicht zu verwenden und die Anweisungen input() und print() selbst zu verwenden oder sogar Tools wie langchain zu verklagen. Die Funktionen h9.load() und h9.save() laden und speichern Daten über Chat-Sitzungen hinweg. Unsere Plattform ist standardmäßig zustandslos. Die Funktion h9.input() ist ein schlanker Wrapper über input() der auch die Benutzereingaben in den messages speichert. Dann ist h9.complete() eine Hilfsfunktion, die dabei hilft, die Abschlussergebnisse zu analysieren und das Ergebnis in messages zu speichern. Das ist es!

Entwicklung

Um Änderungen an Ihrem Projekt vorzunehmen, öffnen Sie chatbot/ in Ihrer IDE und ändern Sie chatbot/app.py .

Anschließend können Sie Ihr Projekt wie folgt ausführen:

hal9 run chatbot

Wenn Sie Ihre Vorlage mit --template angepasst haben, stellen Sie sicher, dass Sie den richtigen Schlüssel festlegen. Wenn Sie beispielsweise die OpenAI-Vorlage für Linux oder macOS verwenden:

 export OPENAI_KEY=YOUR_OPENAI_KEY.

Für Windows verwenden Sie:

 set OPENAI_KEY=YOUR_OPENAI_KEY.

Weitere Informationen zum Erhalten und Verwenden Ihres OpenAI-API-Schlüssels finden Sie in der Dokumentation zum OpenAI-API-Schlüssel.

Anschließend können Sie Ihre Anwendung lokal ausführen mit:

hal9 run chatbot

Dieser Befehl ist nur ein praktischer Wrapper, um den Code selbst mit etwas wie python app.py auszuführen.

Einsatz

Der Befehl „deploy“ bereitet die Bereitstellung Ihrer generativen App vor.

Beispielsweise können Sie die Bereitstellung als generative App (Hal9) vorbereiten. Wir planen, auch Docker bereitzustellen, und die Open-Source-Community kann dies noch weiter ausbauen.

hal9 deploy chatbot --target hal9

Jeder Befehl hat die Aufgabe, die Bereitstellung Ihres Projektordners vorzubereiten. Beispielsweise sollte --target docker eine Dockerfile -Datei erstellen, die dieses Projekt für die Ausführung in Cloud-Containern vorbereitet.

Für den persönlichen Gebrauch unterstützt --target hal9 ein kostenloses Kontingent auf hal9.com ; Enterprise-Support kann auch mit --target hal9 --url hal9.yourcompany.com bereitgestellt werden