llm

LLM

Ein CLI-Dienstprogramm und eine Python-Bibliothek für die Interaktion mit großen Sprachmodellen, sowohl über Remote-APIs als auch über Modelle, die auf Ihrem eigenen Computer installiert und ausgeführt werden können.

Führen Sie Eingabeaufforderungen über die Befehlszeile aus, speichern Sie die Ergebnisse in SQLite, generieren Sie Einbettungen und vieles mehr.

Suchen Sie im LLM-Plugin-Verzeichnis nach Plugins, die den Zugriff auf Remote- und lokale Modelle ermöglichen.

Vollständige Dokumentation: llm.datasette.io

Hintergrund zu diesem Projekt:

• llm, ttok und strip-tags – CLI-Tools für die Arbeit mit ChatGPT und anderen LLMs
• Das LLM-CLI-Tool unterstützt jetzt selbstgehostete Sprachmodelle über Plugins
• Zugriff auf Llama 2 über die Befehlszeile mit dem Plugin llm-replicate
• Führen Sie Llama 2 auf Ihrem eigenen Mac mit LLM und Homebrew aus
• Informieren Sie sich über die seltsame Welt der LLMs
• LLM bietet jetzt Tools für die Arbeit mit Einbettungen
• Erstellen Sie eine Bildsuchmaschine mit llm-clip und chatten Sie mit Models mit llm chat
• Viele Optionen zum Betrieb von Mistral-Modellen in Ihrem Terminal mithilfe von LLM

Installation

Installieren Sie dieses Tool mit pip :

pip install llm

Oder mit Homebrew:

brew install llm

Detaillierte Installationsanleitung.

Erste Schritte

Wenn Sie über einen OpenAI-API-Schlüssel verfügen, können Sie sofort mit der Nutzung der OpenAI-Modelle beginnen.

Alternativ zu OpenAI können Sie Plugins installieren, um auf Modelle anderer Anbieter zuzugreifen, einschließlich Modellen, die auf Ihrem eigenen Gerät installiert und ausgeführt werden können.

Speichern Sie Ihren OpenAI-API-Schlüssel wie folgt:

llm keys set openai

Dadurch werden Sie etwa so zur Eingabe Ihres Schlüssels aufgefordert:

 Enter key: <paste here>

Nachdem Sie nun einen Schlüssel gespeichert haben, können Sie eine Eingabeaufforderung wie diese ausführen:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Weitere Informationen finden Sie in der Gebrauchsanweisung.

Installieren eines Modells, das auf Ihrem eigenen Computer ausgeführt wird

LLM-Plugins können Unterstützung für alternative Modelle hinzufügen, einschließlich Modellen, die auf Ihrem eigenen Computer ausgeführt werden.

Um Mistral 7B Instruct lokal herunterzuladen und auszuführen, können Sie das Plugin llm-gpt4all installieren:

llm install llm-gpt4all

Führen Sie dann diesen Befehl aus, um zu sehen, welche Modelle verfügbar sind:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Jede Modelldatei wird einmal heruntergeladen, wenn Sie sie zum ersten Mal verwenden. Probieren Sie Mistral so aus:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

Sie können auch eine Chat-Sitzung mit dem Modell starten, indem Sie den Befehl llm chat verwenden:

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Verwenden einer Systemaufforderung

Mit der Option -s/--system können Sie eine Systemeingabeaufforderung festlegen, die Anweisungen zur Verarbeitung anderer Eingaben für das Tool bereitstellt.

Versuchen Sie Folgendes, um zu beschreiben, wie der Code in einer Datei funktioniert:

cat mycode.py | llm -s " Explain this code " 

Helfen

Um Hilfe zu erhalten, führen Sie Folgendes aus:

 llm --help

Sie können auch Folgendes verwenden:

 python -m llm --help