llm comparison tool

Vergleich großer Sprachmodelle

Dieses Projekt ermöglicht es uns, Eingabeaufforderungen an mehrere große Sprachmodelle zu testen und die Ergebnisse zu vergleichen.

1. Wählen Sie Modelle zum Vergleichen aus.
2. Geben Sie eine Frage oder Aufforderung ein.
3. Vergleichen Sie die Ergebnisse.

Es verwendet OpenRouter, um eine Verbindung zu verschiedenen Modellen herzustellen. Einige Modelle sind frei, andere nicht. Wenn Sie sich für die Verwendung von bezahlten Modellen entscheiden, hat OpenRouter ein Kreditlimit, um Überraschungsrechnungen zu vermeiden.

Warnung : Verwenden Sie dieses Projekt nicht für private und vertrauliche Informationen. OpenRouter stellt eine Verbindung zu verschiedenen Anbietern her. Ich kann nicht für die Datenschutzrichtlinien von OpenRouter und Anbietern bürgen. Nehmen wir an, dass das, was Sie an OpenRouter senden, öffentlich ist und entsprechend handeln.

Kurzer Get-Started-Leitfaden

Bereiten Sie zunächst die Umgebung vor, wenn Sie dies noch nicht getan haben.

Führen Sie die folgenden Befehle aus, um die Umgebung zu aktivieren und die Anwendung in einem Browser zu starten.

 source venv/bin/activate
streamlit run app.py

Öffnen Sie die im Terminal in einem Browser gezeigte URL.

Laufen als Container

1. Erstellen Sie den Container: docker build --progress=plain -t llm-comparison .
2. Starten Sie den Container: docker compose up -d
3. Öffnen Sie ein Browserfenster in http: // machine_address: 8501 (wenn lokal ausgeführt wird: http: // localhost: 8501)
4. Stoppen Sie den Container, wenn Sie fertig sind: docker compose down

Vorbereitung der Umwelt

Dies ist ein einmaliger Schritt. Wenn Sie dies bereits getan haben, aktivieren Sie einfach die virtuelle Umgebung mit source venv/bin/activate .

Es gibt zwei Schritte, um die Umgebung vorzubereiten.

1. Python -Umgebung
2. OpenRouter -API -Schlüssel

Python -Umgebung

Führen Sie die folgenden Befehle aus, um eine virtuelle Umgebung zu erstellen und die erforderlichen Pakete zu installieren.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

OpenRouter -API -Schlüssel

Der Code verwendet OpenRouter, um auf mehrere Modelle zuzugreifen. Hier finden Sie eine Liste unterstützter Modelle.

Wenn Sie bereits ein OpenRouter -Konto haben, erstellen Sie hier einen API -Schlüssel. Wenn Sie kein Konto haben, erstellen Sie hier einen und erstellen Sie den API -Schlüssel. Fügen Sie optional Credits hinzu, wenn Sie bezahlte Modelle verwenden möchten.

Sobald Sie den API -Schlüssel haben, erstellen Sie eine .env -Datei im Projektroot -Verzeichnis mit dem folgenden Inhalt.

OPENROUTER_API_KEY= < your key >

Es ist sicher, den Schlüssel hier hinzuzufügen. Es wird niemals dem Repository verpflichtet.