OpenPipe

Hinweis: Wir haben die Entwicklung in der Open-Source-Version von OpenPipe vorübergehend gestoppt, um einen proprietären Code von Drittanbietern zu integrieren. Wir hoffen, dass die nicht proprietären Teile des Repositorys unter einem offenen Kernmodell wieder öffnen, sobald wir die Bandbreite dazu haben!

Openpipe

Open-Source Fine-Tuning- und Model-Hosting-Plattform.

Demo - lokal laufen - Dokumente

Verwenden Sie leistungsstarke, aber teure LLMs, um kleinere und billigere Modelle zu optimieren, die Ihren genauen Bedürfnissen entsprechen. Fragen Sie Ihre früheren Anfragen an und bewerten Sie Modelle gegeneinander. Wechseln Sie zwischen OpenAI und fein abgestimmten Modellen mit einer Codezeile.

Merkmale

• Einfache Integration mit OpenAIs SDK sowohl in Python als auch in Typenkript.
  • Python SDK
  • Typscript SDK
• OpenAI-kompatibler Chat-Abschluss Endpunkt.
• Fine-Tune GPT 3.5-, Mistral- und Lama 2-Modelle. Host On-Platform oder laden Sie die Gewichte herunter.
  • Die Modellausgabe ist openai-kompatibel.
  • Um das Wechsel von GPT 4 zu einem fein abgestimmten Mistral-Modell zu wechseln, muss der Modellname nur geändert werden.
• Abfrageprotokolle mit leistungsstarken integrierten Filtern.
• Importieren Sie Datensätze in OpenAI-kompatiblen JSONL-Dateien.
• Beschneiden Sie große Stücke doppelter Textaufforderungen.
• Vergleichen Sie die Ausgangsgenauigkeit mit Basismodellen wie GPT-3,5-Turbo.

Unterstützte Basismodelle

• Mistralai/Mixtral-8x7b-instruct-V0.1
• OpenPipe/Mistral-ft-optimiert-1227
• meta-llama/llama-3-8b
• meta-llama/llama-3-70b
• GPT-3,5-Turbo-0613
• GPT-3,5-Turbo-1106
• GPT-3,5-Turbo-0125

Dokumentation

• Siehe Dokumente

Vor Ort laufen

1. Installieren Sie Postgresql.
2. Installieren Sie NodeJS 20 (frühere Versionen funktionieren sehr wahrscheinlich, werden jedoch nicht getestet).
3. Installieren Sie pnpm : npm i -g pnpm
4. Klon dieses Repository: git clone https://github.com/openpipe/openpipe
5. Installieren Sie die Abhängigkeiten: cd openpipe && pnpm install
6. Erstellen Sie eine .env -Datei ( cd app && cp .env.example .env ) und geben Sie Ihre OPENAI_API_KEY ein.
7. Wenn Sie gerade Postgres installiert haben und die DATABASE_URL verwenden möchten, führen Sie die folgenden Befehle aus:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Aktualisieren Sie bei Bedarf DATABASE_URL , um auf Ihre Postgres -Instanz zu verweisen und pnpm prisma migrate dev im app -Verzeichnis auszuführen, um die Datenbank zu erstellen.
9. Erstellen Sie eine Github OAuth -App und setzen Sie die Callback -URL auf <your local instance>/api/auth/callback/github , z. B. http://localhost:3000/api/auth/callback/github .
10. Aktualisieren Sie die Werte GITHUB_CLIENT_ID und GITHUB_CLIENT_SECRET aus der Github OAuth -App (Hinweis: A PR, um beim lokalen Ausführen ein großartiger Beitrag zu machen, wäre ein guter Beitrag!).
11. So starten Sie die App pnpm dev im app -Verzeichnis.
12. Navigieren Sie zu http: // localhost: 3000

Vor Ort verwenden

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Lokal testen

1. Kopieren Sie Ihre .env -Datei in .env.test .
2. Aktualisieren Sie die DATABASE_URL , um einen anderen Datenbanknamen als Ihre Entwicklung zu haben
3. Führen Sie DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. pnpm test ausführen