OpenPipe

Remarque: Nous avons temporairement arrêté le développement sur la version open source d'OpenPipe pour intégrer un code tiers propriétaire. Nous espérons que les parties non propriétaires du référentiel s'ouvrent à nouveau sous un modèle de noyau ouvert une fois que nous aurons la bande passante pour le faire!

Tuyau d'ouverture

Plate-forme d'adaptation et d'hébergement de modèle open source.

Demo - Exécution localement - Docs

Utilisez des LLM puissantes mais coûteuses pour affiner les modèles plus petits et moins chers adaptés à vos besoins exacts. Interrogez vos demandes passées et évaluez les modèles les uns contre les autres. Communiquez entre les modèles OpenAI et affinés avec une ligne de code.

Caractéristiques

• Intégration facile avec le SDK d'OpenAI dans Python et TypeScript.
  • SDK Python
  • SDK dactylographié
• Point de terminaison compatible Compatible Chat compatible.
• Modèles GPT 3,5, Mistral et Llama 2 à réglage fin. Hébergez une plate-forme ou téléchargez les poids.
  • La sortie du modèle est compatible ouverte.
  • Le passage de GPT 4 à un modèle Mistral affiné nécessite uniquement de modifier le nom du modèle.
• Des journaux de requête en utilisant de puissants filtres intégrés.
• Importez des ensembles de données dans des fichiers JSONL compatibles OpenAI.
• Tailler les gros morceaux de texte en double comme les invites du système.
• Comparez la précision de sortie avec les modèles de base comme GPT-3.5-turbo.

Modèles de base pris en charge

• Mistralai / mixtral-8x7b-instructe-v0.1
• Open Type / Mistral-FT-Optimized-1227
• méta-llama / lama-3-8b
• méta-llama / lama-3-70b
• GPT-3.5-turbo-0613
• GPT-3.5-turbo-1106
• GPT-3.5-turbo-0125

Documentation

• Voir les documents

Courir localement

1. Installez PostgreSQL.
2. Installez NodeJS 20 (les versions antérieures fonctionneront très probablement mais ne sont pas testées).
3. Installez pnpm : npm i -g pnpm
4. Clone Ce référentiel: git clone https://github.com/openpipe/openpipe
5. Installer les dépendances: cd openpipe && pnpm install
6. Créez un fichier .env ( cd app && cp .env.example .env ) et entrez votre OPENAI_API_KEY .
7. Si vous venez d'installer Postgres et que vous souhaitez utiliser la DATABASE_URL par défaut, exécutez les commandes suivantes:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Mettre à jour DATABASE_URL Si nécessaire pour pointer vers votre instance Postgres et exécuter pnpm prisma migrate dev dans le répertoire app pour créer la base de données.
9. Créez une application GitHub OAuth, définissez l'URL de rappel sur <your local instance>/api/auth/callback/github , par exemple http://localhost:3000/api/auth/callback/github .
10. Mettez à jour les valeurs GITHUB_CLIENT_ID et GITHUB_CLIENT_SECRET de l'application GitHub OAuth (Remarque: Un PR pour rendre l'authentification facultatif lors de l'exécution localement serait une grande contribution!).
11. Pour démarrer l'application, exécutez pnpm dev dans le répertoire app .
12. Accédez à http: // localhost: 3000

En utilisant localement

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Tester localement

1. Copiez votre fichier .env sur .env.test .
2. Mettez à jour la DATABASE_URL pour avoir un nom de base de données différent de celui de votre développement
3. Exécuter DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. Exécuter pnpm test