OpenPipe

Nota: Hemos dejado temporalmente el desarrollo en la versión de código abierto de OpenPipe para integrar un código de terceros patentado. ¡Esperamos hacer que las partes no propietarias del repositorio vuelvan a abrir nuevamente bajo un modelo de núcleo abierto una vez que tengamos el ancho de banda para hacerlo!

Tupía abierta

Plataforma de ajuste de código abierto y alojamiento de modelos.

Demostración - ejecutando localmente - documentos

Use LLMS potentes pero costosos para ajustar los modelos más pequeños y más baratos adecuados para sus necesidades exactas. Consulte sus solicitudes pasadas y evalúe modelos entre sí. Cambie entre OpenAI y modelos ajustados con una línea de código.

Características

• Integración fácil con el SDK de Openai tanto en Python como en TypeScript.
  • Python SDK
  • TypeScript SDK
• Finalización de finalización de chat compatible con OpenAI.
• Fine-Tune GPT 3.5, Mistral y Llama 2. Host en la plataforma o descargue los pesos.
  • La salida del modelo es compatible con OpenAI.
  • Cambiar de GPT 4 a un modelo Mistral ajustado solo requiere cambiar el nombre del modelo.
• Registros de consulta utilizando potentes filtros incorporados.
• Importar conjuntos de datos en archivos JSONL compatibles con OpenAI.
• Podar grandes trozos de texto duplicados como indicaciones del sistema.
• Compare la precisión de salida con modelos base como GPT-3.5-TURBO.

Modelos base compatibles

• MistraLai/Mixtral-8x7b-INSTRUCT-V0.1
• Openpipe/mistral-ft-optimizado-1227
• Meta-llama/Llama-3-8b
• Meta-llama/Llama-3-70B
• GPT-3.5-TURBO-0613
• GPT-3.5-TURBO-1106
• GPT-3.5-TURBO-0125

Documentación

• Ver documentos

Ejecutando localmente

1. Instalar PostgreSQL.
2. Instale NodeJS 20 (muy probablemente funcione las versiones anteriores pero no se prueben).
3. Instalar pnpm : npm i -g pnpm
4. Clone Este repositorio: git clone https://github.com/openpipe/openpipe
5. Instale las dependencias: cd openpipe && pnpm install
6. Cree un archivo .env ( cd app && cp .env.example .env ) e ingrese su OPENAI_API_KEY .
7. Si acaba de instalar Postgres y desea usar la DATABASE_URL predeterminada, ejecute los siguientes comandos:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Actualice DATABASE_URL si es necesario para señalar su instancia de Postgres y ejecute pnpm prisma migrate dev en el directorio app para crear la base de datos.
9. Cree una aplicación GitHub Oauth, configure la URL de devolución de llamada en <your local instance>/api/auth/callback/github , por ejemplo http://localhost:3000/api/auth/callback/github .
10. Actualice los valores GITHUB_CLIENT_ID y GITHUB_CLIENT_SECRET de la aplicación GitHub Oauth (nota: ¡un PR para hacer que la autenticación sea opcional cuando se ejecute localmente sería una gran contribución!).
11. Para iniciar la aplicación, ejecute pnpm dev en el directorio app .
12. Navegue a http: // localhost: 3000

Usando localmente

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Pruebas localmente

1. Copie su archivo .env en .env.test .
2. Actualice la DATABASE_URL para tener un nombre de base de datos diferente al de su desarrollo uno
3. Ejecutar DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. Ejecutar pnpm test