OpenPipe

Nota: Paramos temporariamente o desenvolvimento na versão de código aberto do OpenPipe para integrar algum código de terceiros proprietários. Esperamos abrir as partes não proprietárias do repositório novamente sob um modelo de núcleo aberto quando tivermos a largura de banda para fazê-lo!

OpenPipe

Plataforma de ajuste fino e modelo de código aberto.

Demo - executando localmente - documentos

Use LLMs poderosos, mas caros, para ajustar modelos menores e mais baratos, adequados às suas necessidades exatas. Consulte seus pedidos anteriores e avalie os modelos um contra o outro. Alterne entre os modelos OpenAi e Fine Tuned com uma linha de código.

Características

• Fácil integração com o SDK do OpenAI em Python e TypeScript.
  • Python SDK
  • TypeScript SDK
• Concluir o ponto final do Chat Compatível com OpenAI.
• Modelos Fine-Tune GPT 3.5, Mistral e Llama 2. Hospedar na plataforma ou baixar os pesos.
  • A saída do modelo é compatível com o OpenAI.
  • Mudar do GPT 4 para um modelo Mistral ajustado requer apenas alterar o nome do modelo.
• Loges de consulta usando filtros incorporados poderosos.
• Importar conjuntos de dados em arquivos JSONL compatíveis com o OpenAI.
• Poda grandes pedaços de texto duplicado, como os avisos do sistema.
• Compare a precisão da saída com modelos básicos como GPT-3.5-turbo.

Modelos básicos suportados

• Mistralai/Mixtral-8X7B-Instrut-V0.1
• Openpipe/Mistral-Ft otimizado-1227
• meta-llama/llama-3-8b
• meta-llama/llama-3-70b
• GPT-3.5-Turbo-0613
• GPT-3.5-Turbo-1106
• GPT-3.5-Turbo-0125

Documentação

• Veja documentos

Executando localmente

1. Instale o PostGresql.
2. Instale o NodeJS 20 (as versões anteriores provavelmente funcionarão, mas não serão testadas).
3. Instale pnpm : npm i -g pnpm
4. Clone este repositório: git clone https://github.com/openpipe/openpipe
5. Instale as dependências: cd openpipe && pnpm install
6. Crie um arquivo .env ( cd app && cp .env.example .env ) e digite seu OPENAI_API_KEY .
7. Se você acabou de instalar o Postgres e desejar usar o DATABASE_URL padrão, execute os seguintes comandos:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Atualize DATABASE_URL se necessário, para apontar para a instância do PostGres e executar pnpm prisma migrate dev no diretório app para criar o banco de dados.
9. Crie um aplicativo Github OAuth, defina o URL de retorno de chamada para <your local instance>/api/auth/callback/github , por exemplo http://localhost:3000/api/auth/callback/github .
10. Atualize os valores GITHUB_CLIENT_ID e GITHUB_CLIENT_SECRET do aplicativo Github OAuth (Nota: um PR para tornar a autenticação opcional ao executar localmente seria uma ótima contribuição!).
11. Para iniciar o aplicativo Run pnpm dev no diretório app .
12. Navegue para http: // localhost: 3000

Usando localmente

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Testando localmente

1. Copie seu arquivo .env para .env.test .
2. Atualize o DATABASE_URL para ter um nome de banco de dados diferente do seu desenvolvimento
3. Execute DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. Execute pnpm test