OpenPipe

Catatan: Kami telah menghentikan untuk sementara waktu pengembangan pada versi open-source OpenPipe untuk mengintegrasikan beberapa kode pihak ketiga yang berpemilik. Kami berharap dapat membuat bagian non-kepemilikan dari repositori terbuka lagi di bawah model inti terbuka setelah kami memiliki bandwidth untuk melakukannya!

OpenPipe

Platform penyempurnaan open-source dan model tuan rumah.

Demo - berjalan secara lokal - dokumen

Gunakan LLM yang kuat tetapi mahal untuk menyempurnakan model yang lebih kecil dan lebih murah yang sesuai dengan kebutuhan Anda. Permintaan permintaan Anda di masa lalu dan evaluasi model satu sama lain. Beralih antara OpenAi dan model yang disesuaikan dengan satu baris kode.

Fitur

• Integrasi mudah dengan SDK OpenAI di Python dan TypeScript.
  • Python SDK
  • TypeScript SDK
• Titik akhir penyelesaian obrolan yang kompatibel dengan Openai.
• Model Fine-Tune GPT 3.5, Mistral, dan Llama 2. Host di platform atau unduh bobotnya.
  • Output model kompatibel dengan openai.
  • Beralih dari GPT 4 ke model Mistral yang disesuaikan hanya membutuhkan mengubah nama model.
• Log kueri menggunakan filter bawaan yang kuat.
• Impor set data dalam file JSONL yang kompatibel dengan OpenAi.
• Pangkas potongan besar teks duplikat seperti permintaan sistem.
• Bandingkan akurasi output dengan model dasar seperti GPT-3.5-turbo.

Model dasar yang didukung

• MISTRALAI/MIXTRAL-8X7B-INSTRUCT-V0.1
• OpenPipe/Mistral-Ft-Optimized-1227
• Meta-llama/llama-3-8b
• Meta-llama/llama-3-70b
• GPT-3.5-TURBO-0613
• GPT-3.5-turbo-1106
• GPT-3.5-TURBO-0125

Dokumentasi

• Lihat Docs

Berjalan secara lokal

1. Instal PostgreSQL.
2. Instal Nodejs 20 (versi sebelumnya kemungkinan besar akan berfungsi tetapi tidak diuji).
3. Instal pnpm : npm i -g pnpm
4. Klon Repositori ini: git clone https://github.com/openpipe/openpipe
5. Instal Ketergantungan: cd openpipe && pnpm install
6. Buat file .env ( cd app && cp .env.example .env ) dan masukkan OPENAI_API_KEY Anda.
7. Jika Anda baru saja menginstal Postgres dan ingin menggunakan DATABASE_URL default, jalankan perintah berikut:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Perbarui DATABASE_URL jika perlu untuk menunjuk ke instance postgres Anda dan jalankan pnpm prisma migrate dev di direktori app untuk membuat database.
9. Buat aplikasi github oauth, atur URL panggilan balik ke <your local instance>/api/auth/callback/github , misalnya http://localhost:3000/api/auth/callback/github .
10. Perbarui nilai GITHUB_CLIENT_ID dan GITHUB_CLIENT_SECRET dari aplikasi github oauth (Catatan: PR untuk membuat auth opsional saat berjalan secara lokal akan menjadi kontribusi yang hebat!).
11. Untuk memulai aplikasi, jalankan pnpm dev di direktori app .
12. Arahkan ke http: // localhost: 3000

Menggunakan lokal

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Menguji secara lokal

1. Salin file .env Anda ke .env.test .
2. Perbarui DATABASE_URL untuk memiliki nama database yang berbeda dari pengembangan Anda
3. Jalankan DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. Jalankan pnpm test