OpenPipe

참고 : Open-Source 버전의 OpenPipe 개발을 일시적으로 중단하여 일부 독점적 인 타사 코드를 통합했습니다. 대역폭이 있으면 개방형 코어 모델에서 리포지토리의 비 독점 부분을 다시 열 수 있기를 바랍니다!

오픈 파이프

오픈 소스 미세 조정 및 모델 호스팅 플랫폼.

데모 - 로컬 실행 - 문서

강력하지만 비싼 LLM을 사용하여 정확한 요구에 적합한 작고 저렴한 모델을 미세 조정하십시오. 과거의 요청을 쿼리하고 서로에 대한 모델을 평가하십시오. OpenAI와 미세 조정 된 모델 사이를 한 줄의 코드로 전환하십시오.

특징

• 파이썬과 타입 스크립트에서 OpenAi의 SDK와 쉽게 통합됩니다.
  • 파이썬 SDK
  • TypeScript SDK
• OpenAi 호환 채팅 완료 엔드 포인트.
• GPT 3.5, Mistral 및 Llama 2 모델을 미세 조정하십시오. 온 플랫폼 호스트 또는 가중치를 다운로드하십시오.
  • 모델 출력은 개방형 호환입니다.
  • GPT 4에서 미세 조정 된 미스트랄 모델로 전환하면 모델 이름 만 변경하면됩니다.
• 강력한 내장 필터를 사용하는 쿼리 로그.
• OpenAI 호환 JSONL 파일에서 데이터 세트를 가져옵니다.
• 시스템 프롬프트와 같은 중복 텍스트의 큰 덩어리를 자릅니다.
• GPT-3.5-Turbo와 같은 기본 모델과 출력 정확도를 비교하십시오.

지원되는 기본 모델

• mistralai/mixtral-8x7b-instruct-v0.1
• OpenPipe/Mistral-Ft-Optimized-1227
• 메타 롤라마/라마 -3-8B
• 메타 롤라마/라마 -3-70b
• GPT-3.5-Turbo-0613
• GPT-3.5-Turbo-1106
• GPT-3.5-Turbo-0125

선적 서류 비치

• 문서를 참조하십시오

현지에서 실행

1. PostgreSQL을 설치하십시오.
2. Nodejs 20을 설치하십시오 (이전 버전은 작동하지만 테스트되지는 않습니다).
3. pnpm : npm i -g pnpm 설치하십시오
4. 이 저장소를 복제하십시오 : git clone https://github.com/openpipe/openpipe
5. 종속성 설치 : cd openpipe && pnpm install
6. .env 파일 ( cd app && cp .env.example .env )을 만들고 OPENAI_API_KEY 입력하십시오.
7. Postgres를 방금 설치하고 기본 DATABASE_URL 사용하려는 경우 다음 명령을 실행하십시오.

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Postgres 인스턴스를 가리키고 pnpm prisma migrate dev 실행하려면 필요한 경우 DATABASE_URL 업데이트 app 디렉토리에서 Dev를 마이그레이션하여 데이터베이스를 작성하십시오.
9. github oauth 앱을 만들고 콜백 URL을 <your local instance>/api/auth/callback/github , eg http://localhost:3000/api/auth/callback/github 로 설정하십시오.
10. github oauth 앱에서 GITHUB_CLIENT_ID 및 GITHUB_CLIENT_SECRET 값을 업데이트하십시오 (참고 : 로컬에서 실행할 때 확실한 선택 사항을 만드는 PR은 큰 기여가 될 것입니다!).
11. app 디렉토리에서 앱 실행 pnpm dev 시작합니다.
12. http : // localhost : 3000으로 이동하십시오

로컬 사용

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

로컬 테스트

1. .env 파일을 .env.test 로 복사하십시오.
2. DATABASE_URL 업데이트하여 개발과 다른 데이터베이스 이름을 갖습니다.
3. run DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. pnpm test 실행하십시오