BricksLLM
v1.41.1
팁
BricksLLM 의 관리형 버전도 사용 가능합니다! 생산 준비가 완료되었으며 BricksLLM 과 더 쉽게 상호 작용할 수 있는 대시보드가 함께 제공됩니다. 오늘 무료로 사용해 보세요!
BricksLLM Go로 작성된 클라우드 네이티브 AI 게이트웨이입니다. 현재 OpenAI, Anthropic, Azure OpenAI 및 vLLM에 대한 기본 지원을 제공합니다. BricksLLM 모든 LLM 프로덕션 사용 사례를 강화할 수 있는 엔터프라이즈 수준 인프라를 제공하는 것을 목표로 합니다. 다음은 BricksLLM 의 몇 가지 사용 사례입니다.
BricksLLM 을 시작하는 가장 쉬운 방법은 BricksLLM -Docker를 사용하는 것입니다.
git clone https://github.com/bricks-cloud/BricksLLM-Docker cd BricksLLM -Dockerdocker compose up -d 플래그를 사용하여 분리 모드에서 실행할 수 있습니다: docker compose up -d
curl -X PUT http://localhost:8001/api/provider-settings
-H " Content-Type: application/json "
-d ' {
"provider":"openai",
"setting": {
"apikey": "YOUR_OPENAI_KEY"
}
} ' 응답에서 id 복사합니다.
이전 단계의 id settingId 로 사용하여 속도 제한이 2req/min이고 지출 한도가 25센트인 키를 생성합니다.
curl -X PUT http://localhost:8001/api/key-management/keys
-H " Content-Type: application/json "
-d ' {
"name": "My Secret Key",
"key": "my-secret-key",
"tags": ["mykey"],
"settingIds": ["ID_FROM_STEP_FOUR"],
"rateLimitOverTime": 2,
"rateLimitUnit": "m",
"costLimitInUsd": 0.25
} ' 그런 다음 요청을 당사로 리디렉션하고 평소처럼 OpenAI를 사용하십시오. 예를 들어:
curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions
-H " Authorization: Bearer my-secret-key "
-H " Content-Type: application/json "
-d ' {
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "hi"
}
]
} ' 또는 SDK를 사용하는 경우 baseURL 변경하여 우리를 가리키게 할 수 있습니다. 예를 들어:
// OpenAI Node SDK v4
import OpenAI from 'openai' ;
const openai = new OpenAI ( {
apiKey : "some-secret-key" , // key created earlier
baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 최신 버전으로 업데이트하려면
docker pull luyuanxin1995/ BricksLLM :latest특정 버전으로 업데이트하려면
docker pull luyuanxin1995/ BricksLLM :1.4.0
이름 유형 설명 기본 POSTGRESQL_HOSTS필수의 Postgresql DB용 호스트. 로 구분, localhostPOSTGRESQL_DB_NAME선택 과목 Postgresql DB의 이름입니다. POSTGRESQL_USERNAME필수의 PostgreSQL DB 사용자 이름 POSTGRESQL_PASSWORD필수의 PostgreSQL DB 비밀번호 POSTGRESQL_SSL_MODE선택 과목 PostgreSQL SSL 모드 disablePOSTGRESQL_PORT선택 과목 Postgresql DB가 실행되는 포트 5432POSTGRESQL_READ_TIME_OUT선택 과목 Postgresql 읽기 작업 시간 초과 2mPOSTGRESQL_WRITE_TIME_OUT선택 과목 Postgresql 쓰기 작업 시간 초과 5sREDIS_HOSTS필수의 Redis용 호스트. 로 구분, localhostREDIS_PASSWORD선택 과목 레디스 비밀번호 REDIS_PORT선택 과목 Redis DB가 실행되는 포트 6379REDIS_READ_TIME_OUT선택 과목 Redis 읽기 작업 시간 초과 1sREDIS_WRITE_TIME_OUT선택 과목 Redis 쓰기 작업 시간 초과 500msIN_MEMORY_DB_UPDATE_INTERVAL선택 과목 BricksLLM API 게이트웨이는 최신 키 구성을 위해 Postgresql DB를 폴링하는 간격입니다. 1sSTATS_PROVIDER선택 과목 statsd의 경우 "datadog" 또는 Host:Port(127.0.0.1:8125)입니다. PROXY_TIMEOUT선택 과목 프록시 HTTP 요청의 시간 초과입니다. 600sNUMBER_OF_EVENT_MESSAGE_CONSUMERS선택 과목 토큰 계산 및 db에 이벤트 삽입을 처리하는 데 도움이 되는 이벤트 메시지 소비자 수입니다. 3AWS_SECRET_ACCESS_KEY선택 과목 PII 감지 기능을 위한 것입니다. 5sAWS_ACCESS_KEY_ID선택 과목 PII 감지 기능을 사용하기 위한 것입니다. 5sAMAZON_REGION선택 과목 AWS 지역. us-west-2AMAZON_REQUEST_TIMEOUT선택 과목 Amazon 요청 시간 초과. 5sAMAZON_CONNECTION_TIMEOUT선택 과목 Amazon 연결 시간이 초과되었습니다. 10sADMIN_PASS선택 과목 관리 서버의 간단한 비밀번호입니다.
스웨거 문서
스웨거 문서
