BricksLLM

BricksLLM : เกตเวย์ AI สำหรับการนำ LLM มาใช้ในการผลิต

เคล็ดลับ

BricksLLM เวอร์ชันที่ได้รับการจัดการก็มีให้ใช้งานเช่นกัน! พร้อมการผลิตและมาพร้อมกับแดชบอร์ดเพื่อให้การโต้ตอบกับ BricksLLM ง่ายขึ้น ทดลองใช้ฟรีวันนี้!

BricksLLM เป็นเกตเวย์ AI ดั้งเดิมบนคลาวด์ที่เขียนด้วยภาษา Go ปัจจุบันมีการรองรับ OpenAI, Anthropic, Azure OpenAI และ vLLM BricksLLM มุ่งหวังที่จะจัดเตรียมโครงสร้างพื้นฐานระดับองค์กรที่สามารถขับเคลื่อนกรณีการใช้งานการผลิต LLM ใดๆ ได้ นี่คือกรณีการใช้งานบางส่วนสำหรับ BricksLLM :

• กำหนดขีดจำกัดการใช้งาน LLM สำหรับผู้ใช้ในระดับราคาที่แตกต่างกัน
• ติดตามการใช้งาน LLM ตามผู้ใช้และต่อองค์กร
• บล็อกหรือแก้ไขคำขอที่มี PII
• ปรับปรุงความน่าเชื่อถือของ LLM ด้วยการเฟลโอเวอร์ การลองใหม่ และการแคช
• แจกจ่ายคีย์ API พร้อมขีดจำกัดอัตราและขีดจำกัดต้นทุนสำหรับกรณีการใช้งานการพัฒนา/การใช้งานจริงภายใน
• แจกจ่ายคีย์ API โดยมีขีดจำกัดอัตราและขีดจำกัดต้นทุนสำหรับนักเรียน

คุณสมบัติ

• การตรวจจับและการปกปิด PII
• ขีดจำกัดอัตรา
• การควบคุมต้นทุน
• การวิเคราะห์ต้นทุน
• ขอการวิเคราะห์
• การแคช
• ขอลองอีกครั้ง
• เฟลโอเวอร์
• การควบคุมการเข้าถึงแบบจำลอง
• การควบคุมการเข้าถึงปลายทาง
• การสนับสนุนดั้งเดิมสำหรับอุปกรณ์ปลายทาง OpenAI ทั้งหมด
• การสนับสนุนพื้นเมืองสำหรับมานุษยวิทยา
• การสนับสนุนดั้งเดิมสำหรับ Azure OpenAI
• การสนับสนุนดั้งเดิมสำหรับ vLLM
• การสนับสนุนพื้นเมืองสำหรับ Deepinfra
• รองรับการใช้งานแบบกำหนดเอง
• บูรณาการกับโมเดลที่กำหนดเอง
• การรวม Datadog
• การบันทึกด้วยการควบคุมความเป็นส่วนตัว

เริ่มต้นใช้งาน

วิธีที่ง่ายที่สุดในการเริ่มต้นใช้งาน BricksLLM คือผ่าน BricksLLM -Docker

ขั้นตอนที่ 1 - Clone BricksLLM - พื้นที่เก็บข้อมูลนักเทียบท่า

git clone https://github.com/bricks-cloud/BricksLLM-Docker

ขั้นตอนที่ 2 - เปลี่ยนเป็นไดเร็กทอรี BricksLLM -Docker

 cd BricksLLM -Docker

ขั้นตอนที่ 3 - ปรับใช้ BricksLLM ภายในเครื่องด้วย Postgresql และ Redis

docker compose up

คุณสามารถรันสิ่งนี้ได้ในโหมดแยกออกโดยใช้แฟล็ก -d: docker compose up -d

ขั้นตอนที่ 4 - สร้างการตั้งค่าผู้ให้บริการ

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

คัดลอก id จากการตอบกลับ

ขั้นตอนที่ 5 - สร้างคีย์ Bricks API

ใช้ id จากขั้นตอนก่อนหน้าเป็น settingId เพื่อสร้างคีย์ที่มีขีดจำกัดอัตรา 2 คำขอ/นาที และขีดจำกัดการใช้จ่าย 25 เซนต์

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

ยินดีด้วย คุณทำเสร็จแล้ว!!!

จากนั้น เพียงเปลี่ยนเส้นทางคำขอของคุณมายังเรา และใช้ OpenAI ตามปกติ ตัวอย่างเช่น:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

หรือหากคุณใช้ SDK คุณสามารถเปลี่ยน baseURL ให้ชี้มาที่เราได้ ตัวอย่างเช่น:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

จะอัพเดตได้อย่างไร?

สำหรับการอัพเดตเป็นเวอร์ชั่นล่าสุด

docker pull luyuanxin1995/ BricksLLM :latest

สำหรับการอัปเดตเป็นเวอร์ชันเฉพาะ

docker pull luyuanxin1995/ BricksLLM :1.4.0

เอกสารประกอบ

ตัวแปรสภาพแวดล้อม

ชื่อ	พิมพ์	คำอธิบาย	ค่าเริ่มต้น
POSTGRESQL_HOSTS	ที่จำเป็น	โฮสต์สำหรับ Postgresql DB แยกจากกันโดย	localhost
POSTGRESQL_DB_NAME	ไม่จำเป็น	ชื่อสำหรับฐานข้อมูล PostgreSQL
POSTGRESQL_USERNAME	ที่จำเป็น	ชื่อผู้ใช้ฐานข้อมูล PostgreSQL
POSTGRESQL_PASSWORD	ที่จำเป็น	รหัสผ่านฐานข้อมูล PostgreSQL
POSTGRESQL_SSL_MODE	ไม่จำเป็น	โหมด PostgreSQL SSL	disable
POSTGRESQL_PORT	ไม่จำเป็น	พอร์ตที่ Postgresql DB ทำงานอยู่	5432
POSTGRESQL_READ_TIME_OUT	ไม่จำเป็น	หมดเวลาสำหรับการดำเนินการอ่าน Postgresql	2m
POSTGRESQL_WRITE_TIME_OUT	ไม่จำเป็น	หมดเวลาสำหรับการดำเนินการเขียน Postgresql	5s
REDIS_HOSTS	ที่จำเป็น	โฮสต์สำหรับ Redis แยกจากกันโดย	localhost
REDIS_PASSWORD	ไม่จำเป็น	รหัสผ่าน Redis
REDIS_PORT	ไม่จำเป็น	พอร์ตที่ Redis DB ทำงานอยู่	6379
REDIS_READ_TIME_OUT	ไม่จำเป็น	หมดเวลาสำหรับการดำเนินการอ่าน Redis	1s
REDIS_WRITE_TIME_OUT	ไม่จำเป็น	หมดเวลาสำหรับการดำเนินการเขียน Redis	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	ไม่จำเป็น	เกตเวย์ BricksLLM API ช่วงเวลาจะสำรวจ Postgresql DB สำหรับการกำหนดค่าคีย์ล่าสุด	1s
STATS_PROVIDER	ไม่จำเป็น	"datadog" หรือ Host:Port(127.0.0.1:8125) สำหรับ statsd
PROXY_TIMEOUT	ไม่จำเป็น	หมดเวลาสำหรับคำขอ HTTP พร็อกซี	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	ไม่จำเป็น	จำนวนผู้ใช้ข้อความเหตุการณ์ที่ช่วยจัดการโทเค็นการนับและการแทรกเหตุการณ์ลงใน db	3
AWS_SECRET_ACCESS_KEY	ไม่จำเป็น	มันเป็นคุณสมบัติการตรวจจับ PII	5s
AWS_ACCESS_KEY_ID	ไม่จำเป็น	ใช้สำหรับคุณสมบัติการตรวจจับ PII	5s
AMAZON_REGION	ไม่จำเป็น	ภูมิภาคสำหรับ AWS	us-west-2
AMAZON_REQUEST_TIMEOUT	ไม่จำเป็น	หมดเวลาสำหรับคำขอของ Amazon	5s
AMAZON_CONNECTION_TIMEOUT	ไม่จำเป็น	หมดเวลาสำหรับการเชื่อมต่อ Amazon	10s
ADMIN_PASS	ไม่จำเป็น	รหัสผ่านง่าย ๆ สำหรับเซิร์ฟเวอร์ผู้ดูแลระบบ

เซิร์ฟเวอร์ผู้ดูแลระบบ

ผยองหมอ

พร็อกซีเซิร์ฟเวอร์

ผยองหมอ