open assistant api

오픈 보조 API

상자 외부 AI 지능형 보조 API

영어 | 简体中文 | 日本語

소개

Open Assistant API는 공식 OpenAI 인터페이스와 호환되는 오픈 소스의 자체 호스팅 AI Intelligent Assistant API입니다. 공식 OpenAI 클라이언트와 직접 사용하여 LLM 응용 프로그램을 구축 할 수 있습니다.

보다 상업 및 개인 모델과 통합하기 위해 하나의 API를 지원합니다.

R2R Rag Engine을 지원합니다.

용법

아래는 공식 Openai Python openai 라이브러리를 사용하는 예입니다.

 import openai

client = openai . OpenAI (
    base_url = "http://127.0.0.1:8086/api/v1" ,
    api_key = "xxx"
)

assistant = client . beta . assistants . create (
    name = "demo" ,
    instructions = "You are a helpful assistant." ,
    model = "gpt-4-1106-preview"
)

Open Assistant API를 선택하는 이유는 무엇입니까?

특징	오픈 보조 API	Openai Assistant API
생태계 전략	오픈 소스	닫힌 소스
걸레 엔진	R2R 지원	지원
인터넷 검색	지원	지원되지 않습니다
사용자 정의 기능	지원	지원
내장 도구	확장 가능	확장 할 수 없습니다
코드 통역사	개발 중	지원
멀티 모달	지원	지원
LLM 지원	더 많은 LLM을 지원합니다	GPT 만
메시지 스트리밍 출력	지원합니다	지원
로컬 배치	지원	지원되지 않습니다

• LLM 지원 : 공식 OpenAI 버전과 비교하여 하나의 API와 통합하여 더 많은 모델을 지원할 수 있습니다.
• 도구 : 현재 온라인 검색을 지원합니다. 더 많은 도구를 쉽게 확장 할 수 있습니다.
• RAG ENGINE : 현재 지원되는 파일 유형은 TXT, HTML, Markdown, PDF, DOCX, PPTX, XLSX, PNG, MP4 등입니다. 우리는 예비 구현을 제공합니다.
• 메시지 스트리밍 출력 : 더 부드러운 사용자 경험을위한 지원 메시지 스트리밍 출력.
• 생태계 전략 : 오픈 소스, 서비스를 로컬로 배포하고 기존 기능을 확장 할 수 있습니다.

빠른 시작

Open Assistant API를 시작하는 가장 쉬운 방법은 Docker-Compose.yml 파일을 실행하는 것입니다. 실행하기 전에 Docker와 Docker Compose가 컴퓨터에 설치되어 있는지 확인하십시오.

구성

프로젝트 루트 디렉토리로 이동하여 docker-compose.yml 을 열고 OpenAI API_Key 및 Bing 검색 키를 채우십시오 (선택 사항).

 # openai api_key (supports OneAPI api_key)
OPENAI_API_KEY= < openai_api_key >

# bing search key (optional)
BING_SUBSCRIPTION_KEY= < bing_subscription_key >

더 나은 래그 기능을 제공하기 위해 기본 래그 구현을 교체하도록 R2R Rag 엔진을 구성하는 것이 좋습니다. R2R Github 저장소를 통해 R2R을 배우고 사용할 수 있습니다.

 # RAG config
# FILE_SERVICE_MODULE=app.services.file.impl.oss_file.OSSFileService
FILE_SERVICE_MODULE=app.services.file.impl.r2r_file.R2RFileService
R2R_BASE_URL=http:// < r2r_api_address >
R2R_USERNAME= < r2r_username >
R2R_PASSWORD= < r2r_password >

달리다

Docker Compose와 함께 실행 :

docker compose up -d

액세스 API

API 기본 URL : http://127.0.0.1:8086/api/v1

인터페이스 문서 주소 : http://127.0.0.1:8086/docs

완전한 사용 예제

이 예에서는 AI 어시스턴트가 공식 OpenAI 클라이언트 라이브러리를 사용하여 생성 및 실행됩니다. 스트리밍 출력, 도구 (Web_Search, 검색, 기능)와 같은 다른 사용 방법을 탐색 해야하는 경우 예제 디렉토리에서 해당 코드를 찾을 수 있습니다. 실행하기 전에 PIPON openai 라이브러리를 설치하려면 pip install openai 실행해야합니다.

 # !pip install openai
export PYTHONPATH= $( pwd )
python examples/run_assistant.py

권한

SAAS 배포 요구 사항을 충족하기 위해 토큰을 기반으로 간단한 사용자 격리가 제공됩니다. APP_AUTH_ENABLE 구성하여 활성화 할 수 있습니다.

1. 인증 방법은 Bearer Token입니다. 인증을 위해 헤더에 Authorization: Bearer *** 포함시킬 수 있습니다.
2. 토큰 관리는 API 문서의 토큰 섹션에 설명되어 있습니다. 관련 API는 APP_AUTH_ADMIN_TOKEN 로 구성되고 "관리자"로 구성된 관리자 토큰으로 인증해야합니다.
3. 토큰을 만들 때 큰 모델의 기본 URL 및 API 키를 제공해야합니다. 생성 된 어시스턴트는 해당 구성을 사용하여 큰 모델에 액세스합니다.

도구

OpenApi/Swagger 사양에 따르면, 다양한 도구를 어시스턴트에 통합하여 외부 세계와 연결할 수있는 능력을 강화하고 향상시킬 수 있습니다.

1. 응용 프로그램을 다른 시스템 또는 서비스와 연결하여 코드 실행 또는 독점 정보 소스에 액세스하는 것과 같은 외부 환경과의 상호 작용을 가능하게합니다.
2. 사용 중에 먼저 도구를 생성 한 다음 도구를 조수와 통합 할 수 있습니다. 자세한 내용은 테스트 사례를 참조하십시오.
3. 인증 정보와 함께 도구를 사용해야하는 경우 런타임에 인증 정보를 추가하십시오. 특정 매개 변수 형식은 API 문서에서 찾을 수 있습니다. 자세한 내용은 테스트 사례를 참조하십시오. 인증 액션으로 실행하십시오

커뮤니티와 지원

• 슬랙 채널에 가입하여 새로운 릴리스를보고 문제를 논의하며 커뮤니티 상호 작용에 참여하십시오.

• Discord 채널에 가입하여 다른 커뮤니티 회원과 상호 작용하십시오.

• WeChat 그룹에 가입 :

  

특별한 감사

우리는 주로 다음 프로젝트를 참조하고 의존했습니다.

• OpenOpenai : 조수 API가 노드에서 구현되었습니다
• 하나의 API : 다중 모델 관리 도구
• R2R : 래그 엔진
• Openai-Python : Openai Python 클라이언트
• OpenAI API : OpenAI 인터페이스 정의
• Langchain : LLM 응용 프로그램 개발 라이브러리
• OpenGPTS : Langchain gpts
• Taskingai : Taskingai Client SDK

기여

기여 방법을 배우려면 기여 문서를 읽으십시오.

오픈 소스 라이센스

이 저장소는 MIT 오픈 소스 라이센스를 따릅니다. 자세한 내용은 라이센스 파일을 참조하십시오.