api for open llm

API для Open LLMS

Картинка происходит из статьи: [Обзор крупных языковых моделей] (https://arxiv.org/pdf/2303.18223.pdf)

?

• 【2024.06.13】 Поддержка MiniCPM-Llama3-V-2_5 модели, измените переменную среды MODEL_NAME=minicpm-v PROMPT_NAME=minicpm-v DTYPE=bfloat16

• [2024.06.12] Поддержите модель GLM-4V , измените переменную среды MODEL_NAME=glm-4v PROMPT_NAME=glm-4v DTYPE=bfloat16 , см. GLM4V для тестовых примеров.

• 【2024.06.08】 Модель QWEN2 была поддержана, измените переменную среды MODEL_NAME=qwen2 PROMPT_NAME=qwen2

• 【2024.06.05】 Поддержите модель GLM4 и измените переменную среды MODEL_NAME=chatglm4 PROMPT_NAME=chatglm4

• 【2024.04.18】 Code Qwen MODEL, DEMO SQL Q & A

• 【2024.04.16】 Поддержка модели Rerank заказа, метод использования

• 【 QWEN1.5 】 переменная среды MODEL_NAME=qwen2 PROMPT_NAME=qwen2

Для получения дополнительной информации и истории, пожалуйста, идите сюда

---

Основное содержание этого проекта

Этот проект реализует унифицированный бэкэнд интерфейс для обоснования крупных моделей с открытым исходным кодом, что согласуется с ответом OpenAI и имеет следующие характеристики:

• Позвоните в различные модели с открытым исходным кодом в виде OpenAI ChatGPT API

• ? ️ поддерживает потоковую реакцию для достижения эффекта принтера

• Реализация модели встроенного текста для предоставления поддержки для знаний документов Q & A

• langchain

• chatgpt

• Поддерживает загрузку самостоятельных моделей lora

• ⚡ Поддержка ускорения вывода VLLM и обработки параллельных запросов

Руководство по содержанию

глава	описывать
Модель модели	Модели с открытым исходным кодом, поддерживаемые этим проектом, и краткая информация
? Начать метод	Команды конфигурации среды и запуска для моделей запуска
⚡vllm Метод запуска	Команды конфигурации среды и запуска для запуска моделей с использованием vLLM
Метод вызова	Как позвонить после начала модели
❓faq	Ответ на некоторые часто задаваемых вопросов

Модель поддержки

Языковая модель

Модель	Размер параметров модели
Бачуань	7b/13b
Чатглм	6B
DeepSeek	7b/16b/67b/236b
Internlm	7b/20b
Лама	7b/13b/33b/65b
Лама-2	7b/13b/70b
Лама-3	8b/70b
Qwen	1,8b/7b/14b/72b
QWEN1.5	0,5B/1,8B/4B/7B/14B/32B/72B/110B
QWEN2	0,5B/1,5B/7B/57B/72B
Yi (1/1,5)	6b/9b/34b

Для получения подробной информации, пожалуйста, обратитесь к методу запуска VLLM и методу запуска трансформаторов.

Встроенная модель

Модель	Измерение	Ссылка веса
BGE-LARGE-ZH	1024	BGE-LARGE-ZH
M3E-Large	1024	Moka-Ai/M3e-Large
Text2VEC-Large-Chinese	1024	Text2VEC-Large-Chinese
bce-embedding-base_v1 (рекомендуется)	768	Bce-embedding-base_v1

Как использовать

Переменные среды

• OPENAI_API_KEY : просто заполните строку здесь

• OPENAI_API_BASE : адрес интерфейса запуска бэкэнд, например: http: //192.168.0.xx: 80/v1

Интерфейс чата

 cd streamlit-demo
pip install -r requirements.txt
streamlit run streamlit_app.py

Openai v1.1.0

Завершение чата

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)

# Chat completion API
chat_completion = client . chat . completions . create (
    messages = [
        {
            "role" : "user" ,
            "content" : "你好" ,
        }
    ],
    model = "gpt-3.5-turbo" ,
)
print ( chat_completion )
# 你好！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。


# stream = client.chat.completions.create(
#     messages=[
#         {
#             "role": "user",
#             "content": "感冒了怎么办",
#         }
#     ],
#     model="gpt-3.5-turbo",
#     stream=True,
# )
# for part in stream:
#     print(part.choices[0].delta.content or "", end="", flush=True)

Завершают

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)


# Chat completion API
completion = client . completions . create (
    model = "gpt-3.5-turbo" ,
    prompt = "你好" ,
)
print ( completion )
# 你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

Внедрения

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)


# compute the embedding of the text
embedding = client . embeddings . create (
    input = "你好" ,
    model = "text-embedding-ada-002"
)
print ( embedding )

Доступные проекты

Изменив переменную среды OPENAI_API_BASE , большинство приложений chatgpt и фронтальные проекты могут быть легко подключены!

• CHATGPT-NEXT-WEB: один щелчок для развертывания хорошо продуманного веб-интерфейса CHATGPT на Vercel

docker run -d -p 3000:3000 
   -e OPENAI_API_KEY= " sk-xxxx " 
   -e BASE_URL= " http://192.168.0.xx:80 " 
   yidadaa/chatgpt-next-web

• Dify: простая в использовании платформу LLMOPS, предназначенная для того, чтобы дать возможность большему количеству людей для создания устойчивых, AI-местных приложений

 # 在docker-compose.yml中的api和worker服务中添加以下环境变量
OPENAI_API_BASE: http://192.168.0.xx:80/v1
DISABLE_PROVIDER_CONFIG_VALIDATION: ' true ' 

Лицензия

Этот проект лицензирован по лицензии Apache 2.0 , см. Файл лицензии для получения дополнительной информации.

?

• Чатглм: открытая двуязычная языковая модель диалога

• Блум: многоязычная языковая модель с открытым доступом 176B-параметра

• Llama: открытые и эффективные языковые модели фундамента

• Эффективный и эффективный текст, кодирующий китайскую ламу и альпаку

• Феникс: демократизация CHATGPT на разных языках

• Мосс: модель разговорного языка с открытым исходным кодом

• Fastchat: открытая платформа для обучения, обслуживания и оценки чат -ботов на основе крупных языковых моделей

• Langchain: строительные приложения с LLMS через композицию

• Chuanhuchatgpt

Звездная история