llama api server

？ Llama-Api-Server

该项目在主动部署下。可以随时进行打破变化。

美洲驼作为服务！该项目尝试使用诸如Llama/Llama2之类的开源后端构建与OpenAI API兼容的REST API服务器。

有了这个项目，许多常见的GPT工具/框架可以与您自己的模型兼容。

开始

在线尝试！

按照此协作笔记本中的指示在线播放。感谢任何Butme的建造！

准备模型

Llama.cpp

如果您没有量化Llama.cpp，则需要遵循指令才能准备模型。

Pyllama

如果您没有量化Pyllama，则需要遵循指令才能准备模型。

安装

使用以下脚本从PYPI下载软件包，并生成Model Config File config.yml和安全令牌文件tokens.txt 。

 pip install llama-api-server

# to run wth pyllama
pip install llama-api-server[pyllama]

cat > config.yml << EOF
models:
  completions:
    # completions and chat_completions use same model
    text-ada-002:
      type: llama_cpp
      params:
        path: /absolute/path/to/your/7B/ggml-model-q4_0.bin
    text-davinci-002:
      type: pyllama_quant
      params:
        path: /absolute/path/to/your/pyllama-7B4b.pt
    text-davinci-003:
      type: pyllama
      params:
        ckpt_dir: /absolute/path/to/your/7B/
        tokenizer_path: /absolute/path/to/your/tokenizer.model
      # keep to 1 instance to speed up loading of model
  embeddings:
    text-embedding-davinci-002:
      type: pyllama_quant
      params:
        path: /absolute/path/to/your/pyllama-7B4b.pt
      min_instance: 1
      max_instance: 1
      idle_timeout: 3600
    text-embedding-ada-002:
      type: llama_cpp
      params:
        path: /absolute/path/to/your/7B/ggml-model-q4_0.bin
EOF

echo "SOME_TOKEN" > tokens.txt

# start web server
python -m llama_api_server
# or visible across the network
python -m llama_api_server --host=0.0.0.0

与Openai-Python致电

 export OPENAI_API_KEY=SOME_TOKEN
export OPENAI_API_BASE=http://127.0.0.1:5000/v1

openai api completions.create -e text-ada-002 -p "hello?"
# or using chat
openai api chat_completions.create -e text-ada-002 -g user "hello?"
# or calling embedding
curl -X POST http://127.0.0.1:5000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"text-embedding-ada-002", "input":"It is good."}'  -H "Authorization: Bearer SOME_TOKEN"

？ROAD图

测试

• Openai-Python
  • OpenAI_API_TYPE =默认值
  • OpenAI_API_TYPE = Azure
• 骆驼指数

支持的API

• 完成
  • 设置temperature ， top_p和top_k
  • 设置max_tokens
  • 设置echo
  • 设置stop
  • 设置stream
  • 设置n
  • set presence_penalty和frequency_penalty
  • 设置logit_bias
• 嵌入
  • 批处理过程
• 聊天
  • 聊天前缀缓存
• 列表模型

支持的后端

• LlamaCpp-Python的Llama.cpp
• Llama通过Pyllama
  • 没有量化
  • 使用量化
  • 支持Llama2

其他的

• n_batch和n_thread等性能参数
• 令牌验证
• 文件
• 分裂测试
• 下载/准备预处理模型的工具
• 制作config.ini和令牌文件可配置