llama api server

?? Лама-Апи-Сервер

Этот проект находится в активном развертывании. Разрушение изменений может быть сделано в любое время.

Лама как услуга! Этот проект пытается создать сервер API-Ful-Ful, совместимый с API OpenAI, используя бэкэнды с открытым исходным кодом, такие как Llama/Llama2.

С помощью этого проекта многие общие инструменты/структуру GPT могут совместимы с вашей собственной моделью.

Начните

Попробуйте онлайн!

Следуйте инструкциям в этой ноутбуке для совместной работы, чтобы играть в него онлайн. Спасибо что угодно, чтобы построить его!

Подготовьте модель

llama.cpp

Если у вас нет квантового Llama.cpp, вам нужно следовать инструкции для подготовки модели.

Пиллама

Если у вас нет квантового Pyllama, вам нужно следовать инструкции, чтобы подготовить модель.

Установить

Используйте следующий скрипт для загрузки пакета из PYPI и генерирует файл конфигурации модели config.yml и файл безопасности tokens.txt .

 pip install llama-api-server

# to run wth pyllama
pip install llama-api-server[pyllama]

cat > config.yml << EOF
models:
  completions:
    # completions and chat_completions use same model
    text-ada-002:
      type: llama_cpp
      params:
        path: /absolute/path/to/your/7B/ggml-model-q4_0.bin
    text-davinci-002:
      type: pyllama_quant
      params:
        path: /absolute/path/to/your/pyllama-7B4b.pt
    text-davinci-003:
      type: pyllama
      params:
        ckpt_dir: /absolute/path/to/your/7B/
        tokenizer_path: /absolute/path/to/your/tokenizer.model
      # keep to 1 instance to speed up loading of model
  embeddings:
    text-embedding-davinci-002:
      type: pyllama_quant
      params:
        path: /absolute/path/to/your/pyllama-7B4b.pt
      min_instance: 1
      max_instance: 1
      idle_timeout: 3600
    text-embedding-ada-002:
      type: llama_cpp
      params:
        path: /absolute/path/to/your/7B/ggml-model-q4_0.bin
EOF

echo "SOME_TOKEN" > tokens.txt

# start web server
python -m llama_api_server
# or visible across the network
python -m llama_api_server --host=0.0.0.0

Позвоните с Openai-Python

 export OPENAI_API_KEY=SOME_TOKEN
export OPENAI_API_BASE=http://127.0.0.1:5000/v1

openai api completions.create -e text-ada-002 -p "hello?"
# or using chat
openai api chat_completions.create -e text-ada-002 -g user "hello?"
# or calling embedding
curl -X POST http://127.0.0.1:5000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"text-embedding-ada-002", "input":"It is good."}'  -H "Authorization: Bearer SOME_TOKEN"

? ️ Roadmap

Протестировано с

• Openai-Python
  • Openai_api_type = по умолчанию
  • Openai_api_type = azure
• лама-индекс

Поддерживается API

• Завершают
  • установить temperature , top_p и top_k
  • Установить max_tokens
  • установить echo
  • установить stop
  • установить stream
  • установить n
  • Установить presence_penalty и frequency_penalty
  • Установить logit_bias
• Внедрения
  • партийный процесс
• Чат
  • Кэш префикса для чата
• Список модели

Поддерживаемые бэкэнды

• llama.cpp через Llamacpp-Python
• Лама через Пилламу
  • Без квантования
  • С квантованием
  • Поддержка Llama2

Другие

• Параметры производительности, такие как n_batch и n_thread
• Токен аут
• Документы
• Межграционные тесты
• Инструмент для загрузки/подготовки модели предварительной обработки
• Сделайте конфигурацию config.ini и token