microllama

МикроЛама

Самый маленький из возможных LLM API. Создайте интерфейс вопросов и ответов для собственного контента за несколько минут. Использует встраивания OpenAI, gpt-3.5 и Faiss через Langchain.

Использование

1. Объедините исходные документы в один файл JSON с именем source.json . Это должно выглядеть так:

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

См. пример example.source.json .

2. Установите MicroLlama в виртуальную среду:

pip install microllama

3. Получите ключ API OpenAI и добавьте его в среду, например export OPENAI_API_KEY=sk-etc . Обратите внимание, что для индексирования и выполнения запросов требуются кредиты OpenAI, которые не бесплатны.

4. Запустите свой сервер с помощью microllama . Если индекс векторного поиска не существует, он будет создан из вашего source.json и сохранен.

5. Запросите свои документы по адресу /api/ask?your вопрос.

6. Microllama включает в себя дополнительный веб-интерфейс, который создается с помощью microllama make-front-end . Эта команда создает один файл index.html , который вы можете редактировать. Его подают в /.

Конфигурация

Microllama настраивается через переменные среды со следующими значениями по умолчанию:

• OPENAI_API_KEY : требуется.
• FAISS_INDEX_PATH : "faiss_index"
• SOURCE_JSON : "source.json"
• MAX_RELATED_DOCUMENTS : "5"
• EXTRA_CONTEXT : «Ответьте не более чем в трех предложениях. Если ответ не включен в контекст, скажите: «Извините, в моих источниках нет ответа на этот вопрос».»
• UVICORN_HOST : «0.0.0.0»
• UVICORN_PORT : "8080"

Развертывание вашего API

Создайте Dockerfile с помощью microllama make-dockerfile . Затем:

На Fly.io

Зарегистрируйте учетную запись Fly.io и установите Flyctl. Затем:

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

В Google Cloud Run

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

Для Cloud Run и других бессерверных платформ индекс FAISS следует создавать во время сборки контейнера, чтобы сократить время запуска. См. две строки с комментариями в Dockerfile .

Вы также можете сгенерировать эти команды с помощью microllama deploy .

На основе

• Лангчейн
• Сообщение в блоге Саймона Уиллисона: datasette-openai и datasette-faiss.
• ФастAPI
• Индекс GPT
• Сообщение в блоге Дагстера

TODO

• Используйте разделение, которое генерирует более значимые фрагменты, например text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")