Чтобы начать работу над проектом, вам необходимо иметь доступ к API для LLM. В настоящее время поддерживаются LLM проекта GenAI и ChatGPT OpenAI.
Скопируйте config.ini.sample
в config.ini
, а затем заполните соответствующие данные. Обратите внимание: если вы хотите использовать только одного поставщика LLM, вы можете оставить настройки примера для другого.
Инструкции по началу работы со стеком GenAI приведены здесь: https://github.com/docker/genai-stack.
Обратите внимание: чтобы использовать графический процессор в Linux, вам необходимо обновить файл docker-compose, следуя инструкциям здесь: docker/genai-stack#62 (комментарий)
LLM просят предоставить категории для выборки документов в репозитории, а затем они объединяются в иерархию. Категории создаются в репозитории с использованием API версии 1.
Дерево категорий предоставляется LLM вместе с содержимым документа. LLM предлагается выбрать соответствующие категории для контента, а затем для их назначения используется API версии 1.
Подробная инструкция доступна в сумматоре