местный LLM с RAG

Местный LLM с RAG

Этот проект представляет собой экспериментальную песочницу для проверки идей, связанных с запуском локальных моделей большого языка (LLM) с помощью Ollama для выполнения поисково-дополненной генерации (RAG) для ответов на вопросы на основе образцов PDF-файлов. В этом проекте мы также используем Ollama для создания вложений с nomic-embed-text для использования с Chroma. Обратите внимание, что внедрения перезагружаются каждый раз при запуске приложения, что неэффективно и делается здесь только в целях тестирования.

Существует также веб-интерфейс, созданный с использованием Streamlit, обеспечивающий другой способ взаимодействия с Ollama.

Требования

• Оллама версии 0.1.26 или выше.

Настраивать

1. Клонируйте этот репозиторий на свой локальный компьютер.
2. Создайте виртуальную среду Python, запустив python3 -m venv .venv .
3. Активируйте виртуальную среду, запустив source .venv/bin/activate в Unix или MacOS или ..venvScriptsactivate в Windows.
4. Установите необходимые пакеты Python, запустив pip install -r requirements.txt .

Запуск проекта

Примечание. При первом запуске проекта он загрузит необходимые модели из Ollama для LLM и встраивания. Это однократный процесс настройки, который может занять некоторое время в зависимости от вашего интернет-соединения.

1. Убедитесь, что ваша виртуальная среда активирована.
2. Запустите основной скрипт с помощью python app.py -m -p чтобы указать модель и путь к документам. Если модель не указана, по умолчанию используется мистраль. Если путь не указан, по умолчанию используется Research расположенное в репозитории для примера.
3. При желании вы можете указать модель внедрения, которая будет использоваться, с помощью -e . Если не указано, по умолчанию используется nomic-embed-text.

Это загрузит файлы PDF и Markdown, сгенерирует встраивания, запросит коллекцию и ответит на вопрос, заданный в app.py

Запуск пользовательского интерфейса Streamlit

1. Убедитесь, что ваша виртуальная среда активирована.
2. Перейдите в каталог, содержащий скрипт ui.py
3. Запустите приложение Streamlit, выполнив в терминале streamlit run ui.py

Это запустит локальный веб-сервер и откроет новую вкладку в веб-браузере по умолчанию, где вы сможете взаимодействовать с приложением. Пользовательский интерфейс Streamlit позволяет выбирать модели, выбирать папку, обеспечивая более простой и интуитивно понятный способ взаимодействия с системой чат-бота RAG по сравнению с интерфейсом командной строки. Приложение будет обрабатывать загрузку документов, генерировать вложения, запрашивать коллекцию и отображать результаты в интерактивном режиме.

Используемые технологии

• Langchain: библиотека Python для работы с большой языковой моделью.
• Оллама: платформа для локального запуска моделей на большом языке.
• Chroma: векторная база данных для хранения и извлечения вложений.
• PyPDF: библиотека Python для чтения и управления PDF-файлами.
• Streamlit: веб-фреймворк для создания интерактивных приложений для проектов машинного обучения и обработки данных.