градиент_RAG

Поисковая расширенная генерация

Этот репозиторий содержит код и ресурсы, связанные с расширенной генерацией поиска (RAG), методом, предназначенным для решения проблемы актуальности данных в моделях большого языка (LLM), таких как Llama-2. LLM часто не осведомлены о последних событиях и актуальной информации. RAG включает внешние знания из базы знаний в ответы LLM, обеспечивая точные и обоснованные ответы.

Содержимое репозитория

• src : Содержит исходный код для реализации метода RAG и взаимодействия с базой знаний.
• data : хранит наборы данных и соответствующие ресурсы для создания базы знаний.
• db : для управления и хранения вложений токенов или векторных представлений для поиска в базе знаний.
• requirements.txt : необходимые пакеты Python для запуска кода в этом репозитории.

О RAG (Поисковая дополненная генерация)

RAG — это новый подход, сочетающий возможности больших языковых моделей (LLM) с внешними базами знаний для повышения качества и актуальности генерируемых ответов. Он решает проблему устаревшей информации, извлекая контекстуально релевантные знания из внешних источников и включая их в контент, создаваемый LLM.

О Градио

Gradio — это библиотека Python, которая помогает быстро создавать пользовательские интерфейсы для моделей машинного обучения. Он позволяет быстро развертывать модели и делать их доступными через удобный интерфейс без обширной разработки внешнего интерфейса.

Приложение Gradio запускается при запуске кода gradio_chatbot.py . Он содержит изменяемые элементы, такие как модель внедрения, модель генерации, редактируемое системное приглашение и настраиваемые параметры выбранного LLM.

Шаги

Чтобы использовать код из этого репозитория, выполните следующие действия:

1. Клонируйте репозиторий на свой локальный компьютер.

2. Перейдите в каталог репозитория с помощью командной строки.

3. Установите необходимые пакеты с помощью следующей команды:

   pip install -r requirements.txt

4. Запустите приложение чат-бота с помощью команды:

   python src/gradio_chatbot.py

5. После запуска приложения Gradio загрузите документ (pdf или csv), выберите модели (встраивание и генерацию), настройте настраиваемые параметры, поиграйтесь с системной подсказкой и задайте все, что вам нужно!