nextjs fastapi your chat

Next.js + FastAPI: чат с вашим сайтом

Это приложение облегчает работу чат-бота, используя Next.js в качестве внешнего интерфейса и FastAPI в качестве внутреннего, используя возможности LangChain для динамического веб-взаимодействия.

Особенности гибридного приложения

• Веб-взаимодействие через LangChain : использует последнюю версию LangChain для эффективного взаимодействия и извлечения информации с веб-сайтов.
• Универсальная интеграция языковой модели : обеспечивает совместимость с различными моделями, включая GPT-4. Пользователи могут легко переключаться между моделями в соответствии со своими потребностями.
• Удобный интерфейс Next.js : интерфейс интуитивно понятен и доступен для пользователей с любым техническим опытом.

Операционная механика

Приложение интегрирует сервер Python/FastAPI в приложение Next.js по маршруту /api/ . Это достигается путем перезаписи next.config.js , направляя любые запросы /api/:path* на сервер FastAPI, расположенный в папке /api . Локально FastAPI работает по адресу 127.0.0.1:8000 , а в рабочей среде он работает как бессерверные функции на Vercel.

Настройка приложения

1. Установите зависимости:

   npm install

2. Создайте файл .env с вашим ключом API OpenAI:

    OPENAI_API_KEY=[your-openai-api-key]
   

3. Запустите сервер разработки:

   npm run dev

4. Получите доступ к приложению по адресу http://localhost:3000. Сервер FastAPI работает по адресу http://127.0.0.1:8000.

Для внутреннего тестирования:

conda create --name nextjs-fastapi-your-chat python=3.10
conda activate nextjs-fastapi-your-chat
pip install -r requirements.txt
uvicorn api.index:app --reload

Ведение истории чата (список TODO)

Варианты сохранения истории чата включают в себя:

• Глобальная переменная : простая, но не идеальная для масштабируемости и согласованности.
• База данных/кэш в памяти : масштабируемые решения, такие как Redis, для хранения истории чатов.
• Хранение базы данных : надежный и постоянный метод, подходящий для производственных сред.

Понимание алгоритмов RAG

RAG (Retrival Augmented Generation) расширяет языковые модели за счет контекста, полученного из пользовательской базы знаний. Этот процесс включает в себя выборку HTML-документов, разбиение их на фрагменты и векторизацию этих фрагментов с использованием моделей внедрения, таких как OpenAI. Эти векторизованные данные образуют векторное хранилище, позволяющее выполнять семантический поиск на основе запросов пользователя. Полученные соответствующие фрагменты затем используются в качестве контекста для языковой модели, формируя исчерпывающий ответ на запросы пользователей.

Реализация извлечения контекста

Функция get_vectorstore_from_url извлекает и обрабатывает текст из заданного URL-адреса, а get_context_retriever_chain формирует цепочку, которая извлекает контекст, относящийся ко всей истории разговора. Такой конвейерный подход гарантирует, что ответы будут контекстно-ориентированными и точными.

Вдохновение и ссылки

• чат с веб-сайтами
• следующий13-ай-саас