Updated Langchain for GenAI Pet project v2

Создание чат-бота с использованием платных программ LLM и программ LLM с открытым исходным кодом с использованием Langchain и Ollama

Этот комплексный проект, который упрощает жизненный цикл приложений большой языковой модели (LLM), включая разработку, производство и развертывание. Репозиторий содержит папки и файлы как компоненты проекта, такие как агенты, API, цепочки, чат-боты, GROQ (язык запросов), модели Hugging Face, ObjectBox (встроенная база данных), модели OpenAI и поисковая дополненная генерация (RAG). ) модели. Целью проекта является предоставление комплексного решения для работы с LLM, охватывающего обработку данных, разработку чат-ботов и интеграцию с различными инструментами и платформами.

Проект Лангчейн

---

Создание чат-бота с использованием платных и открытых программ LLM с помощью Langchain и Ollama

Обзор проекта

Этот проект демонстрирует создание чат-бота с использованием как платных, так и крупномасштабных языковых моделей (LLM) с открытым исходным кодом через Langchain и Ollama. Он охватывает весь жизненный цикл приложений LLM, включая разработку, производство и внедрение.

Информационная безопасность:

Ага. Все API являются секретными, с ограниченным доступом пользователей и анонимным .gitignore, а также еще одним уровнем безопасности через секретные среды Github (извините, вам придется использовать свои собственные!)

Минимальные компоненты проекта

• Агенты
• API/FastAPI
• Цепи
• Чат-боты
• GROQ (язык запросов)
• Обнимающие модели Face22
• ObjectBox (встроенная база данных)
• Модели OpenAI
• Модели Meta Llama2 (с открытым исходным кодом)
• Модели дополненной генерации с восстановлением (RAG)

Конфигурация и установка

1. Конфигурация среды

conda create -p venv python==3.10 -y
venv S cripts a ctivate
pip install -r requirements.txt

2. Конфигурация

Настройте необходимые ключи и настройки API в файле app.py

Использовать

1. Выполнение чат-бота

python app.py

2. Доступ к веб-интерфейсу

Откройте веб-браузер и перейдите к (или назначенному прогрессивному порту на вашем компьютере). мое это:

http://localhost:8502

---

Давайте настроим app.py и запустим сеанс на локальном хосте.

• Мы создаем файл, вызывая 3 основные связанные функции нашего базового чат-бота.

• Загружаем требования к модулям и библиотекам:

• Запускаем наш app.py

  Заканчиваем настройку app.py и запускаем
  

• Он возвращает маршрут и открывает хост в тестовом браузере.

  Local URL: http://localhost:8502
  Network URL: http://192.168.100.30:8502

• Давайте проверим страницу:

• Давайте рассмотрим проект в рамках Langchain:

• Давайте посмотрим на структуру вывода, как мы ее определяем:

  

• Рассмотрим StrOutputParser подробно:

  

• Мы спросим вас о «предоставлении кода Python, который обменивает два значения», чтобы оценить стоимость, токенизацию и время задержки, чтобы решить вопрос:

• *proveeme de un código python que swapee 2 valores.* :

  

   # Definir los dos valores a intercambiar
  a = 5
  b = 10
  
  print ( "Valores originales:" )
  print ( "a =" , a )
  print ( "b =" , b )
  
  # Intercambiar los valores
  temp = a
  a = b
  b = temp
  
  print ( " n Valores intercambiados:" )
  print ( "a =" , a )
  print ( "b =" , b )

• Наконец, мы генерируем общий запрос:

  «вопрос»: «Когда начинать чистить зубы щенкам?»

  

Давайте настроим локальную версию с помощью Ollama.

• Мы специально загрузим Llamama, загрузив Llama2 на наш компьютер, чтобы запустить ее из локальной среды.

  • я открываю cmd

    ollama run llama2

  • мы скачиваем llama2

  

  

  • Мы ответим на те же два последних вопроса, чтобы оценить уровень ответа, согласованности и последовательности с помощью Llama2 по сравнению с уровнем, сгенерированным с помощью gpt3.5 turbo
  • Смотрим на ответы в тестовом браузере:

  

  • Давайте рассмотрим langsmith на Langchain, чтобы рассмотреть отслеживание запросов, задержку, токенизацию и весь процесс.

  

  • «предоставьте мне код Python, чтобы поменять местами 2 числа»

  

  • Как мы видим время процесса и генерацию ответа
  • Оно было намного выше, и токенизация быстро выросла до 388 токенов.
  • Размер и длина ответа определяются вопросом, но не только. И уровень информативности и полноты тоже, а это значит, что на модель OpenAI я стараюсь отвечать кратко и точно, не вдаваясь в смысловые детали, пока модель работает.
  • Лама 2 был гораздо более многословным или многословным, и его влияние было связано с локальным временем процесса, которое зависит от компьютера, на котором работает модель, и интеллекта, лежащего в основе ответа, генерируемого самой моделью.

---

Общая характеристика проекта

• Интеграция с моделями OpenAI GPT
• Локальная поддержка LLM с использованием Ollama (Llama2)
• Веб-интерфейс для удобного взаимодействия
• Сравнение производительности облачных и локальных LLM

Сравнение производительности

Проект включает в себя сравнение OpenAI GPT-3.5-turbo и локально используемой модели Llama2:

• Время отклика (задержка)
• Использование токена
• Качество и последовательность ответов

Мониторинг и анализ

Мы используем Langsmith на Langchain для мониторинга:

• Макет запроса
• Задержка
• Использование токена
• Общая схема процесса

Взносы

Всегда приветствуются вклады в улучшение чат-бота или расширение его возможностей. Пожалуйста, отправляйте запросы на включение или открывайте проблемы для каких-либо улучшений.

#### Хочешь научиться? пришлите мне в Директ!

Лицензия

Этот проект имеет открытый исходный код и доступен по лицензии MIT.