h2oGPT

Поверните ★ в (правый верхний угол), если проект вам понравился!

Запрашивайте и суммируйте свои документы или просто общайтесь с местными частными LLM GPT, используя h2oGPT, проект Apache V2 с открытым исходным кодом.

Посмотрите длинный открытый CoT Open-o1 «клубника»? проект: https://github.com/pseudotensor/open-strawberry

Живая демонстрация

Градио Демо

Демо-версия OpenWebUI

Видео Демо

демо2.mp4

YouTube 4K видео

Функции

Частная автономная база данных любых документов (PDF, Excel, Word, изображения, видеокадры, YouTube, аудио, код, текст, MarkDown и т. д.)
- Постоянная база данных (Chroma, Weaviate или FAISS в памяти) с использованием точных вложений (большая для инструктора, полностью MiniLM-L6-v2 и т. д.)
- Эффективное использование контекста с использованием LLM, настроенных по инструкциям (нет необходимости в поэтапном подходе LangChain)
- Параллельное суммирование и извлечение, достигая производительности 80 токенов в секунду с помощью модели 13B LLaMa2.
- HYDE (встраивание гипотетических документов) для расширенного поиска на основе ответов LLM.
- Семантическое группирование для лучшего разделения документов (требуется графический процессор)
Поддерживаются различные модели (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. С AutoGPTQ, 4-бит/8-бит, LORA и т. д.)
- Поддержка графического процессора в моделях HF и LLaMa.cpp GGML и поддержка ЦП в моделях HF, LLaMa.cpp и GPT4ALL.
- Attention Sinks для сколь угодно длинной генерации (LLaMa-2, Mistral, MPT, Pythia, Falcon и т.д.)
Gradio UI или CLI с потоковой передачей всех моделей
- Загружайте и просматривайте документы через пользовательский интерфейс (управляйте несколькими совместными или личными коллекциями)
- Модели Vision LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
- Генерация изображений Stable Diffusion (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2) и Flux
- Voice STT с использованием Whisper с преобразованием потокового аудио
- Голосовой TTS с использованием Microsoft Speech T5, лицензированного MIT, с несколькими голосами и преобразованием потокового аудио
- Голосовой TTS с использованием TTS по лицензии MPL2, включая клонирование голоса и преобразование потокового аудио
- Режим голосового управления AI Assistant для управления чатом h2oGPT без помощи рук
- Режим пользовательского интерфейса Bake-off для многих моделей одновременно
- Простая загрузка артефактов модели и контроль над такими моделями, как LLaMa.cpp, через пользовательский интерфейс.
- Аутентификация в пользовательском интерфейсе по пользователю/паролю через Native или Google OAuth.
- Сохранение состояния в пользовательском интерфейсе по пользователю/паролю
Открытый веб-интерфейс с h2oGPT в качестве серверной части через прокси-сервер OpenAI.
- См. документацию по запуску.
- Завершение чата с потоковой передачей
- Документируйте вопросы и ответы, используя прием h2oGPT с расширенным распознаванием текста из DocTR.
- Модели видения
- Аудио транскрипция (STT)
- Генерация звука (TTS)
- Генерация изображений
- Аутентификация
- Государственная консервация
Поддержка Linux, Docker, macOS и Windows
Поддержка серверов вывода для oLLaMa, сервера HF TGI, vLLM, Gradio, ExLLaMa, Replication, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google и Groq.
Совместимость с OpenAI
- API прокси-сервера (h2oGPT действует как замена серверу OpenAI)
- Завершения чата и текстовых сообщений (потоковое и непотоковое)
- Аудио транскрипция (STT)
- Генерация звука (TTS)
- Генерация изображений
- Встраивание
- Вызов функционального инструмента с автоматическим выбором инструмента
- Агент выполнения кода автогенерации
Режим JSON
- Строгий контроль схемы для vLLM за счет использования контуров.
- Строгий контроль схемы для моделей OpenAI, Anthropic, Google Gemini, MistralAI.
- Режим JSON для некоторых старых моделей OpenAI или Gemini с управлением схемой, если модель достаточно умна (например, Gemini 1.5 Flash)
- Любая модель посредством извлечения блока кода
Интеграция веб-поиска с чатом и документами Q/A
Агенты для поиска, вопросы и ответы по документам, код Python, фреймы CSV
- Высококачественные агенты через прокси-сервер OpenAI на отдельном порту
- Агент, ориентированный на код, который генерирует графики, исследует, оценивает изображения с помощью модели видения и т. д. (клиентский код openai_server/openai_client.py).
- Для этого нет пользовательского интерфейса, только API
Оценивайте производительность с помощью моделей вознаграждения
Качество поддерживается за счет более 1000 модульных и интеграционных тестов, занимающих более 24 часов графического процессора.

Начать

Установить h2oGPT

Docker рекомендуется для Linux, Windows и MAC для обеспечения всех возможностей. Linux Script также обладает полными возможностями, тогда как сценарии Windows и MAC имеют меньше возможностей, чем использование Docker.

Документы по сборке и запуску Docker (Linux, Windows, MAC)
Документация по установке и запуску Linux
Скрипт установки Windows 10/11
Документация по установке и запуску MAC
Быстрый старт на любой платформе

Совместная демонстрация

процессор h2oGPT
h2oGPT графический процессор

Ресурсы

Часто задаваемые вопросы
README для LangChain
Раздор
Модели (LLaMa-2, Falcon 40 и др.) на ?
YouTube: 100% автономная альтернатива ChatGPT?
YouTube: Окончательное состязание LLM с открытым исходным кодом (протестировано 6 моделей) – неожиданные результаты!
YouTube: Blazing Fast Falcon 40b без цензуры, с открытым исходным кодом, полностью размещенный, общайтесь с документами
Технический документ: https://arxiv.org/pdf/2306.08161.pdf.

Руководство по документам

Начать
- Linux (ЦП или CUDA)
- macOS (ЦП или M1/M2)
- Windows 10/11 (ЦП или CUDA)
- Подробности о работе графического процессора (CUDA, AutoGPTQ, exllama)
- Подробности работы процессора
- CLI-чат
- Градио пользовательский интерфейс
- Клиентский API (Gradio, OpenAI-совместимый)
- Серверы вывода (oLLaMa, сервер HF TGI, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replication, OpenAI, Azure OpenAI)
- Создание колеса Python
- Автономная установка
- Низкая память
- Докер
Поддержка документов LangChain
Сравните с PrivateGPT и др.
Дорожная карта
Разработка
Помощь
- Поддерживаемые типы файлов LangChain
- Управление базой данных через CLI
- Часто задаваемые вопросы
  - Замечания по использованию модели
  - Добавление моделей LLM (включая использование GGUF и приемников внимания)
  - Добавление моделей внедрения
  - Добавление подсказок
  - Контекстное обучение
  - Несколько графических процессоров
  - Низкое использование памяти
  - Переменные среды
  - HTTPS-доступ для сервера и клиента
- Полезные ссылки
- Тонкая настройка
- Тритон
- Коммерческая жизнеспособность
Благодарности
Почему H2O.ai?
Отказ от ответственности

Разработка

Чтобы создать среду разработки для обучения и генерации, следуйте инструкциям по установке.
Чтобы точно настроить любые модели LLM на основе ваших данных, следуйте инструкциям по точной настройке.

Чтобы запустить тесты h2oGPT:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

или настройте/runtests tests/test4gpus.sh для параллельного запуска тестов.

Благодарности

Некоторые обучающие программы были основаны на версии Alpaca-LoRA от 24 марта.
Использованы высококачественные данные, созданные OpenAssistant.
Использованы базовые модели от EleutherAI.
Использованы данные OIG, созданные LAION.

Почему H2O.ai?

Наши создатели из H2O.ai создали несколько платформ машинного обучения, глубокого обучения и искусственного интеллекта мирового класса:

Платформа машинного обучения №1 с открытым исходным кодом для предприятий H2O-3
Лучший в мире AutoML (автоматическое машинное обучение) с искусственным интеллектом без водителя H2O
Глубокое обучение без кода с использованием водородной горелки H2O
Обработка документов с глубоким обучением в Document AI

Мы также создали платформы для развертывания и мониторинга, а также для обработки и управления данными:

H2O MLOps для развертывания и мониторинга моделей в большом масштабе
Магазин функций H2O в сотрудничестве с AT&T
Платформы разработки приложений с использованием искусственного интеллекта с открытым исходным кодом Wave и Nitro
Таблица данных Python с открытым исходным кодом (движок для разработки функций искусственного интеллекта без драйверов H2O)

Многие из наших клиентов создают модели и развертывают их в масштабе всего предприятия в облаке H2O AI:

Мультиоблако или локально
Управляемое облако (SaaS)
Гибридное облако
Магазин приложений AI

Мы гордимся тем, что более 25 (из 280 в мире) гроссмейстеров Kaggle называют H2O своим домом, включая трех гроссмейстеров Kaggle, которые заняли первое место в мире.

Отказ от ответственности

Пожалуйста, внимательно прочтите этот отказ от ответственности перед использованием большой языковой модели, представленной в этом репозитории. Использование вами модели означает ваше согласие со следующими положениями и условиями.

Предвзятость и оскорбительность. Большая языковая модель обучается на широком спектре текстовых интернет-данных, которые могут содержать предвзятый, расистский, оскорбительный или иным образом неприемлемый контент. Используя эту модель, вы признаете и принимаете, что созданный контент может иногда проявлять предвзятость или создавать оскорбительный или неуместный контент. Разработчики этого репозитория не одобряют, не поддерживают и не продвигают такой контент или точки зрения.
Ограничения: Большая языковая модель — это инструмент на основе искусственного интеллекта, а не человека. Это может привести к неправильным, бессмысленным или неуместным ответам. Пользователь несет ответственность за критическую оценку созданного контента и использование его по своему усмотрению.
Используйте на свой страх и риск. Пользователи этой большой языковой модели должны взять на себя полную ответственность за любые последствия, которые могут возникнуть в результате использования ими этого инструмента. Разработчики и участники этого репозитория не несут ответственности за любой ущерб, убытки или вред, возникшие в результате использования или неправильного использования предоставленной модели.
Этические соображения. Пользователям рекомендуется использовать большую языковую модель ответственно и этично. Используя эту модель, вы соглашаетесь не использовать ее в целях, пропагандирующих разжигание ненависти, дискриминацию, преследование или любую форму незаконной или вредной деятельности.
Проблемы с отчетами. Если вы столкнулись с каким-либо предвзятым, оскорбительным или иным неприемлемым контентом, созданным большой языковой моделью, сообщите об этом сопровождающим репозитория по предоставленным каналам. Ваш отзыв поможет улучшить модель и устранить потенциальные проблемы.
Изменения в этом отказе от ответственности: Разработчики этого репозитория оставляют за собой право изменять или обновлять этот отказ от ответственности в любое время без предварительного уведомления. Пользователь обязан периодически просматривать заявление об отказе от ответственности, чтобы быть в курсе любых изменений.

Используя большую языковую модель, представленную в этом репозитории, вы соглашаетесь принять и соблюдать условия, изложенные в этом отказе от ответственности. Если вы не согласны с какой-либо частью данного заявления об отказе от ответственности, вам следует воздержаться от использования модели и любого контента, созданного с ее помощью.