h2oGPT

¡Convierte ★ en (esquina superior derecha) si te gusta el proyecto!

Consulte y resuma sus documentos o simplemente charle con LLM privados locales de GPT utilizando h2oGPT, un proyecto de código abierto Apache V2.

Echa un vistazo a un largo CoT Open-o1 abierto ?fresa? proyecto: https://github.com/pseudotensor/open-strawberry

Demostración en vivo

img-pequeño.png Demostración de Gradio

img-pequeño.png Demostración de OpenWebUI

Demostración en vídeo

demostración2.mp4

img-pequeño.png Vídeo 4K de YouTube

Características

Base de datos privada fuera de línea de cualquier documento (PDF, Excel, Word, imágenes, fotogramas de vídeo, YouTube, audio, código, texto, MarkDown, etc.)
- Base de datos persistente (Chroma, Weaviate o FAISS en memoria) que utiliza incrustaciones precisas (instructor grande, todo MiniLM-L6-v2, etc.)
- Uso eficiente del contexto utilizando LLM ajustados por instrucciones (no es necesario el enfoque de pocas oportunidades de LangChain)
- Resumen y extracción en paralelo , alcanzando una producción de 80 tokens por segundo con el modelo 13B LLaMa2
- HYDE (incrustaciones de documentos hipotéticos) para una recuperación mejorada basada en las respuestas de LLM
- Fragmentación semántica para una mejor división de documentos (requiere GPU)
Variedad de modelos compatibles (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. Con AutoGPTQ, 4 bits/8 bits, LORA, etc.)
- Compatibilidad con GPU de los modelos GGML HF y LLaMa.cpp, y compatibilidad con CPU con los modelos HF, LLaMa.cpp y GPT4ALL
- Sumideros de atención para generación arbitrariamente larga (LLaMa-2, Mistral, MPT, Pythia, Falcon, etc.)
Gradio UI o CLI con transmisión de todos los modelos
- Cargue y vea documentos a través de la interfaz de usuario (controle múltiples colecciones colaborativas o personales)
- Modelos de visión LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
- Generación de imágenes Difusión estable (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2) y Flux
- Voice STT usando Whisper con conversión de audio en streaming
- TTS de voz utilizando Microsoft Speech T5 con licencia MIT con múltiples voces y conversión de audio en streaming
- TTS de voz utilizando TTS con licencia MPL2, incluida la clonación de voz y la conversión de audio en streaming
- Modo de control de voz del asistente AI para control manos libres del chat h2oGPT
- Modo UI de horneado contra muchos modelos al mismo tiempo
- Descarga sencilla de artefactos del modelo y control sobre modelos como LLaMa.cpp a través de la interfaz de usuario
- Autenticación en la UI por usuario/contraseña vía Native o Google OAuth
- Preservación del estado en la UI por usuario/contraseña
Abra la interfaz de usuario web con h2oGPT como backend a través de OpenAI Proxy
- Consulte Documentos de inicio.
- Finalización del chat con streaming
- Preguntas y respuestas sobre documentos utilizando la ingestión de h2oGPT con OCR avanzado de DocTR
- Modelos de visión
- Transcripción de audio (STT)
- Generación de audio (TTS)
- Generación de imágenes
- Autenticación
- Preservación del estado
Compatibilidad con Linux, Docker, macOS y Windows
Compatibilidad con servidores de inferencia para oLLaMa, servidor HF TGI, vLLM, Gradio, ExLLaMa, Replicate, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google y Groq
Compatible con OpenAI
- API de proxy del servidor (h2oGPT actúa como reemplazo directo del servidor OpenAI)
- Finalizaciones de chat y mensajes de texto (streaming y no streaming)
- Transcripción de audio (STT)
- Generación de audio (TTS)
- Generación de imágenes
- Incrustar
- Llamada de herramienta de función con selección automática de herramienta
- Agente de ejecución de código AutoGen
Modo JSON
- Control estricto del esquema para vLLM mediante el uso de esquemas
- Estricto control de esquema para los modelos OpenAI, Anthropic, Google Gemini, MistralAI
- Modo JSON para algunos modelos OpenAI o Gemini más antiguos con control de esquema si el modelo es lo suficientemente inteligente (por ejemplo, gemini 1.5 flash)
- Cualquier modelo mediante extracción de bloques de código
Integración de búsqueda web con preguntas y respuestas de chat y documentos
Agentes de búsqueda, preguntas y respuestas sobre documentos, código Python, marcos CSV
- Agentes de alta calidad a través del servidor proxy OpenAI en un puerto separado
- Agente de código primero que genera gráficos, investiga, evalúa imágenes a través del modelo de visión, etc. (código de cliente openai_server/openai_client.py).
- No hay UI para esto, solo API
Evaluar el desempeño utilizando modelos de recompensa
Calidad mantenida con más de 1000 pruebas unitarias y de integración que duraron más de 24 horas de GPU

Empezar

Instalar h2oGPT

Se recomienda Docker para Linux, Windows y MAC para obtener capacidades completas. Linux Script también tiene capacidad total, mientras que los scripts de Windows y MAC tienen menos capacidades que usar Docker.

Docker compila y ejecuta documentos (Linux, Windows, MAC)
Documentos de instalación y ejecución de Linux
Secuencia de comandos de instalación de Windows 10/11
Instalación de MAC y ejecución de documentos
Inicio rápido en cualquier plataforma

Demostraciones de colaboración

CPU h2oGPT
GPU h2oGPT

Recursos

Preguntas frecuentes
LÉAME para LangChain
Discordia
Modelos (LLaMa-2, Falcon 40, etc.) en ?
YouTube: ¿Alternativa ChatGPT 100% sin conexión?
YouTube: enfrentamiento definitivo de LLM de código abierto (6 modelos probados): ¡resultados sorprendentes!
YouTube: Blazing Fast Falcon 40b sin censura, de código abierto, totalmente alojado, chatea con tus documentos
Documento técnico: https://arxiv.org/pdf/2306.08161.pdf

Guía de documentos

Empezar
- Linux (CPU o CUDA)
- macOS (CPU o M1/M2)
- Windows 10/11 (CPU o CUDA)
- Detalles de ejecución de GPU (CUDA, AutoGPTQ, exllama)
- Detalles de ejecución de la CPU
- charla CLI
- Interfaz de usuario de Gradio
- API de cliente (Gradio, compatible con OpenAI)
- Servidores de Inferencia (oLLaMa, servidor HF TGI, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI)
- Construir rueda Python
- Instalación sin conexión
- Memoria baja
- Estibador
Soporte de documentos LangChain
Comparar con PrivateGPT et al.
Hoja de ruta
Desarrollo
Ayuda
- Tipos de archivos LangChain compatibles
- Control de base de datos CLI
- Preguntas frecuentes
  - Notas de uso del modelo
  - Agregar modelos LLM (incluido el uso de GGUF y Attention Sinks)
  - Agregar modelos incrustados
  - Agregar indicaciones
  - Aprendizaje en contexto
  - Múltiples GPU
  - Uso reducido de memoria
  - Variables de entorno
  - Acceso HTTPS para servidor y cliente
- Enlaces útiles
- Sintonia FINA
- Tritón
- Viabilidad comercial
Expresiones de gratitud
¿Por qué H2O.ai?
Descargo de responsabilidad

Desarrollo

Para crear un entorno de desarrollo para capacitación y generación, siga las instrucciones de instalación.
Para ajustar cualquier modelo LLM en sus datos, siga las instrucciones de ajuste.

Para ejecutar pruebas de h2oGPT:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

o modificar/ejecutar tests/test4gpus.sh para ejecutar pruebas en paralelo.

Expresiones de gratitud

Parte del código de entrenamiento se basó en la versión del 24 de marzo de Alpaca-LoRA.
Se utilizaron datos creados de alta calidad por OpenAssistant.
Modelos base usados por EleutherAI.
Se utilizaron datos de la OIG creados por LAION.

¿Por qué H2O.ai?

Nuestros creadores en H2O.ai han creado varias plataformas de aprendizaje automático, aprendizaje profundo e inteligencia artificial de clase mundial:

La plataforma de aprendizaje automático de código abierto número uno para la empresa H2O-3
El mejor AutoML (aprendizaje automático) del mundo con H2O Driverless AI
Aprendizaje profundo sin código con antorcha de hidrógeno H2O
Procesamiento de documentos con aprendizaje profundo en Document AI

También construimos plataformas para implementación y monitoreo, y para gestión y gobernanza de datos:

H2O MLOps para implementar y monitorear modelos a escala
Tienda de funciones H2O en colaboración con AT&T
Marcos de desarrollo de aplicaciones de IA de código abierto y bajo código Wave y Nitro
Tabla de datos Python de código abierto (el motor para la ingeniería de funciones de IA sin controlador de H2O)

Muchos de nuestros clientes están creando modelos e implementándolos en toda la empresa y a escala en H2O AI Cloud:

Multinube o local
Nube administrada (SaaS)
Nube híbrida
Tienda de aplicaciones de IA

Estamos orgullosos de que más de 25 (de los 280 del mundo) Kaggle Grandmasters consideren que H2O es su hogar, incluidos tres Kaggle Grandmasters que llegaron al número 1 del mundo.

Descargo de responsabilidad

Lea atentamente este descargo de responsabilidad antes de utilizar el modelo de lenguaje grande proporcionado en este repositorio. Su uso del modelo significa su aceptación de los siguientes términos y condiciones.

Sesgos y ofensiva: el modelo de lenguaje grande se entrena con una amplia gama de datos de texto de Internet, que pueden contener contenido sesgado, racista, ofensivo o inapropiado. Al utilizar este modelo, usted reconoce y acepta que el contenido generado en ocasiones puede presentar sesgos o producir contenido ofensivo o inapropiado. Los desarrolladores de este repositorio no respaldan, apoyan ni promueven dicho contenido o punto de vista.
Limitaciones: el modelo de lenguaje grande es una herramienta basada en inteligencia artificial y no humana. Puede producir respuestas incorrectas, sin sentido o irrelevantes. Es responsabilidad del usuario evaluar críticamente el contenido generado y utilizarlo a su discreción.
Úselo bajo su propio riesgo: los usuarios de este modelo de lenguaje de gran tamaño deben asumir la responsabilidad total de cualquier consecuencia que pueda surgir del uso de la herramienta. Los desarrolladores y contribuyentes de este repositorio no serán responsables de ningún daño, pérdida o perjuicio que resulte del uso o mal uso del modelo proporcionado.
Consideraciones éticas: se anima a los usuarios a utilizar el modelo de lenguaje grande de forma responsable y ética. Al utilizar este modelo, usted acepta no utilizarlo con fines que promuevan el discurso de odio, la discriminación, el acoso o cualquier forma de actividad ilegal o dañina.
Informes de problemas: si encuentra algún contenido sesgado, ofensivo o inapropiado generado por el modelo de lenguaje grande, infórmelo a los mantenedores del repositorio a través de los canales proporcionados. Sus comentarios ayudarán a mejorar el modelo y mitigar posibles problemas.
Cambios a este descargo de responsabilidad: Los desarrolladores de este repositorio se reservan el derecho de modificar o actualizar este descargo de responsabilidad en cualquier momento sin previo aviso. Es responsabilidad del usuario revisar periódicamente el aviso legal para mantenerse informado sobre cualquier cambio.

Al utilizar el modelo de lenguaje grande proporcionado en este repositorio, usted acepta y cumple con los términos y condiciones descritos en este descargo de responsabilidad. Si no está de acuerdo con alguna parte de este descargo de responsabilidad, debe abstenerse de utilizar el modelo y cualquier contenido generado por él.