h2oGPT

Verwandeln Sie ★ in (obere rechte Ecke), wenn Ihnen das Projekt gefällt!

Fragen Sie Ihre Dokumente ab und fassen Sie sie zusammen oder chatten Sie einfach mit lokalen privaten GPT-LLMs mithilfe von h2oGPT, einem Open-Source-Projekt von Apache V2.

Schauen Sie sich ein langes CoT Open-o1 Open „Strawberry“ an. Projekt: https://github.com/pseudotensor/open-strawberry

Live-Demo

Gradio-Demo

OpenWebUI-Demo

Videodemo

demo2.mp4

YouTube 4K-Video

Merkmale

Private Offline-Datenbank aller Dokumente (PDFs, Excel, Word, Bilder, Videobilder, YouTube, Audio, Code, Text, MarkDown usw.)
- Persistente Datenbank (Chroma, Weaviate oder In-Memory FAISS) mit präzisen Einbettungen (Instructor-Large, All-MiniLM-L6-v2 usw.)
- Effiziente Nutzung des Kontexts mithilfe von Anweisungs-abgestimmten LLMs (keine Notwendigkeit für den Few-Shot-Ansatz von LangChain)
- Parallele Zusammenfassung und Extraktion, wodurch mit dem 13B LLaMa2-Modell eine Ausgabe von 80 Token pro Sekunde erreicht wird
- HYDE (Hypothetical Document Embeddings) für verbessertes Abrufen basierend auf LLM-Antworten
- Semantic Chunking für eine bessere Dokumentenaufteilung (erfordert GPU)
Verschiedene unterstützte Modelle (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. Mit AutoGPTQ, 4-Bit/8-Bit, LORA usw.)
- GPU- Unterstützung durch die GGML-Modelle HF und LLaMa.cpp sowie CPU- Unterstützung durch die Modelle HF, LLaMa.cpp und GPT4ALL
- Aufmerksamkeitssenken für beliebig lange Generationen (LLaMa-2, Mistral, MPT, Pythia, Falcon usw.)
Gradio UI oder CLI mit Streaming aller Modelle
- Laden Sie Dokumente über die Benutzeroberfläche hoch und zeigen Sie sie an (steuern Sie mehrere kollaborative oder persönliche Sammlungen).
- Sehmodelle LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
- Stabile Bilderzeugungsdiffusion (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2) und Flux
- Sprach-STT mit Whisper mit Streaming-Audiokonvertierung
- Sprach-TTS mit MIT-lizenziertem Microsoft Speech T5 mit mehreren Stimmen und Streaming-Audiokonvertierung
- Sprach-TTS mit MPL2-lizenziertem TTS, einschließlich Sprachklonen und Streaming-Audiokonvertierung
- AI Assistant-Sprachsteuerungsmodus zur freihändigen Steuerung des h2oGPT-Chats
- Bake-off- UI-Modus gegen viele Modelle gleichzeitig
- Einfacher Download von Modellartefakten und Kontrolle über Modelle wie LLaMa.cpp über die Benutzeroberfläche
- Authentifizierung in der Benutzeroberfläche per Benutzer/Passwort über Native oder Google OAuth
- Statuserhaltung in der Benutzeroberfläche nach Benutzer/Passwort
Öffnen Sie die Web-Benutzeroberfläche mit h2oGPT als Backend über OpenAI Proxy
- Siehe Startdokumente.
- Chat-Abschluss mit Streaming
- Fragen und Antworten zu Dokumenten mithilfe der h2oGPT-Aufnahme mit erweiterter OCR von DocTR
- Vision-Modelle
- Audiotranskription (STT)
- Audioerzeugung (TTS)
- Bilderzeugung
- Authentifizierung
- Staatserhaltung
Unterstützung für Linux, Docker, macOS und Windows
Unterstützung für Inferenzserver für oLLaMa, HF TGI-Server, vLLM, Gradio, ExLLaMa, Replicate, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google und Groq
OpenAI-konform
- Server-Proxy-API (h2oGPT fungiert als Drop-in-Ersatz für den OpenAI-Server)
- Chat- und Textvervollständigungen (Streaming und Nicht-Streaming)
- Audiotranskription (STT)
- Audioerzeugung (TTS)
- Bilderzeugung
- Einbetten
- Funktion Werkzeugaufruf mit automatischer Werkzeugauswahl
- AutoGen-Codeausführungsagent
JSON-Modus
- Strikte Schemakontrolle für vLLM durch die Verwendung von Outlines
- Strenge Schemakontrolle für OpenAI-, Anthropic-, Google Gemini- und MistralAI-Modelle
- JSON-Modus für einige ältere OpenAI- oder Gemini-Modelle mit Schemasteuerung, wenn das Modell intelligent genug ist (z. B. Gemini 1.5 Flash)
- Jedes Modell über Codeblockextraktion
Web- Suchintegration mit Chat und Dokumenten-Q/A
Agenten für Suche, Dokument-Q/A, Python-Code, CSV-Frames
- Hochwertige Agenten über OpenAI-Proxyserver auf separatem Port
- Code-First-Agent, der Plots generiert, recherchiert, Bilder per Vision-Modell auswertet usw. (Client-Code openai_server/openai_client.py).
- Dafür gibt es keine Benutzeroberfläche, nur eine API
Bewerten Sie die Leistung mithilfe von Belohnungsmodellen
Die Qualität wird durch über 1000 Einheiten- und Integrationstests aufrechterhalten, die über 24 GPU-Stunden dauern

Legen Sie los

Installieren Sie h2oGPT

Für den vollen Funktionsumfang wird Docker für Linux, Windows und MAC empfohlen. Linux-Skripte verfügen ebenfalls über die volle Funktionalität, während Windows- und MAC-Skripte über weniger Funktionen verfügen als die Verwendung von Docker.

Docker Build and Run-Dokumente (Linux, Windows, MAC)
Linux-Installations- und Ausführungsdokumente
Windows 10/11-Installationsskript
MAC-Installations- und Ausführungsdokumente
Schnellstart auf jeder Plattform

Collab-Demos

h2oGPT-CPU
h2oGPT-GPU

Ressourcen

FAQs
README für LangChain
Zwietracht
Modelle (LLaMa-2, Falcon 40 usw.) bei ?
YouTube: 100 % Offline-ChatGPT-Alternative?
YouTube: Ultimativer Open-Source-LLM-Showdown (6 getestete Modelle) – überraschende Ergebnisse!
YouTube: Blazing Fast Falcon 40b Unzensiert, Open Source, vollständig gehostet, Chat mit Ihren Dokumenten
Technisches Dokument: https://arxiv.org/pdf/2306.08161.pdf

Dokumentationshandbuch

Legen Sie los
- Linux (CPU oder CUDA)
- macOS (CPU oder M1/M2)
- Windows 10/11 (CPU oder CUDA)
- Details zur Ausführung der GPU (CUDA, AutoGPTQ, exllama).
- CPU-Laufdetails
- CLI-Chat
- Gradio-Benutzeroberfläche
- Client-API (Gradio, OpenAI-kompatibel)
- Inferenzserver (oLLaMa, HF TGI-Server, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI)
- Erstellen Sie ein Python-Rad
- Offline-Installation
- Wenig Speicher
- Docker
Unterstützung für LangChain-Dokumente
Vergleichen Sie mit PrivateGPT et al.
Roadmap
Entwicklung
Helfen
- Unterstützte LangChain-Dateitypen
- CLI-Datenbanksteuerung
- FAQ
  - Hinweise zur Modellverwendung
  - Hinzufügen von LLM-Modellen (einschließlich der Verwendung von GGUF und Attention Sinks)
  - Einbettungsmodelle hinzufügen
  - Eingabeaufforderungen hinzufügen
  - Lernen im Kontext
  - Mehrere GPUs
  - Geringe Speichernutzung
  - Umgebungsvariablen
  - HTTPS-Zugriff für Server und Client
- Nützliche Links
- Feinabstimmung
- Triton
- Kommerzielle Rentabilität
Danksagungen
Warum H2O.ai?
Haftungsausschluss

Entwicklung

Um eine Entwicklungsumgebung für Training und Generierung zu erstellen, befolgen Sie die Installationsanweisungen.
Befolgen Sie die Anweisungen zur Feinabstimmung, um LLM-Modelle anhand Ihrer Daten zu optimieren.

So führen Sie h2oGPT-Tests durch:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

oder optimieren/führen Sie tests/test4gpus.sh aus, um Tests parallel auszuführen.

Danksagungen

Einige Trainingscodes basierten auf der Version von Alpaca-LoRA vom 24. März.
Verwendet hochwertig erstellte Daten von OpenAssistant.
Gebrauchte Basismodelle von EleutherAI.
Verwendete von LAION erstellte OIG-Daten.

Warum H2O.ai?

Unsere Macher bei H2O.ai haben mehrere erstklassige Plattformen für maschinelles Lernen, Deep Learning und KI entwickelt:

Die führende Open-Source-Plattform für maschinelles Lernen für Unternehmen H2O-3
Das weltweit beste AutoML (Automatic Machine Learning) mit H2O Driverless AI
No-Code Deep Learning mit H2O Hydrogen Torch
Dokumentenverarbeitung mit Deep Learning in Document AI

Wir haben auch Plattformen für die Bereitstellung und Überwachung sowie für die Datenverwaltung und -verwaltung entwickelt:

H2O MLOps zur Bereitstellung und Überwachung von Modellen im großen Maßstab
H2O Feature Store in Zusammenarbeit mit AT&T
Open-Source-Frameworks für die Low-Code-KI-App-Entwicklung Wave und Nitro
Open-Source-Python-Datentabelle (die Engine für H2O Driverless AI Feature Engineering)

Viele unserer Kunden erstellen Modelle und stellen sie unternehmensweit und im großen Maßstab in der H2O AI Cloud bereit:

Multi-Cloud oder vor Ort
Verwaltete Cloud (SaaS)
Hybride Cloud
AI Appstore

Wir sind stolz darauf, dass über 25 (der weltweit 280) Kaggle-Großmeister H2O ihr Zuhause nennen, darunter drei Kaggle-Großmeister, die es auf Platz 1 der Welt geschafft haben.

Haftungsausschluss

Bitte lesen Sie diesen Haftungsausschluss sorgfältig durch, bevor Sie das in diesem Repository bereitgestellte große Sprachmodell verwenden. Durch die Nutzung des Modells erklären Sie sich mit den folgenden Geschäftsbedingungen einverstanden.

Vorurteile und Beleidigungen: Das große Sprachmodell wird auf einer Vielzahl von Internettextdaten trainiert, die voreingenommene, rassistische, beleidigende oder anderweitig unangemessene Inhalte enthalten können. Durch die Verwendung dieses Modells erkennen Sie an und akzeptieren, dass die generierten Inhalte manchmal Vorurteile aufweisen oder beleidigende oder unangemessene Inhalte produzieren können. Die Entwickler dieses Repositorys unterstützen, unterstützen oder fördern solche Inhalte oder Standpunkte nicht.
Einschränkungen: Das große Sprachmodell ist ein KI-basiertes Werkzeug und kein Mensch. Es kann zu falschen, unsinnigen oder irrelevanten Antworten kommen. Es liegt in der Verantwortung des Nutzers, die generierten Inhalte kritisch zu bewerten und nach eigenem Ermessen zu verwenden.
Nutzung auf eigenes Risiko: Benutzer dieses großen Sprachmodells müssen die volle Verantwortung für alle Konsequenzen übernehmen, die sich aus der Verwendung des Tools ergeben können. Die Entwickler und Mitwirkenden dieses Repositorys haften nicht für Schäden, Verluste oder Schäden, die aus der Verwendung oder dem Missbrauch des bereitgestellten Modells resultieren.
Ethische Überlegungen: Benutzer werden ermutigt, das große Sprachmodell verantwortungsbewusst und ethisch zu nutzen. Durch die Nutzung dieses Modells erklären Sie sich damit einverstanden, es nicht für Zwecke zu verwenden, die Hassreden, Diskriminierung, Belästigung oder jede Form illegaler oder schädlicher Aktivitäten fördern.
Meldeprobleme: Wenn Sie auf voreingenommene, beleidigende oder anderweitig unangemessene Inhalte stoßen, die vom großen Sprachmodell generiert werden, melden Sie diese bitte über die bereitgestellten Kanäle den Repository-Betreuern. Ihr Feedback wird dazu beitragen, das Modell zu verbessern und potenzielle Probleme zu mindern.
Änderungen an diesem Haftungsausschluss: Die Entwickler dieses Repositorys behalten sich das Recht vor, diesen Haftungsausschluss jederzeit und ohne vorherige Ankündigung zu ändern oder zu aktualisieren. Es liegt in der Verantwortung des Benutzers, den Haftungsausschluss regelmäßig zu überprüfen, um über etwaige Änderungen auf dem Laufenden zu bleiben.

Durch die Nutzung des in diesem Repository bereitgestellten großen Sprachmodells erklären Sie sich damit einverstanden, die in diesem Haftungsausschluss dargelegten Bedingungen und Konditionen zu akzeptieren und einzuhalten. Wenn Sie mit irgendeinem Teil dieses Haftungsausschlusses nicht einverstanden sind, sollten Sie von der Nutzung des Modells und der damit generierten Inhalte absehen.