ChatRTX ist eine Demo-App, mit der Sie ein GPT-LLM (Large Language Model) personalisieren können, das mit Ihren eigenen Inhalten – Dokumenten, Notizen, Fotos – verknüpft ist. Mithilfe von Retrieval-Augmented Generation (RAG), TensorRT-LLM und RTX-Beschleunigung können Sie einen benutzerdefinierten Chatbot abfragen, um schnell kontextrelevante Antworten zu erhalten. Mit dieser App können Sie auch Fragen per Stimme stellen. Da alles lokal auf Ihrem Windows RTX-PC läuft, erhalten Sie schnelle und sichere Ergebnisse. ChatRTX unterstützt verschiedene Dateiformate, darunter Text, PDF, doc/docx, xml, png, jpg, bmp. Richten Sie die Anwendung einfach auf den Ordner mit Ihren Dateien und sie lädt sie in Sekundenschnelle in die Bibliothek.
Die in dieser App unterstützten KI-Modelle:
Die Pipeline umfasst die oben genannten KI-Modelle, TensorRT-LLM, LlamaIndex und die FAISS-Vektorsuchbibliothek. In der Beispielanwendung hier haben wir einen Datensatz, der aus aktuellen Artikeln besteht, die von NVIDIA Gefore News stammen.
Retrieval-Augmented Generation (RAG) für große Sprachmodelle (LLMs), die darauf abzielt, die Vorhersagegenauigkeit zu verbessern, indem das LLM während der Inferenz mit Ihren Daten verbunden wird. Dieser Ansatz erstellt eine umfassende Eingabeaufforderung, die mit Kontext, historischen Daten und aktuellem oder relevantem Wissen angereichert ist.
ChatRTX_APIs: ChatRTX-APIs ermöglichen Entwicklern die nahtlose Integration ihrer Anwendungen in die TensorRT-LLM-basierte Inferenz-Engine und die Nutzung der verschiedenen von ChatRTX unterstützten KI-Modelle. Diese Integration ermöglicht es Entwicklern, erweiterte KI-Inferenz- und RAG-Funktionen in ihre Anwendungen zu integrieren. Diese APIs dienen als Grundlage für die ChatRTX-Anwendung. Weitere Details im ChatRTX_APIs-Verzeichnis.
ChatRTX_App: ChatRTX_App ist eine Demoanwendung, die auf ChatRTX-APIs mithilfe eines Elektronencontainers aufbaut. Die Benutzeroberfläche ist in React with Material UI-Bibliotheken integriert. Weitere Details zum Erstellen der Benutzeroberfläche finden Sie im ChatRTX_App-Verzeichnis.
Dieses Projekt lädt zusätzliche Open-Source-Softwareprojekte von Drittanbietern herunter und installiert sie. Lesen Sie vor der Nutzung die Lizenzbedingungen dieser Open-Source-Projekte.
