ChatRTX est une application de démonstration qui vous permet de personnaliser un grand modèle de langage (LLM) GPT connecté à votre propre contenu : documents, notes, photos. En tirant parti de la génération augmentée par récupération (RAG), de TensorRT-LLM et de l'accélération RTX, vous pouvez interroger un chatbot personnalisé pour obtenir rapidement des réponses contextuellement pertinentes. Cette application vous permet également de lancer une requête via votre voix. Comme tout s'exécute localement sur votre PC Windows RTX, vous obtiendrez des résultats rapides et sécurisés. ChatRTX prend en charge divers formats de fichiers, notamment texte, pdf, doc/docx, xml, png, jpg, bmp. Pointez simplement l'application vers le dossier contenant vos fichiers et elle les chargera dans la bibliothèque en quelques secondes.
Les modèles d'IA pris en charge dans cette application :
Le pipeline intègre les modèles d'IA ci-dessus, TensorRT-LLM, LlamaIndex et la bibliothèque de recherche vectorielle FAISS. Dans l'exemple d'application ici, nous avons un ensemble de données composé d'articles récents provenant de NVIDIA Gefore News.
Génération augmentée par récupération (RAG) pour les grands modèles de langage (LLM) qui cherche à améliorer la précision des prédictions en connectant le LLM à vos données pendant l'inférence. Cette approche construit une invite complète enrichie de contexte, de données historiques et de connaissances récentes ou pertinentes.
ChatRTX_API : les API ChatRTX permettent aux développeurs d'intégrer de manière transparente leurs applications avec le moteur d'inférence alimenté par TensorRT-LLM et d'utiliser les différents modèles d'IA pris en charge par ChatRTX. Cette intégration permet aux développeurs d'incorporer des fonctionnalités avancées d'inférence d'IA et de RAG dans leurs applications. Ces API servent de base à l'application ChatRTX. Plus de détails dans le répertoire ChatRTX_APIs.
ChatRTX_App : ChatRTX_App est une application de démonstration construite sur les API ChatRTX à l'aide d'un conteneur d'électrons. L'interface utilisateur est intégrée aux bibliothèques React with Material UI. Plus de détails sur la façon de créer l'interface utilisateur se trouvent dans le répertoire ChatRTX_App.
Ce projet téléchargera et installera des projets de logiciels open source tiers supplémentaires. Consultez les termes de licence de ces projets open source avant utilisation.
