ChatRTX es una aplicación de demostración que le permite personalizar un modelo de lenguaje grande (LLM) GPT conectado a su propio contenido: documentos, notas, fotos. Aprovechando la generación de recuperación aumentada (RAG), TensorRT-LLM y la aceleración RTX, puede consultar un chatbot personalizado para obtener rápidamente respuestas contextualmente relevantes. Esta aplicación también te permite realizar consultas a través de tu voz. Como todo se ejecuta localmente en su PC con Windows RTX, obtendrá resultados rápidos y seguros. ChatRTX admite varios formatos de archivo, incluidos texto, pdf, doc/docx, xml, png, jpg, bmp. Simplemente apunte la aplicación a la carpeta que contiene sus archivos y los cargará en la biblioteca en cuestión de segundos.
Los modelos de IA compatibles con esta aplicación:
El proceso incorpora los modelos de IA anteriores, TensorRT-LLM, LlamaIndex y la biblioteca de búsqueda de vectores FAISS. En la aplicación de ejemplo aquí, tenemos un conjunto de datos que consta de artículos recientes procedentes de NVIDIA Gefore News.
Generación de recuperación aumentada (RAG) para modelos de lenguaje grandes (LLM) que busca mejorar la precisión de la predicción conectando el LLM a sus datos durante la inferencia. Este enfoque construye un mensaje integral enriquecido con contexto, datos históricos y conocimientos recientes o relevantes.
ChatRTX_API: las API de ChatRTX permiten a los desarrolladores integrar perfectamente sus aplicaciones con el motor de inferencia impulsado por TensorRT-LLM y utilizar los diversos modelos de IA compatibles con ChatRTX. Esta integración permite a los desarrolladores incorporar inferencia avanzada de IA y funciones RAG en sus aplicaciones. Estas API sirven como base para la aplicación ChatRTX. Más detalles en el directorio ChatRTX_APIs.
ChatRTX_App: ChatRTX_App es una aplicación de demostración construida sobre las API de ChatRTX mediante un contenedor electrónico. La interfaz de usuario está integrada en las bibliotecas de interfaz de usuario de React with Material. Más detalles sobre cómo construir la interfaz de usuario se encuentran en el directorio ChatRTX_App.
Este proyecto descargará e instalará proyectos adicionales de software de código abierto de terceros. Revise los términos de licencia de estos proyectos de código abierto antes de usarlos.
