ChatRTX é um aplicativo de demonstração que permite personalizar um modelo de linguagem grande (LLM) GPT conectado ao seu próprio conteúdo – documentos, notas, fotos. Aproveitando a geração aumentada de recuperação (RAG), TensorRT-LLM e aceleração RTX, você pode consultar um chatbot personalizado para obter rapidamente respostas contextualmente relevantes. Este aplicativo também permite que você faça consultas por meio de sua voz. Como tudo é executado localmente no seu PC Windows RTX, você obterá resultados rápidos e seguros. ChatRTX suporta vários formatos de arquivo, incluindo texto, pdf, doc/docx, xml, png, jpg, bmp. Basta apontar o aplicativo para a pasta que contém seus arquivos e ele os carregará na biblioteca em questão de segundos.
Os modelos de IA suportados neste aplicativo:
O pipeline incorpora os modelos de IA acima, TensorRT-LLM, LlamaIndex e a biblioteca de pesquisa vetorial FAISS. No aplicativo de exemplo aqui, temos um conjunto de dados que consiste em artigos recentes provenientes do NVIDIA Gefore News.
Geração aumentada de recuperação (RAG) para modelos de linguagem grandes (LLMs) que busca melhorar a precisão da previsão conectando o LLM aos seus dados durante a inferência. Esta abordagem constrói um prompt abrangente enriquecido com contexto, dados históricos e conhecimento recente ou relevante.
ChatRTX_APIs: As APIs ChatRTX permitem que os desenvolvedores integrem perfeitamente seus aplicativos com o mecanismo de inferência alimentado pelo TensorRT-LLM e utilizem os vários modelos de IA suportados pelo ChatRTX. Essa integração permite que os desenvolvedores incorporem inferência avançada de IA e recursos RAG em seus aplicativos. Essas APIs servem como base para o aplicativo ChatRTX. Mais detalhes no diretório ChatRTX_APIs.
ChatRTX_App: ChatRTX_App é um aplicativo de demonstração desenvolvido com base em APIs ChatRTX usando contêiner eletrônico. A UI é construída em React com bibliotecas de Material UI. Mais detalhes sobre como construir a UI estão no diretório ChatRTX_App.
Este projeto baixará e instalará projetos adicionais de software de código aberto de terceiros. Revise os termos de licença desses projetos de código aberto antes de usá-los.
