ChatRTX — это демонстрационное приложение, которое позволяет персонализировать модель большого языка GPT (LLM), связанную с вашим собственным контентом — документами, заметками, фотографиями. Используя генерацию с расширенным поиском (RAG), TensorRT-LLM и ускорение RTX, вы можете отправлять запросы к пользовательскому чат-боту, чтобы быстро получать контекстуально релевантные ответы. Это приложение также позволяет вам задавать вопросы с помощью голоса. Поскольку все это выполняется локально на вашем ПК с Windows RTX, вы получите быстрые и безопасные результаты. ChatRTX поддерживает различные форматы файлов, включая текст, PDF, doc/docx, xml, png, jpg, bmp. Просто укажите приложению папку, содержащую ваши файлы, и оно загрузит их в библиотеку за считанные секунды.
Модели искусственного интеллекта, которые поддерживаются в этом приложении:
Конвейер включает в себя вышеупомянутые модели искусственного интеллекта, TensorRT-LLM, LlamaIndex и библиотеку векторного поиска FAISS. В приведенном здесь примере приложения у нас есть набор данных, состоящий из недавних статей, полученных из NVIDIA Gefore News.
Генерация с расширенным поиском (RAG) для больших языковых моделей (LLM), целью которой является повышение точности прогнозирования путем подключения LLM к вашим данным во время вывода. Этот подход создает всеобъемлющую подсказку, обогащенную контекстом, историческими данными и недавними или соответствующими знаниями.
ChatRTX_API: API-интерфейсы ChatRTX позволяют разработчикам легко интегрировать свои приложения с механизмом вывода на базе TensorRT-LLM и использовать различные модели искусственного интеллекта, поддерживаемые ChatRTX. Эта интеграция позволяет разработчикам включать в свои приложения расширенные функции вывода искусственного интеллекта и RAG. Эти API служат основой для приложения ChatRTX. Более подробная информация в каталоге ChatRTX_APIs.
ChatRTX_App: ChatRTX_App — это демонстрационное приложение, созданное на основе API-интерфейсов ChatRTX с использованием электронного контейнера. Пользовательский интерфейс построен на React с использованием библиотек Material UI. Более подробную информацию о том, как создать пользовательский интерфейс, можно найти в каталоге ChatRTX_App.
В рамках этого проекта будут загружены и установлены дополнительные сторонние проекты программного обеспечения с открытым исходным кодом. Перед использованием ознакомьтесь с условиями лицензии этих проектов с открытым исходным кодом.
