ChatRTX adalah aplikasi demo yang memungkinkan Anda mempersonalisasi model bahasa besar (LLM) GPT yang terhubung ke konten Anda sendiri—dokumen, catatan, foto. Memanfaatkan generasi augmented pengambilan (RAG), TensorRT-LLM, dan akselerasi RTX, Anda dapat membuat kueri chatbot khusus untuk mendapatkan jawaban yang relevan secara kontekstual dengan cepat. Aplikasi ini juga memungkinkan Anda memberikan pertanyaan melalui suara Anda. Karena semuanya berjalan secara lokal di PC Windows RTX Anda, Anda akan mendapatkan hasil yang cepat dan aman. ChatRTX mendukung berbagai format file, termasuk teks, pdf, doc/docx, xml, png, jpg, bmp. Cukup arahkan aplikasi ke folder yang berisi berkas Anda dan berkas tersebut akan dimuat ke perpustakaan dalam hitungan detik.
Model AI yang didukung dalam aplikasi ini:
Pipeline ini menggabungkan model AI di atas, TensorRT-LLM, LlamaIndex, dan perpustakaan pencarian vektor FAISS. Dalam contoh aplikasi di sini, kami memiliki kumpulan data yang terdiri dari artikel terbaru yang bersumber dari NVIDIA Gefore News.
Generasi augmented pengambilan (RAG) untuk model bahasa besar (LLM) yang berupaya meningkatkan akurasi prediksi dengan menghubungkan LLM ke data Anda selama inferensi. Pendekatan ini membangun sebuah prompt komprehensif yang diperkaya dengan konteks, data historis, dan pengetahuan terkini atau relevan.
ChatRTX_APIs: API ChatRTX memungkinkan pengembang mengintegrasikan aplikasi mereka secara lancar dengan mesin inferensi yang didukung TensorRT-LLM dan memanfaatkan berbagai model AI yang didukung oleh ChatRTX. Integrasi ini memungkinkan pengembang untuk menggabungkan fitur inferensi AI dan RAG tingkat lanjut ke dalam aplikasi mereka. API ini berfungsi sebagai landasan untuk aplikasi ChatRTX. Detail lebih lanjut di direktori ChatRTX_APIs.
ChatRTX_App: ChatRTX_App adalah aplikasi demo yang dibangun di atas API ChatRTX menggunakan wadah elektron. UI dibuat di React dengan pustaka Material UI. Detail lebih lanjut tentang cara membangun UI ada di direktori ChatRTX_App.
Proyek ini akan mengunduh dan menginstal proyek perangkat lunak sumber terbuka pihak ketiga tambahan. Tinjau persyaratan lisensi proyek sumber terbuka ini sebelum digunakan.
