ChatRTX เป็นแอปสาธิตที่ให้คุณปรับแต่ง GPT large language model (LLM) ที่เชื่อมต่อกับเนื้อหาของคุณ เช่น เอกสาร บันทึกย่อ รูปภาพ ด้วยการใช้ประโยชน์จากการสร้างการเรียกข้อมูลเสริม (RAG), TensorRT-LLM และการเร่งความเร็ว RTX คุณสามารถค้นหาแชทบอทที่กำหนดเองเพื่อรับคำตอบที่เกี่ยวข้องตามบริบทได้อย่างรวดเร็ว แอพนี้ยังให้คุณสอบถามผ่านเสียงของคุณ เนื่องจากทุกอย่างทำงานบนพีซี Windows RTX ของคุณ คุณจะได้รับผลลัพธ์ที่รวดเร็วและปลอดภัย ChatRTX รองรับไฟล์ได้หลากหลายรูปแบบ รวมถึงข้อความ, pdf, doc/docx, xml, PNG, jpg, bmp เพียงชี้แอปพลิเคชั่นไปที่โฟลเดอร์ที่มีไฟล์ของคุณ และมันจะโหลดมันลงในไลบรารี่ภายในเวลาไม่กี่วินาที
โมเดล AI ที่รองรับในแอปนี้:
ไปป์ไลน์ประกอบด้วยโมเดล AI ข้างต้น TensorRT-LLM, LlamaIndex และไลบรารีการค้นหาเวกเตอร์ FAISS ในแอปพลิเคชันตัวอย่างที่นี่ เรามีชุดข้อมูลที่ประกอบด้วยบทความล่าสุดที่มาจาก NVIDIA Gefore News
Retrieval-augmented Generation (RAG) สำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่พยายามปรับปรุงความแม่นยำในการทำนายโดยการเชื่อมต่อ LLM กับข้อมูลของคุณในระหว่างการอนุมาน แนวทางนี้สร้างการแจ้งเตือนที่ครอบคลุมซึ่งเต็มไปด้วยบริบท ข้อมูลทางประวัติศาสตร์ และความรู้ล่าสุดหรือที่เกี่ยวข้อง
ChatRTX_API: ChatRTX API ช่วยให้นักพัฒนาสามารถรวมแอปพลิเคชันของตนเข้ากับกลไกการอนุมานที่ขับเคลื่อนโดย TensorRT-LLM ได้อย่างราบรื่น และใช้โมเดล AI ต่างๆ ที่ ChatRTX รองรับ การบูรณาการนี้ช่วยให้นักพัฒนาสามารถรวมการอนุมาน AI ขั้นสูงและฟีเจอร์ RAG เข้ากับแอปพลิเคชันของตนได้ API เหล่านี้ทำหน้าที่เป็นรากฐานสำหรับแอปพลิเคชัน ChatRTX รายละเอียดเพิ่มเติมในไดเรกทอรี ChatRTX_APIs
ChatRTX_App: ChatRTX_App เป็นแอปพลิเคชันสาธิตที่สร้างขึ้นบน ChatRTX API โดยใช้คอนเทนเนอร์อิเล็กตรอน UI ถูกสร้างขึ้นในไลบรารี React ด้วย Material UI รายละเอียดเพิ่มเติมเกี่ยวกับวิธีการสร้าง UI อยู่ในไดเรกทอรี ChatRTX_App
โปรเจ็กต์นี้จะดาวน์โหลดและติดตั้งโปรเจ็กต์ซอฟต์แวร์โอเพ่นซอร์สของบริษัทอื่นเพิ่มเติม ตรวจสอบข้อกำหนดสิทธิ์การใช้งานของโครงการโอเพ่นซอร์สเหล่านี้ก่อนใช้งาน
