ChatRTX는 문서, 메모, 사진 등 자신의 콘텐츠에 연결된 GPT LLM(대형 언어 모델)을 개인화할 수 있는 데모 앱입니다. RAG(검색 증강 생성), TensorRT-LLM 및 RTX 가속을 활용하면 맞춤형 챗봇에 쿼리하여 상황에 맞는 답변을 빠르게 얻을 수 있습니다. 이 앱을 사용하면 음성으로 질문을 할 수도 있습니다. 모두 Windows RTX PC에서 로컬로 실행되므로 빠르고 안전한 결과를 얻을 수 있습니다. ChatRTX는 텍스트, PDF, doc/docx, xml, png, jpg, bmp를 포함한 다양한 파일 형식을 지원합니다. 파일이 포함된 폴더를 애플리케이션에 지정하기만 하면 몇 초 만에 해당 파일이 라이브러리에 로드됩니다.
이 앱에서 지원되는 AI 모델은 다음과 같습니다.
파이프라인에는 위의 AI 모델, TensorRT-LLM, LlamaIndex 및 FAISS 벡터 검색 라이브러리가 통합되어 있습니다. 여기 샘플 애플리케이션에는 NVIDIA Gefore News에서 가져온 최근 기사로 구성된 데이터 세트가 있습니다.
추론 중에 LLM을 데이터에 연결하여 예측 정확도를 향상시키려는 LLM(대형 언어 모델)을 위한 RAG(검색 증강 생성)입니다. 이 접근 방식은 상황, 과거 데이터, 최근 또는 관련 지식이 풍부한 포괄적인 프롬프트를 구성합니다.
ChatRTX_API: ChatRTX API를 통해 개발자는 애플리케이션을 TensorRT-LLM 기반 추론 엔진과 원활하게 통합하고 ChatRTX에서 지원하는 다양한 AI 모델을 활용할 수 있습니다. 이러한 통합을 통해 개발자는 고급 AI 추론 및 RAG 기능을 애플리케이션에 통합할 수 있습니다. 이러한 API는 ChatRTX 애플리케이션의 기반 역할을 합니다. ChatRTX_APIs 디렉터리에서 자세한 내용을 확인하세요.
ChatRTX_App: ChatRTX_App은 전자 컨테이너를 사용하여 ChatRTX API 위에 구축된 데모 애플리케이션입니다. UI는 Material UI 라이브러리를 사용하여 React에서 빌드됩니다. UI를 구축하는 방법에 대한 자세한 내용은 ChatRTX_App 디렉터리에 있습니다.
이 프로젝트는 추가 타사 오픈 소스 소프트웨어 프로젝트를 다운로드하고 설치합니다. 사용하기 전에 이러한 오픈 소스 프로젝트의 라이선스 조건을 검토하세요.
