RAG_QA_LLM

RAG_Q&A_LLM

이 리포지토리에서는 팀이 RAG Q&A 기술을 사용하여 대화를 통해 쉽게 통찰력과 답변을 얻을 수 있고 두 데이터 소스에서 정보가 공유되는 방식을 완성할 수 있는 지식 공유 허브를 만드는 방법을 탐구합니다. 소규모 조직과 대규모 조직.

간단히 말해서 RAG Q&A (Retrieval-Augmented Generation Question and Answering)는 검색 기반 접근 방식과 생성 기반 접근 방식을 혼합한 프레임워크입니다. 검색기를 사용하여 관련 정보를 찾고 일반적으로 LLM (Large Language Model)을 생성기로 사용하여 상황에 맞게 풍부한 답변을 생성합니다. 정의에 따르면 LLM은 인간과 유사한 언어를 이해하고 생성할 수 있는 AI 모델의 한 유형으로, 자연어의 패턴, 구조 및 맥락을 학습하기 위해 방대한 양의 텍스트 데이터를 학습합니다.

저는 이 소프트웨어를 무료로 실행할 수 있는 Google Colab용 무료 Llama-2–7b-chat-hf 모델(4비트 양자화 전략 포함)을 사용하여 노트북 하나를 만들었고, OpenAI chat-gpt-3.5-를 사용하여 또 다른 노트북을 만들었습니다. OpenAI 구독을 사용하는 터보 LLM 모델. 로컬 버전을 사용하려면 요구 사항을 설치하십시오.

이 사용 사례의 경우 마크다운 문서 파일은 세 가지 다른 데이터 소스에서 검색되었습니다.

• 전체 스택 앱 문서: 개인 프로젝트가 마크다운 파일로 잘 문서화되어 있습니다.
• 짧은 SQL 테이블 설명: 일부 짧은 SQL 테이블을 문서화하는 저장소입니다.
• Demo Confluence Space: 공개 데모 합류 공간입니다. 챗봇은 마크다운 형식으로 데이터를 스크랩합니다.

이러한 문서는 조직이 프로젝트 지식을 문서화하고 보존하는 일반적인 방법이기 때문에 선택되었습니다.

최종 챗봇은 지식을 정확하게 추출하여 간결하고 연관성 있는 답변을 제공하는 동시에 사용한 문서를 연결했습니다.