RAG Chatbot with Confluence

LLM

헬프 데스크를 사용하면 회사 Confluence 데이터를 사용하여 간소화된 UI를 갖춘 질문 응답 봇을 만들 수 있습니다.

사용방법

• 가상 환경을 생성합니다:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• env.template을 복사하고 환경 변수를 채웁니다.

  • cp .env.template .env

• config.py 및 env.template 파일을 확인하세요.

• Confluence에서 데이터를 수집하려면 다음을 수행해야 합니다.

  • 페이지 정보로 나만의 컨플루언스 공간을 만들어보세요
  • 여기에서 API 키를 생성하고 피드하세요.
  • env 파일에 삽입합니다.
    • space_key: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • space_name: <space_name>/spaces/<space_key>/pages/
    • Confluence 공간에 사용한 이메일 주소
    • OpenAI API 키

• 스트림라이트 앱을 실행하려면 다음을 실행하세요.

 cd src
streamlit run streamlit.py

• RAG 모델의 품질을 평가하려면 다음을 수행하십시오.

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• 노트북을 사용하고 심층 분석하려면

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

어떻게 작동하나요?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

프로세스는 다음과 같습니다.

• Confluence에서 데이터 로드
  • MR에 추가된 keep_markdown_format 옵션을 사용하여 마크다운 스타일을 유지할 수 있습니다.
  • 보다 심층적인 분석을 보려면 help_desk.ipynb 를 참조하세요.
  • 그렇지 않으면 MarkdownHeaderTextSplitter를 사용하여 스마트한 방식으로 텍스트를 분할할 수 없습니다.
• 데이터 로드
• 마크다운 및 RecursiveCharacterTextSplitter
• 사용된 LLM: Open AI LLM 및 임베딩
• QARetrievalChain
• 데이터 인터페이스로 간소화됨