RAG Chatbot with Confluence

法學碩士

幫助台可讓您使用公司 Confluence 資料建立具有精簡 UI 的問答機器人。

如何使用

• 建立虛擬環境：

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• 複製 env.template 並填入您的環境變量

  • cp .env.template .env

• 檢查config.py和env.template檔。

• 要從 Confluence 收集數據，您必須：

  • 使用頁面資訊建立您自己的 Conluence 空間
  • 在此處建立並提供您的 API 金鑰
  • 在env檔中插入：
    • space_key： https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/ /
    • 空間名稱： <space_name>/spaces/<space_key>/pages/
    • 您用於 Confluence 空間的電子郵件地址
    • OpenAI API 金鑰

• 要運行 Streamlit 應用程序，請運行：

 cd src
streamlit run streamlit.py

• 評估 RAG 模型的品質：

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• 使用並深入了解筆記型電腦

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

它是如何運作的？

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

流程如下：

• 從 Confluence 載入數據
  • 您可以使用我們的 MR 中新增的keep_markdown_format選項來保留 Markdown 樣式
  • 請參閱help_desk.ipynb進行更深入的分析
  • 否則，您無法使用 MarkdownHeaderTextSplitter 以智慧方式分割文字
• 載入數據
• Markdown 和 RecursiveCharacterTextSplitter
• 使用的 LLM：開放 AI LLM 和嵌入
• QA檢索鏈
• Streamlit 作為資料接口