RAG Chatbot with Confluence

LLM

Help Desk ช่วยให้คุณสร้างบอทตอบคำถามด้วย UI แบบสตรีมไลท์โดยใช้ข้อมูล Confluence ของบริษัทของคุณ

วิธีใช้

• สร้างสภาพแวดล้อมเสมือน:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• คัดลอก env.template และกรอกตัวแปรสภาพแวดล้อมของคุณ

  • cp .env.template .env

• ตรวจสอบไฟล์ config.py และ env.template

• ในการรวบรวมข้อมูลจาก Confluence คุณจะต้อง:

  • สร้างพื้นที่ Conluence ของคุณเองด้วยข้อมูลเพจ
  • สร้างและป้อนคีย์ API ของคุณที่นี่
  • แทรกในไฟล์ env :
    • space_key: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • space_name: <space_name>/spaces/<space_key>/pages/
    • ที่อยู่อีเมลที่คุณใช้สำหรับพื้นที่ Confluence ของคุณ
    • คีย์ OpenAI API

• หากต้องการเรียกใช้แอป streamlit ให้รัน:

 cd src
streamlit run streamlit.py

• เพื่อประเมินคุณภาพของแบบจำลอง RAG:

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• เพื่อใช้งานและเจาะลึกกับโน้ตบุ๊ก

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

มันทำงานอย่างไร?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

กระบวนการมีดังต่อไปนี้:

• กำลังโหลดข้อมูลจาก Confluence
  • คุณสามารถคงรูปแบบ Markdown ไว้ได้โดยใช้ตัวเลือก keep_markdown_format ที่เพิ่มใน MR ของเรา
  • ดู help_desk.ipynb สำหรับการวิเคราะห์เชิงลึกเพิ่มเติม
  • มิฉะนั้น คุณจะไม่สามารถแยกข้อความอย่างชาญฉลาดโดยใช้ MarkdownHeaderTextSplitter
• โหลดข้อมูล
• Markdown และ RecursiveCharacterTextSplitter
• LLM ที่ใช้: เปิด AI LLM และฝัง
• QARetrievalChain
• Streamlit เป็นอินเทอร์เฟซข้อมูล