RAG Chatbot with Confluence

LLMs

Mit dem Helpdesk können Sie mithilfe der Confluence-Daten Ihres Unternehmens einen Frage-Antwort-Bot mit einer optimierten Benutzeroberfläche erstellen.

Wie zu verwenden

• Erstellen Sie eine virtuelle Umgebung:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• Kopieren Sie die Datei „env.template“ und füllen Sie Ihre Umgebungsvariablen aus

  • cp .env.template .env

• Überprüfen Sie die Dateien config.py und env.template .

• Um Daten von Confluence zu sammeln, müssen Sie:

  • Erstellen Sie Ihren eigenen Conluence-Bereich mit Seiteninformationen
  • Erstellen und geben Sie hier Ihren API-Schlüssel ein
  • In die env Datei einfügen:
    • der space_key: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • der Space-Name: <space_name>/spaces/<space_key>/pages/
    • die E-Mail-Adresse, die Sie für Ihren Confluence-Bereich verwendet haben
    • der OpenAI-API-Schlüssel

• Um die Streamlit-App auszuführen, führen Sie Folgendes aus:

 cd src
streamlit run streamlit.py

• So bewerten Sie die Qualität des RAG-Modells:

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• Zur Verwendung und zum tiefen Eintauchen in das Notebook

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

Wie funktioniert es?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

Der Prozess ist der folgende:

• Laden von Daten aus Confluence
  • Sie können den Markdown-Stil beibehalten, indem Sie die in unserem MR hinzugefügte Option keep_markdown_format verwenden
  • Eine ausführlichere Analyse finden Sie in help_desk.ipynb
  • Andernfalls können Sie Text mit dem MarkdownHeaderTextSplitter nicht intelligent aufteilen
• Daten laden
• Markdown und RecursiveCharacterTextSplitter
• Verwendetes LLM: Open AI LLM und Einbettung
• Die QARetrievalChain
• Streamlit als Datenschnittstelle