RAG Chatbot with Confluence

LLM

Le service d'assistance vous permet de créer un bot de réponse aux questions avec une interface utilisateur simplifiée en utilisant les données Confluence de votre entreprise.

Comment utiliser

• Créez un environnement virtuel :

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• Copiez le env.template et remplissez vos variables d'environnement

  • cp .env.template .env

• Vérifiez les fichiers config.py et env.template .

• Pour collecter les données de Confluence vous devrez :

  • Créez votre propre espace Conluence avec les informations des pages
  • Créez et alimentez votre clé API ici
  • Insérez dans le fichier env :
    • la space_key : https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • le nom_espace : <space_name>/spaces/<space_key>/pages/
    • l'adresse email que vous avez utilisée pour votre espace Confluence
    • la clé API OpenAI

• Pour exécuter l'application simplifiée, exécutez :

 cd src
streamlit run streamlit.py

• Pour évaluer la qualité du modèle RAG :

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• Pour utiliser et approfondir le notebook

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

Comment ça marche ?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

Le processus est le suivant :

• Chargement de données depuis Confluence
  • Vous pouvez conserver le style Markdown en utilisant l'option keep_markdown_format ajoutée dans notre MR
  • Voir help_desk.ipynb pour une analyse plus approfondie
  • Sinon, vous ne pouvez pas diviser le texte de manière intelligente à l'aide de MarkdownHeaderTextSplitter.
• Charger des données
• Markdown et RecursiveCharacterTextSplitter
• LLM utilisé : Open AI LLM et intégration
• La chaîne QARetrieval
• Rationalisé comme interface de données