RAG Chatbot with Confluence

LLM

La mesa de ayuda le permite crear un bot de respuesta a preguntas con una interfaz de usuario optimizada utilizando los datos de Confluence de su empresa.

como usar

• Crea un entorno virtual:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• Copie el env.template y complete las variables de entorno

  • cp .env.template .env

• Verifique el archivo config.py y env.template .

• Para recopilar datos de Confluence tendrás que:

  • Crea tu propio espacio de Conluence con información de la página
  • Cree y proporcione su clave API aquí
  • Insertar en el archivo env :
    • la clave_espacio: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • el nombre_espacio: <space_name>/spaces/<space_key>/pages/
    • la dirección de correo electrónico que utilizaste para tu espacio de Confluence
    • la clave API de OpenAI

• Para ejecutar la aplicación Streamlit, ejecute:

 cd src
streamlit run streamlit.py

• Para evaluar la calidad del modelo RAG:

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• Para usar y profundizar con el cuaderno

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

¿Cómo funciona?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

El proceso es el siguiente:

• Cargando datos de Confluence
  • Puede mantener el estilo Markdown utilizando la opción keep_markdown_format agregada en nuestro MR.
  • Consulte help_desk.ipynb para obtener un análisis más profundo.
  • De lo contrario, no podrá dividir el texto de manera inteligente utilizando MarkdownHeaderTextSplitter.
• Cargar datos
• Markdown y RecursiveCharacterTextSplitter
• LLM utilizado: Open AI LLM e incrustación
• La cadena de recuperación QAR
• Streamlit como interfaz de datos