RAG Chatbot with Confluence

LLM

Служба поддержки позволяет вам создать бота для ответов на вопросы с упрощенным пользовательским интерфейсом, используя данные Confluence вашей компании.

Как использовать

• Создайте виртуальную среду:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• Скопируйте env.template и заполните переменные среды.

  • cp .env.template .env

• Проверьте файлы config.py и env.template .

• Для сбора данных из Confluence вам необходимо:

  • Создайте собственное пространство Conluence с информацией о страницах.
  • Создайте и укажите свой ключ API здесь.
  • Вставьте в env -файл:
    • пробел_ключ: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • имя_пространства: <space_name>/spaces/<space_key>/pages/
    • адрес электронной почты, который вы использовали для своего пространства Confluence
    • ключ API OpenAI

• Чтобы запустить приложениеstreamlit, выполните:

 cd src
streamlit run streamlit.py

• Чтобы оценить качество модели RAG:

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• Использование и глубокое погружение с ноутбуком

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

Как это работает?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

Процесс следующий:

• Загрузка данных из Confluence
  • Вы можете сохранить стиль Markdown, используя опцию keep_markdown_format добавленную в наш MR.
  • См. help_desk.ipynb для более глубокого анализа.
  • В противном случае вы не сможете разумно разделить текст с помощью MarkdownHeaderTextSplitter.
• Загрузить данные
• Markdown и RecursiveCharacterTextSplitter
• Используемый LLM: Open AI LLM и встраивание
• QARetrivalChain
• Streamlit как интерфейс данных