RAG Chatbot with Confluence

LLMs

O suporte técnico permite que você crie um bot de resposta a perguntas com uma interface de usuário simplificada usando os dados do Confluence da sua empresa.

Como usar

• Crie um ambiente virtual:

  • python3.10 -m venv .venv
  • source .venv/bin/activate
  • pip install -r requirements.txt

• Copie o env.template e preencha suas variáveis ​​de ambiente

  • cp .env.template .env

• Verifique o arquivo config.py e env.template .

• Para coletar dados do Confluence você terá que:

  • Crie seu próprio espaço Conluence com informações da página
  • Crie e alimente sua chave de API aqui
  • Insira no arquivo env :
    • a space_key: https://yoursite.atlassian.com/wiki/spaces/<space_key>/pages/
    • o nome_do_espaço: <space_name>/spaces/<space_key>/pages/
    • o endereço de e-mail que você usou para seu espaço do Confluence
    • a chave da API OpenAI

• Para executar o aplicativo streamlit, execute:

 cd src
streamlit run streamlit.py

• Para avaliar a qualidade do modelo RAG:

 # First replace the evaluation dataset file in the data folder with your topic questions
cd src
python evaluate.py

• Para usar e se aprofundar no notebook

 ipython kernel install --name RAG --user  # Add the notebook kernel
jupyter lab

Como funciona?

 .
├── data/
    ├── evaluation_dataset.tsv  # Questions and answers useful for evaluation

├── docs/                       # Documentation files
├── src/                        # The main directory for computer demo
    ├── __init__.py
    ├── load_db.py              # Load data from confluence and creates smart chunks
    ├── help_desk.py            # Instantiates the LLMs, retriever and chain
    ├── main.py                 # Run the Chatbot for a simple question
    ├── streamlit.py            # Run the Chatbot in streamlit where you can ask your own questions
    ├── evaluate.py             # Evaluate the RAG model based on questions-answers samples

├── notebooks/                  # Interactive code, useful for try and learn
├── config.py
├── .env.template               # Environment variables to feed
├── .gitignore
├── LICENSE                     # MIT License
├── README.md                   # Where to start
└── requirements.txt            # The dependencies

O processo é o seguinte:

• Carregando dados do Confluence
  • Você pode manter o estilo Markdown usando a opção keep_markdown_format adicionada em nosso MR
  • Consulte help_desk.ipynb para uma análise mais aprofundada
  • Caso contrário, você não poderá dividir o texto de maneira inteligente usando o MarkdownHeaderTextSplitter
• Carregar dados
• Markdown e RecursiveCharacterTextSplitter
• LLM usado: Open AI LLM e incorporação
• A cadeia QARetrieval
• Streamlit como interface de dados