botsim

Descrição do sistema, relatório técnico, demonstração, documentação, blog

BotSIM: um kit de ferramentas de simulação de bot de ponta a ponta para sistemas de diálogo comerciais orientados a tarefas

Índice

1. Introdução
2. Instalação
3. Começando
4. Tutoriais
5. Documentação
6. Documento de demonstração do sistema e relatório técnico

Introdução

BotSIM é um kit de ferramentas de SIMulação de bot de código aberto para avaliação, diagnóstico e remediação ponta a ponta com eficiência de dados em grande escala de sistemas comerciais de diálogo orientados a tarefas (chatbots) em várias plataformas de bot. Este kit de ferramentas tem como objetivo fornecer aos desenvolvedores e profissionais de bots uma solução completa para acelerar o desenvolvimento e avaliação de bots, reduzir custos e tempo de lançamento no mercado. Como uma estrutura modular, o BotSIM pode ser estendido por desenvolvedores de bots para oferecer suporte a novas plataformas de bots. Como um kit de ferramentas, o BotSIM oferece um aplicativo fácil de usar e um conjunto de ferramentas de linha de comando para que os profissionais de bot apliquem prontamente o pipeline de "simulação de geração-remediação" do BotSIM.

Os principais recursos do BotSIM incluem:

• Avaliação de bot em vários estágios : o BotSIM pode ser usado tanto para testes pré-implantação quanto para monitoramento de desempenho potencialmente pós-implantação.
• Geração de diálogo com eficiência de dados : Equipado com um modelo de paráfrase baseado em rede profunda, o BotSIM pode gerar um extenso conjunto de consultas de intenção de teste a partir de um número limitado de declarações de intenção de entrada, que podem ser usadas para avaliar o modelo de intenção do bot em escala.
• Avaliação de bot de ponta a ponta por meio de simulação de diálogo : por meio da simulação automática de chatbot, o BotSIM pode identificar problemas existentes do bot e avaliar o desempenho de compreensão de linguagem natural (NLU) e o desempenho de diálogo de ponta a ponta, como taxas de conclusão de metas.
• Painel do relatório de integridade do bot : o painel do relatório de integridade do bot apresenta uma visão de cima para baixo com multigranularidade do desempenho do bot. Juntamente com as ferramentas analíticas, eles ajudam os profissionais de bot a diagnosticar e solucionar problemas rapidamente em seus bots.
• Fácil extensão para nova plataforma de bot : O BotSIM pode ser facilmente estendido para suportar novas plataformas de bot. Atualmente, o BotSIM oferece suporte ao Salesforce Einstein BotBuilder e ao Google DialogFlow CX

Pré-requisito

Para usar o BotSIM, os usuários precisam ter acesso API às seguintes plataformas de bot suportadas:

• API Salesforce EinsteinBotBuilder LiveAgent: org ID , button ID , deployment Id , chat endpoint
• API Google DialogFlow CX: location ID , project ID , agent ID e token da API JSON

Instalação

1. (Opcional) Criando ambiente conda

   conda create -n botsim python=3.9
   conda activate botsim

2. Clonando e construindo dependências

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

Começando

Aplicativo da Web Streamlit

A maneira mais direta de começar a usar o BotSIM é o Streamlit Web App. O aplicativo de várias páginas foi desenvolvido para orientar os usuários a aproveitar o pipeline de "simulação de geração-remediação" do BotSIM para avaliação, diagnóstico e correção de seus bots.

Os seguintes comandos podem ser usados ​​para iniciar o Streamlit Web App localmente:

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

O aplicativo também pode ser implantado no GCP para acesso aos recursos da GPU. Instruções detalhadas de implantação são fornecidas na seção Implantação do GCP da documentação.

Ferramentas de linha de comando

Alternativamente, os usuários também podem se aprofundar para aprender mais sobre os componentes do sistema do BotSIM por meio das ferramentas de linha de comando. Os detalhes são fornecidos na seção do tutorial da documentação do código.

Tutorial

Fornecemos os seguintes tutoriais na documentação do código.

• Aplicativo da Web Streamlit
• Ferramentas de linha de comando
• Navegação no painel de integridade do bot
• Aplicando Sugestões de Remediação

Documentação

Para obter mais detalhes sobre os componentes do sistema e usos avançados, consulte a documentação do código. Agradecemos a contribuição da comunidade de código aberto para melhorar o BotSIM. Para oferecer suporte a novas plataformas de bot, siga também as diretrizes detalhadas na documentação do código.

Demonstração do sistema e relatório técnico

Uma demonstração do painel do aplicativo Streamlit pode ser acessada aqui. Você pode encontrar mais detalhes sobre os designs do BotSIM em nosso relatório técnico:

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

As descrições detalhadas do sistema são apresentadas no seguinte documento de demonstração do sistema EMNLP 2022:

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

Se você estiver usando o BotSIM em suas pesquisas ou aplicações, cite os artigos.

Contate-nos

Sinta-se à vontade para entrar em contato com [email protected] para quaisquer comentários, questões ou sugestões.

Licença

Licença BSD de 3 cláusulas