Descarga botsim - descarga del código fuente botsim

botsim

Código Fuente de IA

first official release

Descargar

documentos

Descripción del sistema, Informe técnico, Demostración, Documentación, Blog

BotSIM: un conjunto de herramientas de simulación de bots de un extremo a otro para sistemas de diálogo comerciales orientados a tareas

Tabla de contenido

Introducción
Instalación
Empezando
Tutoriales
Documentación
Informe técnico y documento de demostración del sistema

Introducción

BotSIM es un conjunto de herramientas de simulación de bots de código abierto para la evaluación, el diagnóstico y la corrección de un extremo a otro con datos eficientes a gran escala de sistemas de diálogo comerciales orientados a tareas (chatbots) en múltiples plataformas de bots. Este conjunto de herramientas tiene como objetivo proporcionar a los desarrolladores y profesionales de bots una solución integral para acelerar el desarrollo y la evaluación de bots, reducir los costos y el tiempo de comercialización. Como marco modular, los desarrolladores de bots pueden ampliar BotSIM para admitir nuevas plataformas de bots. Como conjunto de herramientas, BotSIM ofrece una aplicación fácil de usar y un conjunto de herramientas de línea de comandos para que los profesionales de bots apliquen fácilmente el proceso de "generación-simulación-remediación" de BotSIM.

Las características clave de BotSIM incluyen:

Evaluación de bots en varias etapas : BotSIM se puede utilizar tanto para pruebas previas a la implementación como para monitoreo del rendimiento potencialmente posterior a la implementación.
Generación de diálogos eficiente en datos : Equipado con un modelo de paráfrasis basado en una red profunda, BotSIM puede generar un amplio conjunto de consultas de intención de prueba a partir de un número limitado de expresiones de intención de entrada, que se pueden utilizar para evaluar el modelo de intención del bot a escala.
Evaluación del bot de un extremo a otro mediante simulación de diálogo : a través de la simulación automática del chatbot, BotSIM puede identificar los problemas existentes del bot y evaluar tanto el desempeño de la comprensión del lenguaje natural (NLU) como el desempeño del diálogo de un extremo a otro, como las tasas de cumplimiento de objetivos.
Panel de informes de estado del bot : el panel de informes de estado del bot presenta una vista de arriba hacia abajo con granularidad múltiple del rendimiento del bot. Junto con las herramientas analíticas, ayudan a los profesionales de bots a diagnosticar y solucionar problemas rápidamente.
Fácil extensión a una nueva plataforma de bots : BotSIM se puede ampliar fácilmente para admitir nuevas plataformas de bots. BotSIM actualmente es compatible con Salesforce Einstein BotBuilder y Google DialogFlow CX

Requisito previo

Para utilizar BotSIM, los usuarios deben tener acceso API a las siguientes plataformas de bot compatibles:

Salesforce EinsteinBotBuilder LiveAgent API: org ID , button ID , deployment Id , chat endpoint
API de Google DialogFlow CX: location ID , project ID , agent ID y token de API JSON

Instalación

(Opcional) Creando un entorno conda

   conda create -n botsim python=3.9
   conda activate botsim

Clonación y construcción de dependencias.

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

Empezando

Aplicación web Streamlit

La forma más sencilla de empezar a utilizar BotSIM es la aplicación web Streamlit. La aplicación de varias páginas está desarrollada para guiar a los usuarios a aprovechar el proceso de "generación-simulación-remediación" de BotSIM para la evaluación, el diagnóstico y la reparación de sus bots.

Los siguientes comandos se pueden utilizar para iniciar la aplicación web Streamlit localmente:

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

La aplicación también se puede implementar en GCP para acceder a los recursos de la GPU. Las instrucciones de implementación detalladas se proporcionan en la sección Implementación de GCP de la documentación.

Herramientas de línea de comando

Alternativamente, los usuarios también pueden profundizar para aprender más sobre los componentes del sistema de BotSIM a través de las herramientas de línea de comandos. Los detalles se proporcionan en la sección del tutorial de la documentación del código.

Tutorial

Proporcionamos los siguientes tutoriales en la documentación del código.

Aplicación web Streamlit
Herramientas de línea de comando
Navegación del panel de estado del bot
Aplicar sugerencias de remediación

Documentación

Para obtener más detalles sobre los componentes del sistema y los usos avanzados, consulte la documentación del código. Agradecemos la contribución de la comunidad de código abierto para mejorar BotSIM. Para admitir nuevas plataformas de bots, siga también las pautas detalladas en la documentación del código.

Demostración del sistema e informe técnico

Puede acceder a una demostración del panel de la aplicación Streamlit aquí. Puedes encontrar más detalles sobre los diseños de BotSIM en nuestro informe técnico:

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

Las descripciones detalladas del sistema se presentan en el siguiente documento de demostración del sistema EMNLP 2022:

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

Si está utilizando BotSIM en su investigación o aplicaciones, cite los artículos.