botsim下载 - botsim源码下载

botsim

Ai源码

first official release

下载

系统描述、技术报告、演示、文档、博客

BotSIM：面向商业任务的对话系统的端到端机器人模拟工具包

介绍

BotSIM 是一款开源机器人模拟工具包，用于跨多个机器人平台对商业任务导向型对话系统（聊天机器人）进行大规模数据高效的端到端评估、诊断和修复。该工具包旨在为机器人开发者和从业者提供一站式解决方案，以加速机器人开发和评估，降低成本并缩短上市时间。作为一个模块化框架，BotSIM 可以由机器人开发人员扩展以支持新的机器人平台。作为一个工具包，BotSIM 提供了一个易于使用的应用程序和一套命令行工具，供机器人从业者轻松应用 BotSIM 的“生成-模拟-修复”管道。

BotSIM 的主要功能包括：

多阶段机器人评估：BotSIM 可用于部署前测试和潜在的部署后性能监控。
数据高效的对话生成：BotSIM 配备基于深度网络的释义模型，可以从有限数量的输入意图话语中生成大量测试意图查询，可用于大规模评估机器人意图模型。
通过对话模拟进行端到端机器人评估：通过自动聊天机器人模拟，BotSIM可以识别机器人现有的问题，并评估自然语言理解（NLU）性能和端到端对话性能（例如目标完成率）。
机器人运行状况报告仪表板：机器人运行状况报告仪表板呈现机器人性能的多粒度自上而下视图。它们与分析工具一起帮助机器人从业者快速诊断机器人并排除故障。
轻松扩展至新的机器人平台：BotSIM 可以轻松扩展以支持新的机器人平台。 BotSIM 目前支持 Salesforce Einstein BotBuilder 和 Google DialogFlow CX

先决条件

要使用 BotSIM，用户需要具有对以下支持的机器人平台的 API 访问权限：

Salesforce EinsteinBotBuilder LiveAgent API： org ID 、 button ID 、 deployment Id 、 chat endpoint
Google DialogFlow CX API： location ID 、 project ID 、 agent ID和 JSON API 令牌

安装

（可选）创建conda环境

   conda create -n botsim python=3.9
   conda activate botsim

克隆和构建依赖关系

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

入门

Streamlit 网络应用程序

开始使用 BotSIM 最直接的方法是 Streamlit Web 应用程序。该多页面应用程序旨在指导用户利用 BotSIM 的“生成-模拟-修复”管道对其机器人进行评估、诊断和修复。

以下命令可用于在本地启动 Streamlit Web 应用程序：

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

该应用程序还可以部署到GCP以访问GPU资源。文档的 GCP 部署部分给出了详细的部署说明。

命令行工具

或者，用户还可以通过命令行工具深入了解有关 BotSIM 系统组件的更多信息。代码文档的教程部分给出了详细信息。

教程

我们在代码文档中提供了以下教程。

Streamlit 网络应用程序
命令行工具
机器人运行状况仪表板导航
应用补救建议

文档

有关系统组件和高级用法的更多详细信息，请参阅代码文档。我们欢迎开源社区为改进 BotSIM 做出贡献。为了支持新的机器人平台，还请遵循代码文档中详细说明的指南。

系统演示和技术报告

可以在此处访问 Streamlit 应用程序的仪表板演示。您可以在我们的技术报告中找到有关 BotSIM 设计的更多详细信息：

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

以下 EMNLP 2022 系统演示论文提供了详细的系统描述：

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

如果您在研究或应用中使用 BotSIM，请引用论文。