botsim

Описание системы, технический отчет, демо, документация, блог

BotSIM: комплексный набор инструментов для моделирования ботов для коммерческих систем диалога, ориентированных на задачи

Оглавление

1. Введение
2. Установка
3. Начиная
4. Учебники
5. Документация
6. Демонстрационный документ системы и технический отчет

Введение

BotSIM — это набор инструментов для моделирования ботов с открытым исходным кодом, предназначенный для крупномасштабной комплексной оценки, диагностики и исправления коммерческих ориентированных на выполнение задач диалоговых систем (чат-ботов) на нескольких бот-платформах. Этот набор инструментов призван предоставить разработчикам и практикам ботов универсальное решение для ускорения разработки и оценки ботов, сокращения затрат и времени вывода на рынок. Будучи модульной структурой, BotSIM может быть расширен разработчиками ботов для поддержки новых бот-платформ. В качестве набора инструментов BotSIM предлагает простое в использовании приложение и набор инструментов командной строки, позволяющие специалистам по ботам легко применять конвейер BotSIM «генерация-симуляция-исправление».

Ключевые особенности BotSIM включают в себя:

• Многоэтапная оценка бота : BotSIM можно использовать как для тестирования перед развертыванием, так и, возможно, для мониторинга производительности после развертывания.
• Генерация диалогов с эффективным использованием данных : BotSIM, оснащенный глубокой сетевой моделью перефразирования, может генерировать обширный набор запросов о тестовых намерениях на основе ограниченного числа входных высказываний о намерениях, которые можно использовать для оценки модели намерений бота в масштабе.
• Сквозная оценка бота посредством моделирования диалога . Благодаря автоматическому моделированию чат-бота BotSIM может выявлять существующие проблемы бота и оценивать как производительность понимания естественного языка (NLU), так и эффективность сквозного диалога, например, показатели достижения целей.
• Панель отчетов о состоянии ботов . Панель отчетов о состоянии ботов представляет собой многоуровневое нисходящее представление производительности ботов. Вместе с аналитическими инструментами они помогают специалистам по ботам быстро диагностировать и устранять неполадки своих ботов.
• Простое расширение до новой бот-платформы : BotSIM можно легко расширить для поддержки новых бот-платформ. BotSIM в настоящее время поддерживает Salesforce Einstein BotBuilder и Google DialogFlow CX.

Предварительное условие

Чтобы использовать BotSIM, пользователям необходимо иметь доступ API к следующим поддерживаемым платформам ботов:

• API Salesforce EinsteinBotBuilder LiveAgent: org ID , button ID , deployment Id , chat endpoint
• API Google DialogFlow CX: location ID , project ID , agent ID и токен API JSON.

Установка

1. (Необязательно) Создание среды conda

   conda create -n botsim python=3.9
   conda activate botsim

2. Клонирование и построение зависимостей

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

Начиная

Веб-приложение Streamlit

Самый простой способ начать работу с BotSIM — это веб-приложение Streamlit. Многостраничное приложение разработано, чтобы помочь пользователям использовать конвейер BotSIM «генерация-симуляция-исправление» для оценки, диагностики и исправления своих ботов.

Следующие команды можно использовать для локального запуска веб-приложения Streamlit:

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

Приложение также можно развернуть в GCP для доступа к ресурсам графического процессора. Подробные инструкции по развертыванию приведены в разделе документации «Развертывание GCP».

Инструменты командной строки

Кроме того, пользователи также могут более подробно узнать о системных компонентах BotSIM с помощью инструментов командной строки. Подробности приведены в учебном разделе документации по коду.

Учебник

В документации по коду мы предоставляем следующие руководства.

• Веб-приложение Streamlit
• Инструменты командной строки
• Навигация по панели здоровья ботов
• Применение предложений по исправлению

Документация

Более подробную информацию о системных компонентах и ​​их расширенном использовании можно найти в документации по коду. Мы приветствуем вклад сообщества открытого исходного кода в улучшение BotSIM. Для поддержки новых платформ ботов также следуйте рекомендациям, подробно описанным в документации по коду.

Демонстрация системы и технический отчет

Демо-версию панели управления приложения Streamlit можно найти здесь. Более подробную информацию о конструкции BotSIM вы можете найти в нашем техническом отчете:

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

Подробные описания системы представлены в следующем демонстрационном документе системы EMNLP 2022:

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

Если вы используете BotSIM в своих исследованиях или приложениях, цитируйте статьи.

Связаться с нами

Не стесняйтесь обращаться к [email protected] с любыми комментариями, проблемами или предложениями.

Лицензия

Лицензия BSD, 3 пункта