botsim

Systembeschreibung, Technischer Bericht, Demo, Dokumentation, Blog

BotSIM: Ein End-to-End-Bot-Simulations-Toolkit für kommerzielle aufgabenorientierte Dialogsysteme

Inhaltsverzeichnis

1. Einführung
2. Installation
3. Erste Schritte
4. Tutorials
5. Dokumentation
6. System-Demopapier und technischer Bericht

Einführung

BotSIM ist ein Open-Source-Bot-SIMulation-Toolkit für die umfassende dateneffiziente End-to-End-Bewertung, Diagnose und Behebung kommerzieller aufgabenorientierter Dialogsysteme (Chatbots) über mehrere Bot-Plattformen hinweg. Ziel dieses Toolkits ist es, Bot-Entwicklern und -Anwendern eine Lösung aus einer Hand zu bieten, um die Bot-Entwicklung und -Evaluierung zu beschleunigen, Kosten zu reduzieren und die Markteinführungszeit zu verkürzen. Als modulares Framework kann BotSIM von Bot-Entwicklern erweitert werden, um neue Bot-Plattformen zu unterstützen. Als Toolkit bietet BotSIM eine benutzerfreundliche App und eine Reihe von Befehlszeilentools für Bot-Anwender, mit denen sie die „Generierung-Simulation-Remediation“-Pipeline von BotSIM problemlos anwenden können.

Zu den Hauptfunktionen von BotSIM gehören:

• Mehrstufige Bot-Bewertung : BotSIM kann sowohl für Tests vor der Bereitstellung als auch möglicherweise für die Leistungsüberwachung nach der Bereitstellung verwendet werden.
• Dateneffiziente Dialoggenerierung : Ausgestattet mit einem tiefen netzwerkbasierten Paraphrasierungsmodell kann BotSIM aus der begrenzten Anzahl von Eingabeabsichtsäußerungen einen umfangreichen Satz von Testabsichtsabfragen generieren, die zur maßstabsgetreuen Bewertung des Bot-Absichtsmodells verwendet werden können.
• End-to-End-Bot-Bewertung mittels Dialogsimulation : Durch die automatische Chatbot-Simulation kann BotSIM bestehende Probleme des Bots identifizieren und sowohl die Leistung des Natural Language Understanding (NLU) als auch die End-to-End-Dialogleistung, wie z. B. Zielerreichungsraten, bewerten.
• Dashboard für den Bot-Gesundheitsbericht : Das Dashboard für den Bot-Gesundheitsbericht bietet eine Top-Down-Ansicht der Bot-Leistung mit mehreren Granularitäten. Zusammen mit den Analysetools helfen sie Bot-Anwendern, ihre Bots schnell zu diagnostizieren und Fehler zu beheben.
• Einfache Erweiterung auf neue Bot-Plattformen : BotSIM kann einfach erweitert werden, um neue Bot-Plattformen zu unterstützen. BotSIM unterstützt derzeit Salesforce Einstein BotBuilder und Google DialogFlow CX

Voraussetzung

Um BotSIM nutzen zu können, benötigen Benutzer API-Zugriff auf die folgenden unterstützten Bot-Plattformen:

• Salesforce EinsteinBotBuilder LiveAgent-API: org ID , button ID , deployment Id , chat endpoint
• Google DialogFlow CX API: location ID , project ID , agent ID und JSON-API-Token

Installation

1. (Optional) Conda-Umgebung erstellen

   conda create -n botsim python=3.9
   conda activate botsim

2. Klonen und Erstellen von Abhängigkeiten

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

Erste Schritte

Streamlit-Web-App

Der einfachste Einstieg in BotSIM ist die Streamlit Web App. Die mehrseitige App wurde entwickelt, um Benutzern dabei zu helfen, die „Generation-Simulation-Remediation“-Pipeline von BotSIM zur Bewertung, Diagnose und Behebung ihrer Bots zu nutzen.

Mit den folgenden Befehlen kann die Streamlit Web App lokal gestartet werden:

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

Die App kann auch auf GCP bereitgestellt werden, um auf GPU-Ressourcen zuzugreifen. Detaillierte Bereitstellungsanweisungen finden Sie im Abschnitt „GCP-Bereitstellung“ der Dokumentation.

Befehlszeilentools

Alternativ können Benutzer auch über die Befehlszeilentools tiefer eintauchen, um mehr über die Systemkomponenten von BotSIM zu erfahren. Einzelheiten finden Sie im Tutorial-Abschnitt der Code-Dokumentation.

Anleitung

Wir stellen die folgenden Tutorials in der Codedokumentation zur Verfügung.

• Streamlit-Web-App
• Befehlszeilentools
• Navigation im Bot Health Dashboard
• Abhilfemaßnahmen anwenden

Dokumentation

Weitere Einzelheiten zu den Systemkomponenten und erweiterten Verwendungsmöglichkeiten finden Sie in der Codedokumentation. Wir begrüßen den Beitrag der Open-Source-Community zur Verbesserung von BotSIM. Um neue Bot-Plattformen zu unterstützen, befolgen Sie bitte auch die in der Codedokumentation aufgeführten Richtlinien.

Systemdemo und technischer Bericht

Eine Dashboard-Demo der Streamlit-App finden Sie hier. Weitere Details zu BotSIM-Designs finden Sie in unserem technischen Bericht:

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

Die detaillierten Systembeschreibungen finden Sie im folgenden Demopapier zum EMNLP 2022-System:

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

Wenn Sie BotSIM in Ihrer Forschung oder Ihren Anwendungen verwenden, zitieren Sie bitte die Artikel.

Kontaktieren Sie uns

Für Kommentare, Probleme oder Vorschläge können Sie sich gerne an [email protected] wenden.

Lizenz

BSD-3-Klausel-Lizenz