Unduh botsim - pengunduhan kode sumber botsim

botsim

Kode Sumber AI

first official release

Unduh

dokumen

Deskripsi Sistem, Laporan Teknis, Demo, Dokumentasi, Blog

BotSIM: Perangkat Simulasi Bot End-to-End untuk Sistem Dialog Berorientasi Tugas Komersial

Daftar isi

Perkenalan
Instalasi
Memulai
Tutorial
Dokumentasi
Makalah Demo Sistem dan Laporan Teknis

Perkenalan

BotSIM adalah perangkat SIMulasi Bot sumber terbuka untuk evaluasi, diagnosis, dan remediasi end-to-end berskala besar yang efisien dan efisien pada sistem dialog berorientasi tugas komersial (chatbots) di berbagai platform bot. Toolkit ini bertujuan untuk memberikan solusi terpadu bagi pengembang dan praktisi bot untuk mempercepat pengembangan dan evaluasi bot, mengurangi biaya dan waktu pemasaran. Sebagai kerangka modular, BotSIM dapat diperluas oleh pengembang bot untuk mendukung platform bot baru. Sebagai perangkat, BotSIM menawarkan Aplikasi yang mudah digunakan dan serangkaian alat baris perintah bagi praktisi bot agar dapat dengan mudah menerapkan jalur "simulasi-remediasi" BotSIM.

Fitur utama BotSIM meliputi:

Evaluasi bot multi-tahap : BotSIM dapat digunakan untuk pengujian pra-penerapan dan kemungkinan pemantauan kinerja pasca-penerapan.
Pembuatan dialog hemat data : Dilengkapi dengan model parafrase berbasis jaringan yang dalam, BotSIM dapat menghasilkan serangkaian kueri maksud pengujian yang ekstensif dari sejumlah ucapan maksud masukan yang terbatas, yang dapat digunakan untuk mengevaluasi model maksud bot dalam skala besar.
Evaluasi bot ujung ke ujung melalui simulasi dialog : Melalui simulasi chatbot otomatis, BotSIM dapat mengidentifikasi masalah bot yang ada dan mengevaluasi kinerja pemahaman bahasa alami (NLU) dan kinerja dialog ujung ke ujung seperti tingkat penyelesaian tujuan.
Dasbor laporan kesehatan bot : Dasbor laporan kesehatan bot menyajikan tampilan kinerja bot multi-perincian dari atas ke bawah. Bersama dengan alat analisis, mereka membantu praktisi bot dengan cepat mendiagnosis dan memecahkan masalah bot mereka.
Ekstensi mudah ke platform bot baru : BotSIM dapat dengan mudah diperluas untuk mendukung platform bot baru. BotSIM saat ini mendukung Salesforce Einstein BotBuilder dan Google DialogFlow CX

Prasyarat

Untuk menggunakan BotSIM, pengguna harus memiliki akses API ke platform bot yang didukung berikut:

Salesforce EinsteinBotBuilder LiveAgent API: org ID , button ID , deployment Id , chat endpoint
Google DialogFlow CX API: location ID , project ID , agent ID , dan token API JSON

Instalasi

(Opsional) Membuat lingkungan conda

   conda create -n botsim python=3.9
   conda activate botsim

Mengkloning dan membangun ketergantungan

   git clone https://github.com/salesforce/botsim.git
   cd botsim
   pip install -r requirements.txt

Memulai

Aplikasi Web yang disederhanakan

Cara paling mudah untuk memulai BotSIM adalah Aplikasi Web Streamlit. Aplikasi multi-halaman dikembangkan untuk memandu pengguna memanfaatkan jalur "generasi-simulasi-remediasi" BotSIM untuk evaluasi, diagnosis, dan remediasi bot mereka.

Perintah berikut dapat digunakan untuk memulai Aplikasi Web Streamlit secara lokal:

  export PYTHONPATH=./: $PYTHONPATH
  export DATABASE_URL= " db/botsim_sqlite_demo.db "
  streamlit run botsim/streamlit_app/app.py

Aplikasi ini juga dapat di-deploy ke GCP untuk mengakses resource GPU. Petunjuk penerapan mendetail diberikan di bagian Penerapan GCP dalam dokumentasi.

Alat Baris Perintah

Alternatifnya, pengguna juga dapat mempelajari lebih lanjut tentang komponen sistem BotSIM melalui alat baris perintah. Detailnya diberikan di bagian tutorial dokumentasi kode.

tutorial

Kami menyediakan tutorial berikut dalam dokumentasi kode.

Aplikasi Web yang disederhanakan
Alat Baris Perintah
Navigasi Dasbor Kesehatan Bot
Menerapkan Saran Remediasi

Dokumentasi

Untuk rincian lebih lanjut tentang komponen sistem dan penggunaan lanjutan, silakan merujuk ke dokumentasi kode. Kami menyambut baik kontribusi dari komunitas sumber terbuka untuk meningkatkan BotSIM. Untuk mendukung platform bot baru, harap ikuti juga panduan yang dirinci dalam dokumentasi kode.

Demo Sistem dan Laporan Teknis

Demo dasbor Aplikasi Streamlit dapat diakses di sini. Anda dapat menemukan detail lebih lanjut mengenai desain BotSIM di laporan teknis kami:

 @article{guangsen2022-botsim-tr,
  author    = {Guangsen Wang and Junnan Li and Shafiq Joty and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.15916},
  archivePrefix = {arXiv},
}

Deskripsi sistem secara rinci disajikan dalam makalah demo sistem EMNLP 2022 berikut:

 @article{guangsen2022-botsim-demo,
  author    = {Guangsen Wang and Samson Tan and Shafqi Joty and Gang Wu and Jimmy Au and Steven Hoi},
  title     = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
  year      = {2022},
  url       = {https://arxiv.org/abs/2211.11982},
  archivePrefix = {arXiv},
}

Jika Anda menggunakan BotSIM dalam penelitian atau aplikasi Anda, harap kutip makalahnya.