DiagGPT

DiagGPT

• Dia lo g ue dans Diagnostic GPT
• Meilleur chatbot avec gestion automatique des sujets dans des scénarios de diagnostic divers et complexes
• Dépôt de code et de données pour "DiagGPT"
• Article : "DiagGPT : un système de dialogue multi-agents basé sur LLM avec gestion automatique des sujets pour un dialogue flexible orienté tâches"

Introduction

Une application importante des grands modèles linguistiques (LLM), comme ChatGPT, est leur déploiement en tant qu'agents de chat, qui répondent aux demandes humaines dans une variété de domaines. Bien que les LLM actuels répondent avec compétence aux questions générales, ils échouent souvent dans des scénarios de diagnostic complexes tels que des consultations juridiques, médicales ou autres consultations spécialisées. Ces scénarios nécessitent généralement un dialogue orienté tâches (TOD), dans lequel un agent de chat IA doit poser des questions de manière proactive et guider les utilisateurs vers des objectifs spécifiques ou l'accomplissement de tâches. Les modèles de réglage fin précédents ont sous-performé dans TOD et le plein potentiel de la capacité conversationnelle dans les LLM actuels n'a pas encore été pleinement exploré. Dans cet article, nous présentons DiagGPT (Dialogue in Diagnosis GPT), une approche innovante qui étend les LLM à davantage de scénarios TOD. En plus de guider les utilisateurs dans l'accomplissement des tâches, DiagGPT peut gérer efficacement le statut de tous les sujets tout au long du développement du dialogue. Cette fonctionnalité améliore l'expérience utilisateur et offre une interaction plus flexible dans TOD. Nos expériences démontrent que DiagGPT présente des performances exceptionnelles dans la réalisation de TOD avec les utilisateurs, démontrant ainsi son potentiel d'applications pratiques dans divers domaines.

Démarrage rapide

Ensemble de données LLM-TOD

Nous construisons un nouvel ensemble de données, LLM-TOD (dialogue orienté tâches pour un ensemble de données de grands modèles de langage). Il est utilisé pour évaluer quantitativement les performances des modèles de dialogue axés sur les tâches basés sur LLM. L'ensemble de données comprend 20 données, chacune représentant un sujet différent : clinique, restaurant, hôtel, hôpital, train, police, bus, attraction, aéroport, bar, bibliothèque, musée, parc, salle de sport, cinéma, bureau, salon de coiffure, boulangerie, zoo, et banque.

Structure du projet

 .
├── chatgpt                  # implementation of base chatgpt
├── data
│   └── LLM-TOD              # LLM-TOD dataset
├── demo.py                  # DiagGPT for demo test
├── diaggpt                  # simple version of DiagGPT for quantitative experiments
├── diaggpt_medical          # full version of DiagGPT in the medical consulting scenario
│   ├── embedding            # file store, retrieval, etc.
│   ├── main.py              # main code of implementation
│   ├── prompts              # all prompts in DiagGPT
│   ...
├── evalgpt                  # implementation of GPT evaluation
├── exp.py                   # code of quantitative experiments
├── exp_output               # experiment results
├── openai_api_key.txt       # openai key
├── requirements.txt         # dependencies
├── usergpt                  # simulation of the user for quantitative experiments
...

Dépendances

• Python 3.10.9
• pip install -r requirements.txt

Courir

touch openai_api_key.txt   # put your openai api key in it

python demo.py             # demo test

python exp.py              # run quantitative experiments

• Vous devez améliorer n'importe quelle invite ou la modifier pour répondre à vos besoins et à vos différents LLM de base.
• Vous pouvez définir vos propres tâches prédéfinies.
• Vous pouvez utiliser la base de données vectorielles dans Langchain pour enrichir les connaissances de base du modèle dans certains domaines. (Certains codes sont déjà inclus.)

Démo

Voici une démo très simple du processus de chat du chatbot dans un scénario de diagnostic médical. Nous avons simulé le processus d'un patient visitant un médecin. (Certaines entrées de patients/utilisateurs sont générées par GPT-4.)

Dans ce processus, le médecin collecte constamment des informations auprès des patients et les analyse étape par étape.

Limites

À l'heure actuelle, les fonctions existantes du projet sont très préliminaires. Il s'agit uniquement d'une version de démonstration visant à montrer la capacité de gestion thématique des LLM, qui ne peut pas répondre aux besoins d'une véritable consultation professionnelle.

L'objectif principal de cette expérience est de démontrer le potentiel du GPT-4. Cependant, il est important de noter qu'il ne s'agit pas d'une application ou d'un produit entièrement perfectionné, mais plutôt d'un projet expérimental. Il est possible que GPT-4 ne fonctionne pas de manière optimale dans des scénarios commerciaux complexes et réels. Nous vous encourageons à l’améliorer et à l’appliquer dans divers scénarios, et nous serions ravis de connaître vos résultats !

Cite-nous

Si vous trouvez ce référentiel utile, veuillez citer l'article suivant :

 @misc{cao2023diaggpt,
      title={DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue}, 
      author={Lang Cao},
      year={2023},
      eprint={2308.08043},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}