DiagGPT
1.0.0
ChatGPT のような大規模言語モデル (LLM) の重要な用途は、さまざまなドメインにわたる人間の問い合わせに応答するチャット エージェントとしての展開です。現在の LLM は一般的な質問には十分に答えますが、法律、医療、その他の専門的な相談などの複雑な診断シナリオでは不十分なことがよくあります。これらのシナリオでは通常、タスク指向対話 (TOD) が必要です。AI チャット エージェントは積極的に質問をし、特定の目標やタスクの完了に向けてユーザーを誘導する必要があります。以前の微調整モデルは TOD でのパフォーマンスが低く、現在の LLM の会話機能の可能性はまだ十分に検討されていません。このペーパーでは、LLM をより多くの TOD シナリオに拡張する革新的なアプローチである DiagGPT (Dialogue in Diagnosis GPT) を紹介します。 DiagGPT は、ユーザーがタスクを完了するようにガイドするだけでなく、ダイアログ開発全体を通じてすべてのトピックのステータスを効果的に管理できます。この機能はユーザー エクスペリエンスを向上させ、TOD でのより柔軟な対話を提供します。 DiagGPTがユーザーとのTODにおいて優れた性能を発揮することを実験で実証しており、さまざまな分野での実用化の可能性を示しています。
新しいデータセット、LLM-TOD (大規模言語モデル用のタスク指向ダイアログ データセット) を構築します。 LLM ベースのタスク指向対話モデルのパフォーマンスを定量的に評価するために使用されます。データセットは 20 のデータで構成されており、それぞれが異なるトピックを表しています: 臨床、レストラン、ホテル、病院、電車、警察、バス、観光スポット、空港、バー、図書館、博物館、公園、ジム、映画館、オフィス、理髪店、パン屋、動物園、そして銀行。
.
├── chatgpt # implementation of base chatgpt
├── data
│ └── LLM-TOD # LLM-TOD dataset
├── demo.py # DiagGPT for demo test
├── diaggpt # simple version of DiagGPT for quantitative experiments
├── diaggpt_medical # full version of DiagGPT in the medical consulting scenario
│ ├── embedding # file store, retrieval, etc.
│ ├── main.py # main code of implementation
│ ├── prompts # all prompts in DiagGPT
│ ...
├── evalgpt # implementation of GPT evaluation
├── exp.py # code of quantitative experiments
├── exp_output # experiment results
├── openai_api_key.txt # openai key
├── requirements.txt # dependencies
├── usergpt # simulation of the user for quantitative experiments
...pip install -r requirements.txttouch openai_api_key.txt # put your openai api key in it
python demo.py # demo test
python exp.py # run quantitative experimentsこれは、医療診断シナリオにおけるチャットボットのチャット プロセスの非常に簡単なデモです。患者が医師を訪れるまでのプロセスをシミュレーションしました。 (一部の患者/ユーザー入力は GPT-4 によって生成されます。)
このプロセスでは、医師は常に患者から情報を収集し、それを段階的に分析します。
現時点では、プロジェクトの既存の機能は非常に暫定的なものです。これは、LLM のトピック管理能力を示すためのデモ版にすぎず、実際の専門的な相談のニーズを満たすことはできません。
この実験の主な目的は GPT-4 の可能性を実証することですが、これは完全に洗練されたアプリケーションや製品ではなく、実験的なプロジェクトであることに注意することが重要です。 GPT-4 は、複雑な現実世界のビジネス シナリオでは最適に動作しない可能性があります。これを改良してさまざまなシナリオに適用することをお勧めします。結果についてぜひお知らせください。
このリポジトリが役立つと思われる場合は、次の論文を引用してください。
@misc{cao2023diaggpt,
title={DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue},
author={Lang Cao},
year={2023},
eprint={2308.08043},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
