QiZhenGPT
1.0.0
QiZhenGPT: An Open Source Chinese Medical Large Language Model
本計畫利用啟真醫學知識庫建構的中文醫學指令資料集，並基於此在Chinese-LLaMA-Plus-7B、CaMA-13B、ChatGLM-6B模型上進行指令精調，大幅提升了模型在中文醫療場景下效果，首先針對藥品知識問答發布了評測資料集，後續計畫優化疾病、手術、檢驗等方面的問答效果，並針對醫病問答、病歷自動生成等應用展開拓展。
MedCopilot是一款基於启真医学大模型、啟真醫學知識庫、医疗临床数据研發的智慧醫療助手，旨在為患者、醫生和醫院管理提供全面的智慧支援。透過整合先進的人工智慧技術、豐富的醫學知識和臨床數據，MedCopilot將成為醫療產業的新質生產力。
MedCopilot目前在浙江大學第二附屬醫院正式上線使用。
[2024/08/09] 更新MedCopilot相關資訊;
[2023/06/27] 開源啟真醫學大模型體驗版（QiZhen-CaMA-13B-Checkpoint-12400），旨在提高醫學領域疾病、藥品知識問答的準確性;
[2023/06/09] 開源啟真醫學大模型體驗版（QiZhen-CaMA-13B-Checkpoint-6000），旨在提高醫學領域藥品知識問答的準確性;
[2023/06/02] 開源啟真醫學大模型體驗版（QiZhen-CaMA-13B-Checkpoint-3600），旨在提高醫學領域藥品知識問答的準確性;
[2023/05/30] 開源20k訓練資料（此資料集來自於啟真醫學知識庫收集整理的真實醫病知識問答資料以及在啟真醫學知識庫的藥品文本知識基礎上，透過對半結構化資料設定特定的問題範本建構的指令資料）；
[2023/05/30] 開源啟真醫學大模型體驗版（QiZhen-ChatGLM-6B- Checkpoint-2500），旨在提高醫學領域藥品知識問答的準確性；
[2023/05/25] 開源藥品適應症評測資料集;
[2023/05/24] 開源啟真醫學大模型體驗版（QiZhen-Chinese-LLaMA-7B- Checkpoint-6000），旨在提高醫學領域藥品知識問答的準確性;
[2023/05/23] 開源啟真醫學大模型體驗版（QiZhen-Chinese-LLaMA-7B- Checkpoint-3500），旨在提高醫學領域藥品知識問答的準確性；
MedCopilot與HIS系統和電子病歷系統深度融合，利用啟真醫學大模型分析各個系統數據，自動匯總醫師當日重要的工作事項。
MedCopilot結合啟真醫學知識庫和病患臨床數據，提供個人化診斷和治療建議，幫助醫師做出更精確的醫療決策。
MedCopilot依據國家醫療品質政策，即時監控醫療流程數據，及時發現並糾正潛在問題，提升整體醫療品質。
MedCopilot綜合分析病患診療數據，自動產生符合規範的病歷文書，減少醫師的重複性工作，提高工作效率。
目前大多數開源的ChatLLM專案使用的是其他模型（如：ChatGPT）產生的指令數據，其不可避免的存在數據幻想的問題，數據幻想問題將嚴重影響LLM在實際場景中的應用和拓展。因此，本計畫為了提高醫療領域的知識問答的準確性，使用如下方式建構指令資料集：
560K條指令資料；180K條指令資料；298K條指令資料；3500 steps （訓練23h50min） ；6000 steps （訓練40h56min）；2500 steps （訓練16h20min）；3600 steps （訓練37h37min）。6000 steps （訓練54h30min）。12400 steps （訓練114h46min）。| 模型 | 指令資料集 | Base Model | LoRA下載 |
|---|---|---|---|
| QiZhen-Chinese-LLaMA-7B- Checkpoint-3500 | 740K | Chinese-LLaMA-Plus-7B | 百度網盤 |
| QiZhen-Chinese-LLaMA-7B- Checkpoint-6000 | 740K | Chinese-LLaMA-Plus-7B | 百度網盤 |
| QiZhen-ChatGLM-6B- Checkpoint-2500 | 740K | ChatGLM-6B | 百度網盤 |
| QiZhen-CaMA-13B-Checkpoint-3600 | 740K | CaMA | 百度網盤 |
| QiZhen-CaMA-13B-Checkpoint-6000 | 740K | CaMA | 百度網盤 |
| QiZhen-CaMA-13B-Checkpoint-12400 | 1038K | CaMA | 百度網盤 |
pip install -r requirements.txt取得Chinese-LLaMA-Plus-7B，詳情請見這裡；
下載LoRA，將模型下載並放在lora目錄下；
執行scripts/merge_llama_plus.sh 腳本；
sh scripts/merge_llama_plus.sh
gradio_chinese-llama_demo.py裡的模型位置參數； python gradio_chinese-llama_demo.py
pip install -r requirements.txt取得ChatGLM-6B，詳情請見這裡；
下載LoRA，將模型下載並放在lora目錄下；
修改gradio_chatglm_demo.py裡的模型位置參數；
啟動demo；
python gradio_chatglm_demo.py
pip install -r requirements.txt取得CaMA，詳情請見此；
下載LoRA，將模型下載並放在lora目錄下；
修改gradio_cama_demo.py裡的模型位置參數；
啟動demo；
python gradio_cama_demo.py
啟真醫學大模型堅持「數據+知識雙輪驅動」的技術路線，透過大模型技術和醫學知識庫的緊密結合，融合醫療應用場景中的實際需求，從醫學數據治理、醫學推理、醫病問答、病歷自動產生、臨床決策輔助支援系統等方面進行迭代研發，協助大模型技術在醫療產業的落地與應用實務。下圖是「啟真醫學知識庫輔助大模型生成答案」的案例，該技術在測試後擇機發布。
Input：氟奮乃靜癸酸酯注射的適應症
ChatGLM：氟奮乃靜癸酸酯注射是一種藥物,適應症如下: 1. 用於治療憂鬱症、焦慮症和失眠等神經精神症狀; 2. 用於治療癲癇、腦外傷和腦動脈硬化等神經系統疾病; 3. 用於緩解慢性疼痛,如經痛、關節炎等疼痛性疾病; 4. 用於改善學習能力和記憶能力,可用於兒童和青少年的智力發展和改善學習效果; 5.用於預防愛滋病毒感染和治療愛滋病。 氟奮乃靜癸酸酯注射是一種口服用藥,通常用於治療憂鬱症、焦慮症和失眠等疾病。需要根據醫生的建議來制定治療方案。使用氟奮乃靜癸酸酯注射時,應遵循醫師的建議和藥品說明書中的用藥方法和劑量。
ChatGPT：氟奮乃靜癸酸酯注射（Flumazenil Injection）是一種用於治療苯二氮䓬類藥物（如安定類藥物）過量或過度使用所引起的鎮靜或催眠狀態的藥物。它作為一種苯二氮䓬受體拮抗劑，能夠逆轉苯二氮䓬類藥物的中樞神經系統抑製作用。 <氟奮乃靜癸酸酯注射主要用於下列適應症：
1. 苯二氮䓬類藥物過量：當患者因安定類藥物過量或過度使用而出現昏迷、嗜睡、呼吸抑制等症狀時，氟奮乃靜癸酸酯注射可用於逆轉這些症狀。
2. 麻醉逆轉：氟奮乃靜癸酸酯注射可用於手術或其他麻醉手術結束後逆轉苯二氮䓬類藥物的鎮靜效果，幫助患者恢復清醒狀態。
3. 診斷用途：氟奮乃靜癸酸酯注射還可用於輔助診斷苯二氮䓬類藥物中毒或過量情況。
請注意，氟奮乃靜癸酸酯注射應由專業醫師根據具體情況進行合理的使用和監測。在使用該藥物之前，應仔細閱讀並遵循藥物說明書，並遵循醫生的指導和建議。
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：本品用於精神分裂症、躁症等。 也可用於肌緊張性疼痛。
QiZhen-CaMA-13B-Checkpoint-3600：本品用於精神分裂症的各種表現。
input：藏青果茶有哪些主要作用？
ChatGLM：藏青果茶是一種天然的飲品,主要由青果、茶葉、蜂蜜等多種材料製成。它的主要作用包括: 1. 提高免疫力:藏青果茶中含有豐富的營養成分,如維生素C、維生素E等,可以增強人體的免疫力,提高身體的抵抗力,預防疾病的發生。 2. 促進消化:藏青果茶中含有豐富的纖維素,可以促進腸胃蠕動,幫助消化,預防便秘的發生。 3. 抗氧化作用:藏青果茶中的青果萃取物具有較強的抗氧化作用,可以清除體內自由基,延緩衰老,預防疾病。 4. 降低血脂:藏青果茶中的茶葉萃取物具有一定的降低血脂的作用,可以預防和治療高血脂症。 5. 改善睡眠:藏青果茶中的蜂蜜具有一定的鎮靜作用,可以幫助緩解壓力,改善睡眠品質,提高身體的自我修復能力。
ChatGPT：藏青果茶是一種以藏青果為主要原料製作的茶飲品，據我所知，它具有以下主要作用：
1. 抗氧化作用：藏青果富含多種天然抗氧化劑，如多酚類化合物和維生素C，可幫助清除體內自由基，減緩細胞老化，增強免疫力。
2. 促進消化：藏青果茶具有良好的消化刺激作用，有助於促進胃腸道蠕動，改善消化功能，緩解胃部不適和消化不良。
3. 提供營養：藏青果富含維生素C、維生素E、維生素B群、礦物質等營養物質，飲用藏青果茶可以提供身體所需的營養元素。
4. 減肥瘦身：藏青果茶被認為具有減肥的效果，它可以促進新陳代謝，加速脂肪分解和燃燒，幫助減少體重和脂肪積累。
5. 抗發炎鎮痛：藏青果茶含有一些具有抗發炎和鎮痛作用的成分，可以緩解關節疼痛、肌肉酸痛和頭痛等不適。
6. 改善睡眠：藏青果茶有助於放鬆神經系統，具有鎮靜和安撫作用，可以改善睡眠質量，並緩解失眠問題。
需要注意的是，以上作用主要是基於藏青果茶的傳統用途和某些研究結果，具體效果因人而異，且可能受到個體差異和使用方式的影響。如果您有特定的健康問題或需要服用藥物，建議諮詢醫生或專業保健人員的建議。
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500：清熱解毒、生津止渴。 可緩解發燒、口渴、咽喉腫痛等症狀。
QiZhen-CaMA-13B-Checkpoint-3600：藏青果茶具有清熱利咽、消腫止痛的功效。
藏青果茶可以用來緩解喉嚨紅腫疼痛、咽乾灼熱、聲音沙啞等症狀。
input：賴特症候群臨床表現有哪些？
ChatGLM：賴特症候群(賴特氏症候群I型)是一種先天性心臟雜音,其臨床表現包括:
心臟雜音:賴特症候群I型的特徵性心臟雜音是卵圓孔未閉引起的右向左分流雜音,通常表現為雜音強度、位置和頻率的變異性。
肺動脈高壓:賴特症候群I型患者通常患有肺動脈高壓,這可能導致呼吸衰竭和心臟衰竭。
生長發育異常:大多數賴特綜合徵I型患者在兒童和青少年時期會表現出生長發育異常,如身材矮小、營養不良和巨人症。
心臟結構異常:儘管雜音是賴特氏症候群I型的主要臨床表現,但部分患者也可能患有其他心臟結構異常,如心臟瓣膜疾病和心律不整。
其他症狀:賴特症候群I型患者可能還有其他症狀,如疲勞、呼吸困難、胸痛、咳嗽、腹脹和便秘等。這些症狀可能與其心臟雜音和肺動脈高壓有關,但也可能與其他因素有關。
需要注意的是,賴特氏症候群I型是一種罕見的疾病,其臨床表現可能因個體差異而有所不同。如果懷疑自己患有賴特綜合症I型,請及時諮詢醫生進行診斷和治療。
ChatGPT：賴特症候群是指胃食道逆流症（GERD）引起的下食道括約肌失弛緩和食道蠕動減弱所導致的疾病。它的主要臨床表現包括：
吞嚥困難：患者在吞嚥時有被卡住的感覺，需要多次咽喉才能將食物吞嚥。
胸痛：賴特症候群的患者常出現胸痛，特別是在吃飯或躺下之後容易加重。
噯氣和胃酸倒流：患者常感到噯氣和胃酸倒流，特別是在吃完飯或躺下之後。
聲音沙啞：由於口腔和喉嚨區域受到反流物的刺激，患者的聲音可能會變得沙啞。
喉嚨痛：反流物刺激喉嚨黏膜所致。
需要注意的是，賴特症候群的症狀與其他疾病相似，因此需要透過相關檢查和診斷方法確定診斷。
QiZhen-CaMA-13B-Checkpoint-12400：賴特氏症候群的主要臨床表現為急性或慢性關節炎、尿道炎、結膜炎及皮膚黏膜病變等。
賴特症候群是一種病因不明的慢性非特異性發炎性疾病，屬於血清陰性脊椎關節炎的一種，其特徵是反覆發作性、遊走性、不對稱性的多關節炎，可伴隨尿道炎、結膜炎、皮膚黏膜及眼部病變。
賴特氏症候群的主要臨床表現為急性或慢性關節炎、尿道炎、結膜炎及皮膚黏膜病變等。
1.關節炎：最常見，任何關節可受累，以膝、踝和足部小關節多見，局部可有紅、腫、熱、痛和功能障礙。
2.尿道炎：表現為頻尿、尿急、尿痛、尿道口紅腫、尿道分泌物增加等。
3.結膜炎：表現為單側或雙側結膜炎症，可有結膜充血、水腫、眼瞼浮腫、分泌物增加等。
4.皮膚黏膜病灶：表現為皮膚脂漏性紅斑、生殖器紅斑、膿皰疹、皮膚膿皰疹、皮膚潰瘍。
評測標準：隨機選擇94種藥品數據，依照「{藥品}的適應症」組成指令，分別讓ChatGPT（gpt3.5）、ChatGLM、QiZhe做出回答，然後請專業的醫學人員對三個模型的答案與该药品的药品说明书進行比對評分，以下是三個評分標準：
標準1：模型答案命中一個適應症則回答正確；
標準2：模型答案命中的適應症數目大於等於藥品說明書適應症數目的1/2則回答正確；
標準3：模型答案命中的適應症數目大於等於藥品說明書適應症數目的2/3則回答正確；
| 模型 | 標準1 | 標準2 | 標準3 |
|---|---|---|---|
| ChatGLM | 39.36% | 23.16% | 14.74% |
| ChatGPT | 47.87% | 30.85% | 15.96% |
| QiZhen-Chinese-LLaMA-7B-Checkpoint-3500 | 77.66% | 55.32% | 40.00% |
| QiZhen-Chinese-LLaMA-7B-Checkpoint-6000 | 90.43% | 73.40% | 65.96% |
| QiZhen-CaMA-13B-Checkpoint-3600 | 82.29% | 60.62% | 47.92% |
| QiZhen-CaMA-13B-Checkpoint-6000 | 90.43% | 80.85% | 72.34% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 91.49% | 82.98% | 72.34% |
備註：
repetition_penalty參數調大；QiZhen-CaMA-13B-Checkpoint-3600我們增大了LoRA的參數量，效果得到了有效的提升；評測標準：隨機選擇100種疾病數據，依照「哪些藥物能治療{疾病}？」、「{疾病}需要做哪些檢查？」、「{疾病}的臨床表現有哪些？」組成「治療藥物」、 「檢查檢定」、「臨床表現」指令，分別讓ChatGPT（gpt3.5）、ChatGLM、QiZhen0做出回答，然後請專業的醫學人員對三個模型的答案與启真医学知识库疾病知识進行比對評分，以下是三個評分標準：
標準1：模型答案命中一個「治療藥物」（「檢驗檢驗」、「臨床表現」）則回答正確；
標準2：模型答案命中的「治療藥物」（「檢驗檢驗」、「臨床表現」）數目大於等於藥物說明書適應症數目的1/2則回答正確；
標準3：模型答案命中的「治療藥物」（「檢驗檢驗」、「臨床表現」）數目大於等於藥品說明書適應症數目的2/3則回答正確；
| 模型 | 臨床表現標準1 | 臨床表現標準2 | 臨床表現標準3 | 檢查檢驗標準1 | 檢查檢驗標準2 | 檢查檢驗標準3 | 治療藥物標準1 | 治療藥物標準2 | 治療藥物標準3 |
|---|---|---|---|---|---|---|---|---|---|
| chatglm | 90.00% | 6.00% | 3.00% | 93.00% | 11.00% | 6.00% | 60.00% | 10.00% | 5.00% |
| chatgpt | 94.00% | 11.00% | 4.00% | 97.00% | 8.00% | 5.00% | 62.00% | 11.00% | 4.00% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 95.00% | 15.00% | 7.00% | 97.00% | 20.00% | 7.00% | 75.00% | 36.00% | 23.00% |
此外，本計畫基於以下開源專案二次開發，在此對相關專案和研究開發人員表示感謝。
詳見LICENSE
本計畫相關資源僅供學術研究之用，嚴禁用於商業用途。使用涉及第三方程式碼的部分時，請嚴格遵循相應的開源協議。模型產生的內容受模型計算、隨機性和量化精度損失等因素影響，本項目不對其準確性作出保證。對於模型輸出的任何內容，本項目不承擔任何法律責任，亦不對因使用相關資源和輸出結果而可能產生的任何損失承擔責任。
Technical paper is coming soon.
