QiZhenGPT
1.0.0
QiZhenGPT : un modèle de langage médical chinois open source
Ce projet utilise l'ensemble de données d'instructions médicales chinoises construit par la base de connaissances médicales Qizhen, et sur cette base, les instructions sont affinées sur les modèles chinois-LLaMA-Plus-7B, CaMA-13B et ChatGLM-6B, ce qui améliore considérablement les performances du modèle dans les scénarios médicaux chinois. Pour obtenir les résultats souhaités, nous avons d'abord publié un ensemble de données d'évaluation pour les questions-réponses sur les connaissances sur les médicaments, avec des plans ultérieurs pour optimiser les effets des questions-réponses sur les maladies, les interventions chirurgicales, les tests, etc., et développer des applications telles que Questions et réponses médecin-patient et génération automatique de dossiers médicaux.
MedCopilot est un assistant médical intelligent développé sur la base du启真医学大模型, de la base de connaissances médicales de Qizhen et医疗临床数据. Il vise à fournir un soutien intelligent complet aux patients, aux médecins et à la direction des hôpitaux. En intégrant une technologie avancée d’intelligence artificielle, de riches connaissances médicales et des données cliniques, MedCopilot deviendra une nouvelle force productive dans l’industrie médicale.
MedCopilot a été officiellement lancé dans le deuxième hôpital affilié de l'université du Zhejiang.
[2024/08/09] Mettre à jour les informations relatives à MedCopilot ;
[2023/06/27] La version d'essai open source du grand modèle médical QiZhen (QiZhen-CaMA-13B-Checkpoint-12400) vise à améliorer l'exactitude des questions et réponses sur les connaissances sur les maladies et les médicaments dans le domaine médical ;
[2023/06/09] La version d'essai open source de QiZhen Medical grand modèle (QiZhen-CaMA-13B-Checkpoint-6000) est conçue pour améliorer l'exactitude des questions et réponses sur les connaissances sur les médicaments dans le domaine médical ;
[2023/06/02] La version d'essai open source de QiZhen Medical grand modèle (QiZhen-CaMA-13B-Checkpoint-3600) est conçue pour améliorer l'exactitude des questions et réponses sur les connaissances sur les médicaments dans le domaine médical ;
[2023/05/30] Données de formation open source 20k (cet ensemble de données provient de données de questions et réponses de connaissances réelles médecin-patient collectées et compilées par la base de connaissances médicales Qizhen et basées sur la connaissance des textes sur les médicaments de la base de connaissances médicales Qizhen, via semi- -Les données structurées définissent les données d'instruction construites par le modèle de question spécifique) ;
[2023/05/30] La version d'essai open source de QiZhen Medical grand modèle (QiZhen-ChatGLM-6B-Checkpoint-2500) est conçue pour améliorer l'exactitude des questions et réponses sur les connaissances sur les médicaments dans le domaine médical ;
[2023/05/25] Ensemble de données d'évaluation des indications de médicaments open source ;
[2023/05/24] La version d'essai open source de QiZhen Medical grand modèle (QiZhen-Chinese-LLaMA-7B-Checkpoint-6000) est conçue pour améliorer l'exactitude des questions et réponses sur les connaissances sur les médicaments dans le domaine médical ;
[2023/05/23] La version d'essai open source de QiZhen Medical grand modèle (QiZhen-Chinese-LLaMA-7B-Checkpoint-3500) est conçue pour améliorer l'exactitude des questions et réponses sur les connaissances sur les médicaments dans le domaine médical ;
MedCopilot est profondément intégré au système HIS et au système de dossier médical électronique. Il utilise le grand modèle Qizhen Medical pour analyser les données de chaque système et résumer automatiquement les éléments de travail importants du médecin ce jour-là.
MedCopilot combine la base de connaissances médicales de Qizhen et les données cliniques des patients pour fournir des diagnostics personnalisés et des recommandations de traitement afin d'aider les médecins à prendre des décisions médicales plus précises.
Conformément à la politique nationale de qualité médicale, MedCopilot surveille les données des processus médicaux en temps réel, détecte et corrige les problèmes potentiels en temps opportun et améliore la qualité médicale globale.
MedCopilot analyse de manière exhaustive les données de diagnostic et de traitement des patients et génère automatiquement des documents de dossier médical conformes à la réglementation, réduisant ainsi le travail répétitif des médecins et améliorant l'efficacité du travail.
À l'heure actuelle, la plupart des projets ChatLLM open source utilisent des données d'instructions générées par d'autres modèles (tels que ChatGPT), ce qui pose inévitablement le problème de l'illusion des données. Le problème de l'illusion des données affectera sérieusement l'application et l'expansion du LLM dans les scénarios réels. Par conséquent, afin d'améliorer l'exactitude des questions et réponses de connaissances dans le domaine médical, ce projet utilise la méthode suivante pour construire l'ensemble de données d'instruction :
560K données d'instructions ;180K données d’instruction ;298K données d'instructions ;3500 steps (formation 23h50min) ;6000 steps (formation 40h56min) ;2500 steps du processus de formation. (entraînement 16h20min) ;3600 steps du processus de formation. (entraînement 37h37min).6000 steps du processus de formation. (entraînement 54h30min).12400 steps du processus de formation. (entraînement 114h46min).| Modèle | ensemble de données d'instructions | Modèle de base | Téléchargement de LoRA |
|---|---|---|---|
| QiZhen-Chinois-LLaMA-7B- Checkpoint-3500 | 740K | Chinois-LLaMA-Plus-7B | Disque céleste Baidu |
| QiZhen-Chinois-LLaMA-7B- Checkpoint-6000 | 740K | Chinois-LLaMA-Plus-7B | Disque céleste Baidu |
| QiZhen-ChatGLM-6B- Checkpoint-2500 | 740K | ChatGLM-6B | Disque céleste Baidu |
| QiZhen-CaMA-13B-Checkpoint-3600 | 740K | CaMA | Disque céleste Baidu |
| QiZhen-CaMA-13B-Checkpoint-6000 | 740K | CaMA | Disque céleste Baidu |
| QiZhen-CaMA-13B-Checkpoint-12400 | 1038 Ko | CaMA | Disque céleste Baidu |
pip install -r requirements.txtObtenez Chinese-LLaMA-Plus-7B, voir ici pour plus de détails ;
Téléchargez LoRA, téléchargez le modèle et placez-le dans le répertoire lora ;
Exécuter le script scripts/merge_llama_plus.sh ;
sh scripts/merge_llama_plus.sh
gradio_chinese-llama_demo.py ; python gradio_chinese-llama_demo.py
pip install -r requirements.txtObtenez ChatGLM-6B, voir ici pour plus de détails ;
Téléchargez LoRA, téléchargez le modèle et placez-le dans le répertoire lora ;
Modifiez les paramètres de position du modèle dans gradio_chatglm_demo.py ;
Démarrer la démo ;
python gradio_chatglm_demo.py
pip install -r requirements.txtObtenez CaMA, détails ici ;
Téléchargez LoRA, téléchargez le modèle et placez-le dans le répertoire lora ;
Modifiez les paramètres de position du modèle dans gradio_cama_demo.py ;
Démarrer la démo ;
python gradio_cama_demo.py
Qizhen Medical Large Model adhère à la voie technique des « données + connaissances à deux roues motrices ». Grâce à l'intégration étroite de la technologie des grands modèles et de la base de connaissances médicales, il intègre les besoins réels dans les scénarios d'application médicale, de la gestion des données médicales au raisonnement médical. , questions-réponses médecin-patient Des recherches et développements itératifs seront menés dans des domaines tels que la génération automatique de dossiers médicaux et les systèmes d'aide à la décision clinique pour faciliter la mise en œuvre et l'application de technologies de grands modèles dans l'industrie médicale. L'image ci-dessous est un exemple de « La base de connaissances médicales Qizhen aide un grand modèle à générer des réponses ».
Entrée : Indications de l’injection de décanoate de fluphénazine
ChatGLM : Fluphénazine Décanoate Injection est un médicament avec les indications suivantes : 1. Utilisé pour traiter les symptômes neuropsychiatriques tels que la dépression, l'anxiété et l'insomnie ; 2. Utilisé pour traiter l'épilepsie, les traumatismes cérébraux, l'artériosclérose cérébrale et d'autres maladies neurologiques ; pour soulager les douleurs chroniques, telles que la dysménorrhée, l'arthrite et d'autres maladies douloureuses ; 4. Utilisé pour améliorer la capacité d'apprentissage et la capacité de mémoire, et peut être utilisé pour le développement intellectuel et l'amélioration des effets d'apprentissage des enfants et des adolescents ; l’infection et le traitement du SIDA. Fluphénazine décanoate injectable est un médicament oral couramment utilisé pour traiter la dépression, l'anxiété et l'insomnie. Un plan de traitement doit être formulé sur la base des conseils du médecin. Lorsque vous utilisez Fluphénazine Décanoate injectable, vous devez suivre les conseils de votre médecin ainsi que les instructions relatives au médicament ainsi que la posologie indiquées dans les instructions du médicament.
ChatGPT : Flumazenil Decanoate Injection (Flumazenil Injection) est un médicament utilisé pour traiter les états sédatifs ou hypnotiques causés par un surdosage ou une surutilisation de benzodiazépines (tels que les médicaments diazépam). Il agit comme un antagoniste des récepteurs des benzodiazépines et peut inverser les effets dépresseurs des benzodiazépines sur le système nerveux central. <Décanoate de fluphénazine injectable est principalement utilisé pour les indications suivantes :
1. Surdosage de benzodiazépines : lorsque les patients présentent des symptômes tels que le coma, la somnolence et la dépression respiratoire dus à un surdosage ou à une surutilisation de médicaments à base de diazépam, une injection de décanoate de fluphénazine peut être utilisée pour inverser ces symptômes.
2. Inversion pendant l'anesthésie : Le décanoate de fluphénazine injectable peut être utilisé pour inverser les effets sédatifs des benzodiazépines après une intervention chirurgicale ou d'autres procédures anesthésiques et aider les patients à revenir à un état de conscience.
3. Utilisation diagnostique : Le décanoate de fluphénazine injectable peut également être utilisé pour faciliter le diagnostic d’un empoisonnement ou d’un surdosage aux benzodiazépines.
Veuillez noter que l'injection de décanoate de fluphénazine doit être utilisée de manière rationnelle et surveillée par un médecin professionnel en fonction de circonstances spécifiques. Avant d'utiliser ce médicament, lisez et suivez attentivement les instructions du médicament et suivez les instructions et recommandations de votre médecin.
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500 : Ce produit est utilisé pour la schizophrénie, la manie, etc. Il peut également être utilisé pour les douleurs myotoniques.
QiZhen-CaMA-13B-Checkpoint-3600 : Ce produit est utilisé pour diverses manifestations de la schizophrénie.
contribution : Quelles sont les principales fonctions du thé vert tibétain aux fruits ?
ChatGLM : Le thé vert tibétain aux fruits est une boisson naturelle, principalement composée de fruits verts, de feuilles de thé, de miel et d'autres matières. Ses principales fonctions comprennent : 1. Améliorer l'immunité : le thé vert tibétain aux fruits est riche en nutriments, tels que la vitamine C, la vitamine E, etc., qui peuvent renforcer l'immunité du corps, améliorer la résistance du corps et prévenir l'apparition de maladies. 2. Favoriser la digestion : le thé vert tibétain aux fruits est riche en fibres, ce qui peut favoriser la motilité gastro-intestinale, faciliter la digestion et prévenir la constipation. 3. Effet antioxydant : l'extrait de fruit vert contenu dans le thé aux fruits vert tibétain a un fort effet antioxydant, qui peut éliminer les radicaux libres dans le corps, retarder le vieillissement et prévenir les maladies. 4. Réduire les lipides sanguins : l'extrait de thé contenu dans le thé vert aux fruits tibétain a un certain effet sur la réduction des lipides sanguins et peut prévenir et traiter l'hyperlipidémie. 5. Améliorer le sommeil : le miel contenu dans le thé vert aux fruits tibétain a un certain effet sédatif, qui peut aider à soulager le stress, à améliorer la qualité du sommeil et à améliorer la capacité d'auto-guérison du corps.
ChatGPT : Le thé aux fruits verts tibétains est une boisson au thé à base de fruits verts tibétains comme matière première principale. À ma connaissance, il a les fonctions principales suivantes :
1. Effet antioxydant : les fruits verts tibétains sont riches en une variété d'antioxydants naturels, tels que les polyphénols et la vitamine C, qui peuvent aider à éliminer les radicaux libres dans le corps, à ralentir le vieillissement cellulaire et à renforcer l'immunité.
2. Favoriser la digestion : le thé vert tibétain aux fruits a un bon effet stimulant digestif, aide à favoriser la motilité gastro-intestinale, améliore la fonction digestive et soulage les malaises gastriques et l'indigestion.
3. Fournir de la nutrition : les fruits verts tibétains sont riches en vitamine C, en vitamine E, en complexe de vitamines B, en minéraux et autres nutriments. Boire du thé aux fruits verts tibétains peut fournir au corps les nutriments dont il a besoin.
4. Perte de poids : le thé vert tibétain aux fruits est considéré comme ayant un effet de perte de poids, il peut favoriser le métabolisme, accélérer la décomposition et la combustion des graisses et aider à réduire le poids et l'accumulation de graisse.
5. Anti-inflammatoire et analgésique : le thé vert tibétain aux fruits contient certains ingrédients ayant des effets anti-inflammatoires et analgésiques, qui peuvent soulager les inconforts tels que les douleurs articulaires, les douleurs musculaires et les maux de tête.
6. Améliorer le sommeil : le thé vert tibétain aux fruits aide à détendre le système nerveux, a un effet calmant et apaisant, peut améliorer la qualité du sommeil et soulager les problèmes d'insomnie.
Il convient de noter que les effets ci-dessus sont principalement basés sur les utilisations traditionnelles du thé vert tibétain aux fruits et sur certains résultats de recherche. Les effets spécifiques varient d'une personne à l'autre et peuvent être affectés par les différences individuelles et les méthodes d'utilisation. Si vous souffrez d’un problème de santé particulier ou devez prendre des médicaments, il est recommandé de demander l’avis d’un médecin ou d’un professionnel de la santé.
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500 : élimine la chaleur, détoxifie, produit des fluides corporels et étanche la soif. Il peut soulager les symptômes tels que la fièvre, la soif et les maux de gorge.
QiZhen-CaMA-13B-Checkpoint-3600 : Le thé aux fruits bleus cachés a pour effet d'évacuer la chaleur, d'apaiser la gorge, de réduire l'enflure et de soulager la douleur.
Le thé vert tibétain aux fruits peut être utilisé pour soulager des symptômes tels que des rougeurs et des douleurs dans la gorge, une gorge sèche et brûlante, un enrouement et d'autres symptômes.
entrée : Quelles sont les manifestations cliniques du syndrome de Reiter ?
ChatGLM : Le syndrome de Reiter (syndrome de Reiter type I) est un souffle cardiaque congénital dont les manifestations cliniques comprennent :
Souffle cardiaque : le souffle cardiaque caractéristique du syndrome de Wright de type I est un souffle de dérivation de droite à gauche provoqué par un foramen ovale perméable, généralement caractérisé par une variabilité de l'intensité, de l'emplacement et de la fréquence du souffle.
Hypertension pulmonaire : les personnes atteintes du syndrome de Reiter de type I souffrent souvent d'hypertension pulmonaire, qui peut entraîner une insuffisance respiratoire et une insuffisance cardiaque.
Anomalies de croissance et de développement : La plupart des personnes atteintes du syndrome de Reiter de type I présenteront des anomalies de croissance et de développement telles qu'une petite taille, la malnutrition et le gigantisme pendant l'enfance et l'adolescence.
Anomalies structurelles du cœur : bien que les souffles soient la principale manifestation clinique du syndrome de Reiter de type I, certains patients peuvent également présenter d'autres anomalies structurelles du cœur, telles qu'une valvulopathie cardiaque et des arythmies.
Autres symptômes : les personnes atteintes du syndrome de Reiter de type I peuvent également présenter d'autres symptômes, tels que fatigue, difficultés respiratoires, douleurs thoraciques, toux, ballonnements et constipation. Ces symptômes peuvent être liés à leur souffle cardiaque et à leur hypertension pulmonaire, mais ils peuvent également être liés à d'autres facteurs.
Il convient de noter que le syndrome de Reiter de type I est une maladie rare et que ses manifestations cliniques peuvent varier en fonction des différences individuelles. Si vous pensez souffrir du syndrome de Reiter de type I, veuillez consulter rapidement votre médecin pour un diagnostic et un traitement.
ChatGPT : Le syndrome de Reiter fait référence à une maladie causée par une achalasie du sphincter inférieur de l'œsophage et une motilité œsophagienne affaiblie causée par le reflux gastro-œsophagien (RGO). Ses principales manifestations cliniques comprennent :
Dysphagie : Le patient se sent coincé lors de la déglutition et doit avaler plusieurs fois pour avaler la nourriture.
Douleur thoracique : les personnes atteintes du syndrome de Reiter ressentent souvent des douleurs thoraciques, surtout après avoir mangé ou s'être allongées.
Éructations et reflux acide : Les patients souffrent souvent d’éructations et de reflux acide, surtout après avoir mangé ou s’être couchés.
Enrouement : La voix du patient peut devenir rauque en raison d'une irritation de la bouche et de la gorge causée par le reflux du matériau.
Mal de gorge : les reflux matériels irritent la muqueuse de la gorge.
Il est important de noter que les symptômes du syndrome de Reiter sont similaires à ceux d’autres maladies. Le diagnostic doit donc être confirmé par des examens et des méthodes de diagnostic pertinents.
QiZhen-CaMA-13B-Checkpoint-12400 : Les principales manifestations cliniques du syndrome de Reiter sont l'arthrite aiguë ou chronique, l'urétrite, la conjonctivite et les lésions cutanées et muqueuses.
Le syndrome de Reiter est une maladie inflammatoire chronique non spécifique d'étiologie inconnue. Il s'agit d'un type de spondyloarthrite séronégative. Elle se caractérise par une polyarthrite récurrente, migrante et asymétrique, qui peut s'accompagner d'une inflammation de l'urètre, d'une conjonctivite, de la peau et des muqueuses. et des lésions oculaires.
Les principales manifestations cliniques du syndrome de Reiter sont l'arthrite aiguë ou chronique, l'urétrite, la conjonctivite et les lésions cutanées et muqueuses.
1. Arthrite : la plus courante, n'importe quelle articulation peut être affectée, et elle est plus fréquente dans les petites articulations des genoux, des chevilles et des pieds. Une rougeur locale, un gonflement, une chaleur, une douleur et un dysfonctionnement peuvent survenir.
2. Urétrite : se manifeste par des mictions fréquentes, une urgence, une dysurie, une rougeur et un gonflement de l'orifice urétral, une augmentation des sécrétions urétrales, etc.
3. Conjonctivite : se manifeste par une inflammation conjonctivale unilatérale ou bilatérale, pouvant inclure une congestion conjonctivale, un œdème, un œdème des paupières, une augmentation des sécrétions, etc.
4. Lésions cutanées et muqueuses : se manifestant par un érythème séborrhéique, un érythème génital, des pustules, des pustules cutanées et des ulcères cutanés.
Critères d'évaluation : sélectionnez au hasard 94 types de données sur les médicaments, suivez les instructions de composition « Indications du médicament} », laissez ChatGPT (gpt3.5), ChatGLM et QiZhe répondre respectivement, puis demandez au personnel médical professionnel de模型的答案Comparez et notez avec该药品的药品说明书. Voici trois critères de notation :
Norme 1 : Si la réponse du modèle correspond à une indication, la réponse est correcte ;
Norme 2 : Si le nombre d'indications touchées par la réponse modèle est supérieur ou égal à la moitié du nombre d'indications figurant dans la notice du médicament, la réponse est correcte ;
Norme 3 : Si le nombre d'indications touchées par la réponse modèle est supérieur ou égal aux 2/3 du nombre d'indications dans la notice du médicament, la réponse est correcte ;
| Modèle | Norme 1 | Norme 2 | Norme 3 |
|---|---|---|---|
| ChatGLM | 39,36% | 23,16% | 14,74% |
| ChatGPT | 47,87% | 30,85% | 15,96% |
| QiZhen-Chinois-LLaMA-7B-Checkpoint-3500 | 77,66% | 55,32% | 40,00% |
| QiZhen-Chinois-LLaMA-7B-Checkpoint-6000 | 90,43% | 73,40% | 65,96% |
| QiZhen-CaMA-13B-Checkpoint-3600 | 82,29% | 60,62% | 47,92% |
| QiZhen-CaMA-13B-Checkpoint-6000 | 90,43% | 80,85% | 72,34% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 91,49% | 82,98% | 72,34% |
Remarque:
repetition_penalty ;QiZhen-CaMA-13B-Checkpoint-3600 , nous avons augmenté la quantité de paramètres de LoRA et l'effet a été efficacement amélioré ; Critères d'évaluation : sélectionnez au hasard 100 données sur la maladie et formez des « médicaments thérapeutiques » selon « Quels médicaments peuvent traiter la {maladie} ? », « Quels examens sont nécessaires pour la {maladie} ? », « Quelles sont les manifestations cliniques de la {maladie}. ? », « Examen » et « manifestations cliniques » font référence à Commandez, laissez ChatGPT (gpt3.5), ChatGLM et QiZhen0 répondre respectivement, puis demandez au personnel médical professionnel de comparer et de noter模型的答案avec启真医学知识库疾病知识. Voici les trois normes de notation. :
Norme 1 : Si la réponse modèle correspond à un « médicament thérapeutique » (« test d'examen », « manifestation clinique »), la réponse est correcte ;
Norme 2 : Si le nombre de « médicaments thérapeutiques » (« tests d'examen », « manifestations cliniques ») touchés par la réponse modèle est supérieur ou égal à la moitié du nombre d'indications dans la notice du médicament, la réponse est correcte. ;
Norme 3 : Si le nombre de « médicaments thérapeutiques » (« tests d'inspection », « manifestations cliniques ») touchés par la réponse modèle est supérieur ou égal aux 2/3 du nombre d'indications dans la notice du médicament, la réponse est correcte. ;
| Modèle | Norme de performance clinique 1 | Critères de performance clinique 2 | Critères de performance clinique 3 | Vérifier les normes d'inspection 1 | Vérifier la norme d'inspection 2 | Vérifier la norme d'inspection 3 | Normes relatives aux médicaments thérapeutiques 1 | Normes relatives aux médicaments thérapeutiques 2 | Normes relatives aux médicaments thérapeutiques 3 |
|---|---|---|---|---|---|---|---|---|---|
| chatglm | 90,00% | 6,00% | 3,00% | 93,00% | 11,00% | 6,00% | 60,00% | 10,00% | 5,00% |
| chatgpt | 94,00% | 11,00% | 4,00% | 97,00% | 8,00% | 5,00% | 62,00% | 11,00% | 4,00% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 95,00% | 15,00% | 7,00% | 97,00% | 20,00% | 7,00% | 75,00% | 36,00% | 23,00% |
De plus, ce projet est basé sur le développement secondaire des projets open source suivants. Je tiens à exprimer ma gratitude aux projets concernés et au personnel de recherche et développement.
Voir LICENCE pour plus de détails
Les ressources liées à ce projet sont uniquement destinées à la recherche académique et sont strictement interdites à un usage commercial. Lorsque vous utilisez des pièces impliquant du code tiers, veuillez suivre strictement l'accord open source correspondant. Le contenu généré par le modèle est affecté par des facteurs tels que le calcul du modèle, le caractère aléatoire et la perte de précision de quantification, et ce projet ne garantit pas son exactitude. Ce projet n'assume aucune responsabilité légale pour tout contenu généré par le modèle, ni pour les pertes pouvant résulter de l'utilisation des ressources associées et des résultats de sortie.
Le document technique sera bientôt disponible.
