QiZhenGPT
1.0.0
QiZhenGPT: un modelo de lenguaje grande médico chino de código abierto
Este proyecto utiliza el conjunto de datos de instrucción médica china construido por Qizhen Medical Knowledge Base y, en base a esto, las instrucciones se ajustan en los modelos chino LLaMA-Plus-7B, CaMA-13B y ChatGLM-6B, lo que mejora enormemente el rendimiento del modelo en escenarios médicos chinos Para lograr los resultados deseados, primero publicamos un conjunto de datos de evaluación para preguntas y respuestas sobre conocimientos sobre medicamentos, con planes posteriores para optimizar los efectos de las preguntas y respuestas sobre enfermedades, cirugías, pruebas, etc., y ampliar aplicaciones como. Preguntas y respuestas médico-paciente y generación automática de registros médicos.
MedCopilot es un asistente médico inteligente desarrollado en base al启真医学大模型, la base de conocimientos médicos de Qizhen y医疗临床数据. Su objetivo es brindar soporte inteligente integral para pacientes, médicos y administradores hospitalarios. Al integrar tecnología avanzada de inteligencia artificial, amplio conocimiento médico y datos clínicos, MedCopilot se convertirá en una nueva fuerza productiva en la industria médica.
MedCopilot se lanzó oficialmente en el Segundo Hospital Afiliado de la Universidad de Zhejiang.
[09/08/2024] Actualizar información relacionada con MedCopilot;
[2023/06/27] La versión de prueba del modelo grande médico de código abierto QiZhen (QiZhen-CaMA-13B-Checkpoint-12400) tiene como objetivo mejorar la precisión de las preguntas y respuestas sobre el conocimiento sobre enfermedades y medicamentos en el campo médico;
[2023/06/09] La versión de prueba del modelo grande médico de código abierto QiZhen (QiZhen-CaMA-13B-Checkpoint-6000) está diseñada para mejorar la precisión de las preguntas y respuestas sobre el conocimiento de los medicamentos en el campo médico;
[2023/06/02] La versión de prueba del modelo grande médico de código abierto QiZhen (QiZhen-CaMA-13B-Checkpoint-3600) está diseñada para mejorar la precisión de las preguntas y respuestas sobre el conocimiento de los medicamentos en el campo médico;
[2023/05/30] Datos de entrenamiento de código abierto de 20k (este conjunto de datos proviene de datos reales de preguntas y respuestas de conocimiento médico-paciente recopilados y compilados por Qizhen Medical Knowledge Base y basados en el conocimiento de textos sobre medicamentos de Qizhen Medical Knowledge Base, a través de semi -Los datos estructurados establecen los datos de instrucción construidos por la plantilla de pregunta específica);
[30/05/2023] La versión de prueba del modelo grande médico de código abierto QiZhen (QiZhen-ChatGLM-6B-Checkpoint-2500) está diseñada para mejorar la precisión de las preguntas y respuestas sobre conocimientos sobre medicamentos en el campo médico;
[2023/05/25] Conjunto de datos de evaluación de indicaciones de fármacos de código abierto;
[2023/05/24] La versión de prueba del modelo grande médico QiZhen de código abierto (QiZhen-Chinese-LLaMA-7B-Checkpoint-6000) está diseñada para mejorar la precisión de las preguntas y respuestas sobre conocimientos sobre medicamentos en el campo médico;
[2023/05/23] La versión de prueba del modelo grande médico de código abierto QiZhen (QiZhen-Chinese-LLaMA-7B-Checkpoint-3500) está diseñada para mejorar la precisión de las preguntas y respuestas sobre el conocimiento de los medicamentos en el campo médico;
MedCopilot está profundamente integrado con el sistema HIS y el sistema de registros médicos electrónicos. Utiliza el modelo grande de Qizhen Medical para analizar datos de cada sistema y resumir automáticamente los elementos de trabajo importantes del médico ese día.
MedCopilot combina la base de conocimientos médicos de Qizhen y los datos clínicos de los pacientes para proporcionar diagnósticos personalizados y recomendaciones de tratamiento para ayudar a los médicos a tomar decisiones médicas más precisas.
De acuerdo con la política nacional de calidad médica, MedCopilot monitorea los datos del proceso médico en tiempo real, detecta y corrige problemas potenciales de manera oportuna y mejora la calidad médica general.
MedCopilot analiza exhaustivamente los datos de diagnóstico y tratamiento de los pacientes y genera automáticamente documentos de registros médicos que cumplen con las regulaciones, lo que reduce el trabajo repetitivo de los médicos y mejora la eficiencia del trabajo.
En la actualidad, la mayoría de los proyectos ChatLLM de código abierto utilizan datos de instrucción generados por otros modelos (como ChatGPT), lo que inevitablemente tiene el problema de la ilusión de datos. El problema de la ilusión de datos afectará seriamente la aplicación y expansión de LLM en escenarios reales. Por lo tanto, para mejorar la precisión de las preguntas y respuestas de conocimiento en el campo médico, este proyecto utiliza el siguiente método para construir el conjunto de datos de instrucción:
560K datos de instrucción;180K datos de instrucciones;298K datos de instrucciones;3500 steps (entrenamiento 23h50min);6000 steps (entrenamiento 40h56min);2500 steps 2500 del proceso de capacitación. (entrenamiento 16h20min);3600 steps del proceso de entrenamiento. (entrenamiento 37h37min).6000 steps del proceso de entrenamiento. (entrenamiento 54h30min).12400 steps del proceso de capacitación. (entrenamiento 114h46min).| Modelo | conjunto de datos de instrucción | Modelo básico | Descargar LoRA |
|---|---|---|---|
| QiZhen-Chino-LLaMA-7B- Checkpoint-3500 | 740K | Chino-LLaMA-Plus-7B | Baidu Skydisk |
| QiZhen-Chino-LLaMA-7B- Checkpoint-6000 | 740K | Chino-LLaMA-Plus-7B | Baidu Skydisk |
| QiZhen-ChatGLM-6B- Checkpoint-2500 | 740K | ChatGLM-6B | Baidu Skydisk |
| QiZhen-CaMA-13B-Checkpoint-3600 | 740K | CAMA | Baidu Skydisk |
| QiZhen-CaMA-13B-Checkpoint-6000 | 740K | CAMA | Baidu Skydisk |
| QiZhen-CaMA-13B-Checkpoint-12400 | 1038K | CAMA | Baidu Skydisk |
pip install -r requirements.txtObtenga Chinese-LLaMA-Plus-7B, consulte aquí para obtener más detalles;
Descargue LoRA, descargue el modelo y colóquelo en el directorio de lora;
Ejecutar scripts/merge_llama_plus.sh script;
sh scripts/merge_llama_plus.sh
gradio_chinese-llama_demo.py ; python gradio_chinese-llama_demo.py
pip install -r requirements.txtObtenga ChatGLM-6B, consulte aquí para obtener más detalles;
Descargue LoRA, descargue el modelo y colóquelo en el directorio de lora;
Modifique los parámetros de posición del modelo en gradio_chatglm_demo.py ;
Iniciar demostración;
python gradio_chatglm_demo.py
pip install -r requirements.txtObtenga CaMA, detalles aquí;
Descargue LoRA, descargue el modelo y colóquelo en el directorio de lora;
Modifique los parámetros de posición del modelo en gradio_cama_demo.py ;
Iniciar demostración;
python gradio_cama_demo.py
Qizhen Medical Large Model se adhiere a la ruta técnica de "datos + conocimiento sobre tracción en dos ruedas". A través de la estrecha integración de la tecnología de modelos grandes y la base de conocimientos médicos, integra las necesidades reales en escenarios de aplicaciones médicas, desde la gestión de datos médicos hasta el razonamiento médico. , Preguntas y respuestas médico-paciente Se llevará a cabo investigación y desarrollo iterativos en áreas como la generación automática de registros médicos y sistemas de apoyo a la toma de decisiones clínicas para facilitar la implementación y aplicación de tecnología de modelos grandes en la industria médica. La siguiente imagen es un caso de "La base de conocimientos médicos de Qizhen ayuda a un modelo grande a generar respuestas". Esta tecnología se lanzó después de las pruebas.
Entrada: Indicaciones de la inyección de decanoato de flufenazina
ChatGLM: La inyección de decanoato de flufenazina es un medicamento con las siguientes indicaciones: 1. Se usa para tratar síntomas neuropsiquiátricos como depresión, ansiedad e insomnio; 2. Se usa para tratar la epilepsia, el trauma cerebral y la arteriosclerosis cerebral y otras enfermedades neurológicas; para aliviar el dolor crónico, como la dismenorrea, la artritis y otras enfermedades dolorosas. 4. Se utiliza para mejorar la capacidad de aprendizaje y la capacidad de memoria, y puede usarse para el desarrollo intelectual y la mejora de los efectos del aprendizaje de niños y adolescentes; infección y tratamiento del SIDA. La inyección de decanoato de flufenazina es un medicamento oral que se usa comúnmente para tratar la depresión, la ansiedad y el insomnio. Es necesario formular un plan de tratamiento basado en el consejo del médico. Cuando use la inyección de decanoato de flufenazina, debe seguir los consejos de su médico y las instrucciones y dosis del medicamento que figuran en las instrucciones del medicamento.
ChatGPT: La inyección de decanoato de flumazenil (inyección de flumazenil) es un medicamento que se usa para tratar estados sedantes o hipnóticos causados por una sobredosis o uso excesivo de benzodiazepinas (como los medicamentos diazepam). Actúa como antagonista del receptor de benzodiazepinas y puede revertir los efectos depresores de las benzodiazepinas sobre el sistema nervioso central. <La inyección de decanoato de flufenazina se utiliza principalmente para las siguientes indicaciones:
1. Sobredosis de benzodiazepinas: cuando los pacientes experimentan síntomas como coma, somnolencia y depresión respiratoria debido a una sobredosis o uso excesivo de medicamentos de diazepam, se puede usar la inyección de decanoato de flufenazina para revertir estos síntomas.
2. Reversión durante la anestesia: la inyección de decanoato de flufenazina se puede usar para revertir los efectos sedantes de las benzodiazepinas después de una cirugía u otros procedimientos anestésicos y ayudar a los pacientes a regresar a un estado consciente.
3. Uso diagnóstico: La inyección de decanoato de flufenazina también se puede utilizar para ayudar en el diagnóstico de intoxicación o sobredosis de benzodiazepinas.
Tenga en cuenta que la inyección de decanoato de flufenazina debe usarse de manera racional y ser supervisada por un médico profesional según circunstancias específicas. Antes de usar este medicamento, lea y siga atentamente las instrucciones del medicamento y siga las instrucciones y recomendaciones de su médico.
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500: Este producto se utiliza para esquizofrenia, manía, etc. También se puede utilizar para el dolor miotónico.
QiZhen-CaMA-13B-Checkpoint-3600: Este producto se utiliza para diversas manifestaciones de la esquizofrenia.
entrada: ¿Cuáles son las principales funciones del té tibetano de frutas verdes?
ChatGLM: El té tibetano de frutas verdes es una bebida natural, hecha principalmente de frutas verdes, hojas de té, miel y otros materiales. Sus funciones principales incluyen: 1. Mejorar la inmunidad: el té de frutas verdes tibetano es rico en nutrientes, como vitamina C, vitamina E, etc., que pueden mejorar la inmunidad del cuerpo, mejorar la resistencia del cuerpo y prevenir la aparición de enfermedades. 2. Promueve la digestión: el té de frutas verdes tibetano es rico en fibra, que puede promover la motilidad gastrointestinal, ayudar a la digestión y prevenir el estreñimiento. 3. Efecto antioxidante: el extracto de fruta verde del té de fruta verde tibetano tiene un fuerte efecto antioxidante, que puede eliminar los radicales libres del cuerpo, retrasar el envejecimiento y prevenir enfermedades. 4. Reducir los lípidos en sangre: el extracto de té del té de frutas verdes tibetano tiene cierto efecto en la reducción de los lípidos en sangre y puede prevenir y tratar la hiperlipidemia. 5. Mejorar el sueño: la miel del té de frutas verdes tibetano tiene un cierto efecto sedante, que puede ayudar a aliviar el estrés, mejorar la calidad del sueño y mejorar la capacidad de autocuración del cuerpo.
ChatGPT: El té tibetano de frutas verdes es una bebida de té elaborada con fruta verde tibetana como principal materia prima. Hasta donde yo sé, tiene las siguientes funciones principales:
1. Efecto antioxidante: la fruta verde tibetana es rica en una variedad de antioxidantes naturales, como polifenoles y vitamina C, que pueden ayudar a eliminar los radicales libres del cuerpo, ralentizar el envejecimiento celular y mejorar la inmunidad.
2. Promueve la digestión: el té de frutas verdes tibetanos tiene un buen efecto estimulante de la digestión, ayuda a promover la motilidad gastrointestinal, mejora la función digestiva y alivia las molestias estomacales y la indigestión.
3. Proporcionar nutrición: la fruta verde tibetana es rica en vitamina C, vitamina E, complejo de vitamina B, minerales y otros nutrientes. Beber té de frutas verdes tibetanas puede proporcionar al cuerpo los nutrientes que necesita.
4. Pérdida de peso: se considera que el té de frutas verdes tibetano tiene un efecto de pérdida de peso. Puede promover el metabolismo, acelerar la descomposición y quema de grasas y ayudar a reducir el peso y la acumulación de grasa.
5. Antiinflamatorio y analgésico: El té de frutas verdes tibetano contiene algunos ingredientes con efectos antiinflamatorios y analgésicos, que pueden aliviar molestias como dolores articulares, musculares y de cabeza.
6. Mejora el sueño: El té de frutas verdes tibetanos ayuda a relajar el sistema nervioso, tiene un efecto calmante y calmante, puede mejorar la calidad del sueño y aliviar los problemas de insomnio.
Cabe señalar que los efectos anteriores se basan principalmente en los usos tradicionales del té tibetano de frutas verdes y en ciertos resultados de investigaciones. Los efectos específicos varían de persona a persona y pueden verse afectados por diferencias individuales y métodos de uso. Si tiene una condición de salud específica o necesita tomar medicamentos, se recomienda buscar el consejo de un médico o profesional de la salud.
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500: elimina el calor, desintoxica, produce fluidos corporales y calma la sed. Puede aliviar síntomas como fiebre, sed y dolor de garganta.
QiZhen-CaMA-13B-Checkpoint-3600: El té de frutas azules ocultas tiene los efectos de eliminar el calor, calmar la garganta, reducir la hinchazón y aliviar el dolor.
El té de frutas verdes tibetano se puede utilizar para aliviar síntomas como enrojecimiento y dolor de garganta, garganta seca y ardor, ronquera y otros síntomas.
entrada: ¿Cuáles son las manifestaciones clínicas del síndrome de Reiter?
ChatGLM: El síndrome de Reiter (síndrome de Reiter tipo I) es un soplo cardíaco congénito cuyas manifestaciones clínicas incluyen:
Soplo cardíaco: el soplo cardíaco característico del síndrome de Wright tipo I es un soplo en derivación de derecha a izquierda causado por un agujero oval permeable, que generalmente se caracteriza por variabilidad en la intensidad, ubicación y frecuencia del soplo.
Hipertensión pulmonar: las personas con síndrome de Reiter tipo I suelen tener hipertensión pulmonar, lo que puede provocar insuficiencia respiratoria e insuficiencia cardíaca.
Anormalidades en el crecimiento y el desarrollo: la mayoría de las personas con síndrome de Reiter tipo I mostrarán anormalidades en el crecimiento y el desarrollo, como baja estatura, desnutrición y gigantismo en la niñez y la adolescencia.
Anomalías estructurales del corazón: aunque los soplos son la manifestación clínica principal del síndrome de Reiter tipo I, algunos pacientes también pueden tener otras anomalías estructurales del corazón, como enfermedad de las válvulas cardíacas y arritmias.
Otros síntomas: las personas con síndrome de Reiter tipo I también pueden tener otros síntomas, como fatiga, dificultad para respirar, dolor en el pecho, tos, hinchazón y estreñimiento. Estos síntomas pueden estar relacionados con el soplo cardíaco y la hipertensión pulmonar, pero también pueden estar relacionados con otros factores.
Cabe señalar que el síndrome de Reiter tipo I es una enfermedad rara y sus manifestaciones clínicas pueden variar según las diferencias individuales. Si sospecha que tiene síndrome de Reiter tipo I, consulte a su médico de inmediato para recibir diagnóstico y tratamiento.
ChatGPT: El síndrome de Reiter se refiere a una enfermedad causada por la acalasia del esfínter esofágico inferior y la motilidad esofágica debilitada causada por la enfermedad por reflujo gastroesofágico (ERGE). Sus principales manifestaciones clínicas incluyen:
Disfagia: El paciente se siente atascado al tragar y necesita tragar varias veces para tragar el alimento.
Dolor en el pecho: las personas con síndrome de Reiter suelen experimentar dolor en el pecho, especialmente después de comer o acostarse.
Eructos y reflujo ácido: los pacientes suelen experimentar eructos y reflujo ácido, especialmente después de comer o acostarse.
Ronquera: La voz del paciente puede volverse ronca debido a la irritación de las áreas de la boca y la garganta por el material de reflujo.
Dolor de garganta: el material de reflujo irrita la mucosa de la garganta.
Es importante señalar que los síntomas del síndrome de Reiter son similares a los de otras enfermedades, por lo que el diagnóstico debe confirmarse mediante exámenes y métodos de diagnóstico pertinentes.
QiZhen-CaMA-13B-Checkpoint-12400: Las principales manifestaciones clínicas del síndrome de Reiter son artritis aguda o crónica, uretritis, conjuntivitis y lesiones cutáneas y mucosas.
El síndrome de Reiter es una enfermedad inflamatoria crónica inespecífica de etiología desconocida. Es un tipo de espondiloartritis seronegativa. Se caracteriza por poliartritis recurrente, migratoria y asimétrica, que puede ir acompañada de inflamación uretral, conjuntivitis, piel y mucosas. y lesiones oculares.
Las principales manifestaciones clínicas del síndrome de Reiter son artritis aguda o crónica, uretritis, conjuntivitis y lesiones cutáneas y mucosas.
1. Artritis: la más común, cualquier articulación puede verse afectada y es más común en las articulaciones pequeñas de las rodillas, los tobillos y los pies. Puede producirse enrojecimiento local, hinchazón, calor, dolor y disfunción.
2. Uretritis: se manifiesta por micción frecuente, urgencia, disuria, enrojecimiento e hinchazón del orificio uretral, aumento de las secreciones uretrales, etc.
3. Conjuntivitis: se manifiesta como inflamación conjuntival unilateral o bilateral, que puede incluir congestión conjuntival, edema, edema palpebral, aumento de secreciones, etc.
4. Lesiones cutáneas y mucosas: se manifiestan como eritema seborreico, eritema genital, pústulas, pústulas cutáneas y úlceras cutáneas.
Criterios de evaluación: seleccione aleatoriamente 94 tipos de datos de medicamentos, siga las instrucciones de composición de "Indicaciones para {medicamento}", deje que ChatGPT (gpt3.5), ChatGLM y QiZhe respondan respectivamente, y luego pida al personal médico profesional que模型的答案Comparar y puntuar con该药品的药品说明书. Los siguientes son tres criterios de puntuación:
Estándar 1: Si la respuesta modelo acierta en una indicación, la respuesta es correcta;
Estándar 2: Si el número de indicaciones atendidas por la respuesta modelo es mayor o igual a la mitad del número de indicaciones en el prospecto del medicamento, la respuesta es correcta;
Estándar 3: Si el número de indicaciones atendidas por la respuesta modelo es mayor o igual a 2/3 del número de indicaciones en el prospecto del medicamento, la respuesta es correcta;
| Modelo | Estándar 1 | Estándar 2 | Estándar 3 |
|---|---|---|---|
| ChatGLM | 39,36% | 23,16% | 14,74% |
| ChatGPT | 47,87% | 30,85% | 15,96% |
| QiZhen-Chino-LLaMA-7B-Checkpoint-3500 | 77,66% | 55,32% | 40,00% |
| QiZhen-Chino-LLaMA-7B-Checkpoint-6000 | 90,43% | 73,40% | 65,96% |
| QiZhen-CaMA-13B-Checkpoint-3600 | 82,29% | 60,62% | 47,92% |
| QiZhen-CaMA-13B-Checkpoint-6000 | 90,43% | 80,85% | 72,34% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 91,49% | 82,98% | 72,34% |
Observación:
repetition_penalty ;QiZhen-CaMA-13B-Checkpoint-3600 , hemos aumentado la cantidad de parámetros de LoRA y el efecto se ha mejorado efectivamente; Criterios de evaluación: seleccione al azar 100 datos de enfermedades y forme "medicamentos terapéuticos" de acuerdo con "¿Qué medicamentos pueden tratar {enfermedad}?", "¿Qué exámenes se necesitan para {enfermedad}?", "¿Cuáles son las manifestaciones clínicas de {enfermedad}? ?", "Examen" y "manifestaciones clínicas" se refieren a Ordene, deje que ChatGPT (gpt3.5), ChatGLM y QiZhen0 respondan respectivamente, y luego solicite al personal médico profesional que compare y califique模型的答案con启真医学知识库疾病知识. Los siguientes son los tres estándares de puntuación. :
Estándar 1: Si la respuesta modelo corresponde a un "fármaco terapéutico" ("prueba de examen", "manifestación clínica"), la respuesta es correcta;
Estándar 2: Si el número de "medicamentos terapéuticos" ("pruebas de examen", "manifestaciones clínicas") alcanzados por la respuesta del modelo es mayor o igual a la mitad del número de indicaciones en las instrucciones del medicamento, la respuesta es correcta ;
Estándar 3: Si el número de "medicamentos terapéuticos" ("pruebas de inspección", "manifestaciones clínicas") alcanzados por la respuesta del modelo es mayor o igual a 2/3 del número de indicaciones en las instrucciones del medicamento, la respuesta es correcta ;
| Modelo | Estándar de desempeño clínico 1 | Criterios de desempeño clínico 2 | Criterios de desempeño clínico 3 | Verifique los estándares de inspección 1 | Verifique el estándar de inspección 2 | Verifique el estándar de inspección 3 | Estándares de medicamentos terapéuticos 1 | Estándares de medicamentos terapéuticos 2 | Estándares de medicamentos terapéuticos 3 |
|---|---|---|---|---|---|---|---|---|---|
| chatglm | 90,00% | 6,00% | 3,00% | 93,00% | 11,00% | 6,00% | 60,00% | 10,00% | 5,00% |
| chatgpt | 94,00% | 11,00% | 4,00% | 97,00% | 8,00% | 5,00% | 62,00% | 11,00% | 4,00% |
| QiZhen-CaMA-13B-Checkpoint-12400 | 95,00% | 15,00% | 7,00% | 97,00% | 20,00% | 7,00% | 75,00% | 36,00% | 23,00% |
Además, este proyecto se basa en el desarrollo secundario de los siguientes proyectos de código abierto. Me gustaría expresar mi gratitud a los proyectos relevantes y al personal de investigación y desarrollo.
Ver LICENCIA para más detalles
Los recursos relacionados con este proyecto son únicamente para investigación académica y están estrictamente prohibidos para uso comercial. Cuando utilice piezas que incluyan código de terceros, siga estrictamente el acuerdo de código abierto correspondiente. El contenido generado por el modelo se ve afectado por factores como el cálculo del modelo, la aleatoriedad y la pérdida de precisión de la cuantificación, y este proyecto no garantiza su precisión. Este proyecto no asume ninguna responsabilidad legal por el contenido generado por el modelo, ni es responsable de las pérdidas que puedan surgir del uso de recursos relacionados y resultados de producción.
El documento técnico estará disponible próximamente.
