QiZhenGPT
1.0.0
QiZhenGPT: um modelo médico chinês de código aberto em grande linguagem
Este projeto usa o conjunto de dados de instruções médicas chinesas construído pela Qizhen Medical Knowledge Base e, com base nisso, as instruções são ajustadas nos modelos Chinese-LLaMA-Plus-7B, CaMA-13B e ChatGLM-6B, o que melhora muito o desempenho do modelo em cenários médicos chineses Para alcançar os resultados desejados, primeiro lançamos um conjunto de dados de avaliação para perguntas e respostas sobre conhecimentos sobre medicamentos, com planos subsequentes para otimizar os efeitos das perguntas e respostas sobre doenças, cirurgias, testes, etc., e expandir em aplicações como. perguntas e respostas médico-paciente e geração automática de registros médicos.
MedCopilot é um assistente médico inteligente desenvolvido com base no启真医学大模型, na base de conhecimento médico de Qizhen e医疗临床数据. Seu objetivo é fornecer suporte inteligente abrangente para pacientes, médicos e gerenciamento hospitalar. Ao integrar tecnologia avançada de inteligência artificial, rico conhecimento médico e dados clínicos, a MedCopilot se tornará uma nova força produtiva na indústria médica.
O MedCopilot foi lançado oficialmente no Segundo Hospital Afiliado da Universidade de Zhejiang.
[2024/08/09] Atualizar informações relacionadas ao MedCopilot;
[2023/06/27] A versão de teste de modelo médico grande QiZhen de código aberto (QiZhen-CaMA-13B-Checkpoint-12400) foi projetada para melhorar a precisão das perguntas e respostas do conhecimento sobre doenças e medicamentos na área médica;
[2023/06/09] A versão de teste de modelo médico grande QiZhen de código aberto (QiZhen-CaMA-13B-Checkpoint-6000) foi projetada para melhorar a precisão das perguntas e respostas sobre conhecimento de medicamentos na área médica;
[2023/06/02] A versão de teste de modelo médico grande QiZhen de código aberto (QiZhen-CaMA-13B-Checkpoint-3600) foi projetada para melhorar a precisão das perguntas e respostas sobre conhecimento de medicamentos na área médica;
[2023/05/30] Dados de treinamento de código aberto 20k (este conjunto de dados vem de dados reais de perguntas e respostas de conhecimento médico-paciente coletados e compilados pela Qizhen Medical Knowledge Base e com base no conhecimento de texto de medicamentos da Qizhen Medical Knowledge Base, por meio de semi -Dados estruturados definem os dados de instrução construídos pelo modelo de pergunta específico);
[2023/05/30] A versão de teste de modelo médico grande QiZhen de código aberto (QiZhen-ChatGLM-6B-Checkpoint-2500) foi projetada para melhorar a precisão das perguntas e respostas sobre conhecimento de medicamentos na área médica;
[2023/05/25] Conjunto de dados de avaliação de indicação de medicamentos de código aberto;
[2023/05/24] A versão de teste de modelo médico grande QiZhen de código aberto (QiZhen-Chinese-LLaMA-7B-Checkpoint-6000) foi projetada para melhorar a precisão das perguntas e respostas sobre conhecimento de medicamentos na área médica;
[2023/05/23] A versão de teste de modelo médico grande Qizhen de código aberto (QiZhen-Chinese-LLaMA-7B- Checkpoint-3500) foi projetada para melhorar a precisão das perguntas e respostas sobre conhecimento de medicamentos na área médica;
MedCopilot está profundamente integrado ao sistema HIS e ao sistema de prontuário eletrônico, usando o grande modelo Qizhen Medical para analisar os dados de cada sistema e resumir automaticamente os itens de trabalho importantes do médico naquele dia.
MedCopilot combina a base de conhecimento médico da Qizhen e dados clínicos de pacientes para fornecer diagnóstico personalizado e recomendações de tratamento para ajudar os médicos a tomar decisões médicas mais precisas.
De acordo com a política nacional de qualidade médica, a MedCopilot monitoriza os dados do processo médico em tempo real, detecta e corrige potenciais problemas em tempo útil e melhora a qualidade médica geral.
O MedCopilot analisa de forma abrangente os dados de diagnóstico e tratamento do paciente e gera automaticamente documentos de prontuários médicos que atendem aos regulamentos, reduzindo o trabalho repetitivo dos médicos e melhorando a eficiência do trabalho.
Atualmente, a maioria dos projetos ChatLLM de código aberto usa dados de instrução gerados por outros modelos (como ChatGPT), o que inevitavelmente apresenta o problema da ilusão de dados. O problema da ilusão de dados afetará seriamente a aplicação e a expansão do LLM em cenários reais. Portanto, a fim de melhorar a precisão das perguntas e respostas do conhecimento na área médica, este projeto utiliza o seguinte método para construir o conjunto de dados de instrução:
560K dados de instrução;180K ;298K dados de instrução;3500 steps (treinamento 23h50min);6000 steps (treinamento 40h56min);2500 steps do processo de treinamento. (treino 16h20min);3600 steps do processo de treinamento. (treino 37h37min).6000 steps do processo de treinamento. (treinamento 54h30min).12400 steps do processo de treinamento. (treino 114h46min).| Modelo | conjunto de dados de instrução | Modelo Básico | Baixar LoRA |
|---|---|---|---|
| QiZhen-Chinês-LLaMA-7B- Ponto de Verificação-3500 | 740 mil | Chinês-LLaMA-Plus-7B | Baidu SkyDisk |
| QiZhen-Chinês-LLaMA-7B- Ponto de Verificação-6000 | 740 mil | Chinês-LLaMA-Plus-7B | Baidu SkyDisk |
| QiZhen-ChatGLM-6B-Ponto de verificação-2500 | 740 mil | Bate-papoGLM-6B | Baidu SkyDisk |
| QiZhen-CaMA-13B-Ponto de verificação-3600 | 740 mil | CaMA | Baidu SkyDisk |
| QiZhen-CaMA-13B-Ponto de verificação-6000 | 740 mil | CaMA | Baidu SkyDisk |
| QiZhen-CaMA-13B-Ponto de verificação-12400 | 1038 mil | CaMA | Baidu SkyDisk |
pip install -r requirements.txtObtenha o Chinese-LLaMA-Plus-7B, veja aqui para detalhes;
Baixe o LoRA, baixe o modelo e coloque-o no diretório lora;
Executar scripts/merge_llama_plus.sh script;
sh scripts/merge_llama_plus.sh
gradio_chinese-llama_demo.py ; python gradio_chinese-llama_demo.py
pip install -r requirements.txtObtenha o ChatGLM-6B, veja aqui para detalhes;
Baixe o LoRA, baixe o modelo e coloque-o no diretório lora;
Modifique os parâmetros de posição do modelo em gradio_chatglm_demo.py ;
Iniciar demonstração;
python gradio_chatglm_demo.py
pip install -r requirements.txtObtenha CaMA, detalhes aqui;
Baixe o LoRA, baixe o modelo e coloque-o no diretório lora;
Modifique os parâmetros de posição do modelo em gradio_cama_demo.py ;
Iniciar demonstração;
python gradio_cama_demo.py
O Qizhen Medical Large Model adere à rota técnica de "dados + conhecimento com tração dupla". Por meio da estreita integração da tecnologia de grandes modelos e da base de conhecimento médico, ele integra as necessidades reais em cenários de aplicação médica, desde gerenciamento de dados médicos, raciocínio médico. , perguntas e respostas médico-paciente Pesquisa e desenvolvimento iterativos serão realizados em áreas como geração automática de registros médicos e sistemas de apoio à tomada de decisões clínicas para facilitar a implementação e aplicação de tecnologia de grande modelo na indústria médica. A imagem abaixo é um caso de “A Base de Conhecimento Médico Qizhen auxilia um grande modelo a gerar respostas”. Esta tecnologia foi lançada após testes.
Entrada: Indicações de injeção de decanoato de flufenazina
ChatGLM: Decanoato de Flufenazina Injetável é um medicamento com as seguintes indicações: 1. Usado para tratar sintomas neuropsiquiátricos como depressão, ansiedade e insônia 2. Usado para tratar epilepsia, trauma cerebral e arteriosclerose cerebral e outras doenças neurológicas; para aliviar dores crônicas, como dismenorreia, artrite e outras doenças dolorosas 4. Usado para melhorar a capacidade de aprendizagem e capacidade de memória, e pode ser usado para o desenvolvimento intelectual e melhoria dos efeitos de aprendizagem de crianças e adolescentes; infecção e tratamento da AIDS. A injeção de decanoato de flufenazina é um medicamento oral comumente usado para tratar depressão, ansiedade e insônia. Um plano de tratamento precisa ser formulado com base no conselho do médico. Ao usar a injeção de decanoato de flufenazina, você deve seguir o conselho do seu médico e as instruções e dosagem do medicamento nas instruções do medicamento.
ChatGPT: Injeção de Decanoato de Flumazenil (Injeção de Flumazenil) é um medicamento usado para tratar estados sedativos ou hipnóticos causados por overdose ou uso excessivo de benzodiazepínicos (como o diazepam). Atua como um antagonista do receptor de benzodiazepínicos e pode reverter os efeitos depressores do sistema nervoso central dos benzodiazepínicos. <A injeção de decanoato de flufenazina é usada principalmente para as seguintes indicações:
1. Sobredosagem de benzodiazepínicos: Quando os pacientes apresentam sintomas como coma, sonolência e depressão respiratória devido a overdose ou uso excessivo de medicamentos diazepam, a injeção de decanoato de flufenazina pode ser usada para reverter esses sintomas.
2. Reversão durante a anestesia: A injeção de decanoato de flufenazina pode ser usada para reverter os efeitos sedativos dos benzodiazepínicos após cirurgia ou outros procedimentos anestésicos e ajudar os pacientes a retornar ao estado consciente.
3. Uso diagnóstico: A injeção de decanoato de flufenazina também pode ser usada para auxiliar no diagnóstico de intoxicação ou overdose por benzodiazepínicos.
Observe que a injeção de decanoato de flufenazina deve ser usada racionalmente e monitorada por um médico profissional com base em circunstâncias específicas. Antes de usar este medicamento, leia atentamente e siga as instruções do medicamento e siga as instruções e recomendações do seu médico.
QiZhen-Chinese-LLaMA-7B- Checkpoint-3500: Este produto é usado para esquizofrenia, mania, etc. Também pode ser usado para dor miotônica.
QiZhen-CaMA-13B-Checkpoint-3600: Este produto é usado para diversas manifestações da esquizofrenia.
entrada: Quais são as principais funções do Chá Tibetano de Frutas Verdes?
ChatGLM: O chá tibetano de frutas verdes é uma bebida natural, feita principalmente de frutas verdes, folhas de chá, mel e outros materiais. Suas principais funções incluem: 1. Melhorar a imunidade: o chá tibetano de frutas verdes é rico em nutrientes, como vitamina C, vitamina E, etc., que podem aumentar a imunidade do corpo, melhorar a resistência do corpo e prevenir a ocorrência de doenças. 2. Promove a digestão: o chá de frutas verdes tibetano é rico em fibras, que pode promover a motilidade gastrointestinal, ajudar na digestão e prevenir a constipação. 3. Efeito antioxidante: O extrato de frutas verdes no chá de frutas verdes tibetano tem um forte efeito antioxidante, que pode remover os radicais livres no corpo, retardar o envelhecimento e prevenir doenças. 4. Reduzir os lipídios no sangue: O extrato de chá do chá de frutas verdes tibetano tem um certo efeito na redução dos lipídios no sangue e pode prevenir e tratar a hiperlipidemia. 5. Melhorar o sono: O mel do chá de frutas verdes tibetano tem um certo efeito sedativo, que pode ajudar a aliviar o estresse, melhorar a qualidade do sono e melhorar a capacidade de autocura do corpo.
ChatGPT: O chá de frutas verdes tibetano é uma bebida de chá feita com frutas verdes tibetanas como principal matéria-prima. Pelo que eu sei, tem as seguintes funções principais:
1. Efeito antioxidante: A fruta verde tibetana é rica em uma variedade de antioxidantes naturais, como polifenóis e vitamina C, que podem ajudar a remover os radicais livres no corpo, retardar o envelhecimento celular e aumentar a imunidade.
2. Promover a digestão: O chá de frutas verdes tibetano tem um bom efeito estimulante digestivo, ajuda a promover a motilidade gastrointestinal, melhora a função digestiva e alivia desconforto estomacal e indigestão.
3. Fornece nutrição: A fruta verde tibetana é rica em vitamina C, vitamina E, vitamina B, minerais e outros nutrientes. Beber chá de fruta verde tibetana pode fornecer ao corpo os nutrientes de que necessita.
4. Perda de peso: O chá de frutas verdes tibetano é considerado um efeito de perda de peso. Pode promover o metabolismo, acelerar a decomposição e queima de gordura e ajudar a reduzir o peso e o acúmulo de gordura.
5. Antiinflamatório e analgésico: O chá tibetano de frutas verdes contém alguns ingredientes com efeitos antiinflamatórios e analgésicos, que podem aliviar desconfortos como dores nas articulações, dores musculares e dores de cabeça.
6. Melhorar o sono: O chá tibetano de frutas verdes ajuda a relaxar o sistema nervoso, tem efeito calmante e calmante, pode melhorar a qualidade do sono e aliviar problemas de insônia.
Deve-se notar que os efeitos acima são baseados principalmente nos usos tradicionais do Chá de Frutas Verdes Tibetano e em certos resultados de pesquisas. Os efeitos específicos variam de pessoa para pessoa e podem ser afetados por diferenças individuais e métodos de uso. Se você tem um problema de saúde específico ou precisa tomar medicamentos, é recomendável consultar um médico ou profissional de saúde.
QiZhen-Chinês-LLaMA-7B- Checkpoint-3500: elimina o calor, desintoxica, produz fluidos corporais e sacia a sede. Pode aliviar sintomas como febre, sede e dor de garganta.
QiZhen-CaMA-13B-Checkpoint-3600: O chá de frutas azuis oculto tem os efeitos de eliminar o calor, acalmar a garganta, reduzir o inchaço e aliviar a dor.
O chá tibetano de frutas verdes pode ser usado para aliviar sintomas como vermelhidão e dor de garganta, garganta seca e ardente, rouquidão e outros sintomas.
entrada: Quais são as manifestações clínicas da síndrome de Reiter?
ChatGLM: A síndrome de Reiter (síndrome de Reiter tipo I) é um sopro cardíaco congênito cujas manifestações clínicas incluem:
Sopro cardíaco: O sopro cardíaco característico da síndrome de Wright tipo I é um sopro de derivação da direita para a esquerda causado por um forame oval patente, que geralmente é caracterizado pela variabilidade na intensidade, localização e frequência do sopro.
Hipertensão pulmonar: Pessoas com síndrome de Reiter tipo I costumam apresentar hipertensão pulmonar, que pode causar insuficiência respiratória e cardíaca.
Anormalidades de crescimento e desenvolvimento: A maioria das pessoas com síndrome de Reiter tipo I apresentará anormalidades de crescimento e desenvolvimento, como baixa estatura, desnutrição e gigantismo na infância e adolescência.
Anormalidades estruturais do coração: Embora os sopros sejam a principal manifestação clínica da síndrome de Reiter tipo I, alguns pacientes também podem apresentar outras anormalidades estruturais do coração, como doença valvular cardíaca e arritmias.
Outros sintomas: Pessoas com síndrome de Reiter tipo I também podem apresentar outros sintomas, como fadiga, dificuldade para respirar, dor no peito, tosse, distensão abdominal e prisão de ventre. Esses sintomas podem estar relacionados ao sopro cardíaco e à hipertensão pulmonar, mas também podem estar relacionados a outros fatores.
Ressalta-se que a síndrome de Reiter tipo I é uma doença rara e suas manifestações clínicas podem variar dependendo das diferenças individuais. Se você suspeitar que tem síndrome de Reiter tipo I, consulte seu médico para diagnóstico e tratamento a tempo.
ChatGPT: A síndrome de Reiter refere-se a uma doença causada por acalasia do esfíncter esofágico inferior e enfraquecimento da motilidade esofágica causada pela doença do refluxo gastroesofágico (DRGE). Suas principais manifestações clínicas incluem:
Disfagia: O paciente sente-se preso ao engolir e precisa engolir diversas vezes para engolir o alimento.
Dor no peito: Pessoas com síndrome de Reiter costumam sentir dor no peito, especialmente depois de comer ou deitar.
Arrotos e refluxo ácido: os pacientes costumam apresentar arrotos e refluxo ácido, especialmente depois de comer ou deitar-se.
Rouquidão: A voz do paciente pode ficar rouca devido à irritação da boca e da garganta pelo material de refluxo.
Dor de garganta: o material de refluxo irrita a mucosa da garganta.
É importante ressaltar que os sintomas da síndrome de Reiter são semelhantes aos de outras doenças, portanto o diagnóstico precisa ser confirmado por meio de exames e métodos diagnósticos pertinentes.
QiZhen-CaMA-13B-Checkpoint-12400: As principais manifestações clínicas da síndrome de Reiter são artrite aguda ou crônica, uretrite, conjuntivite e lesões cutâneas e mucosas.
A síndrome de Reiter é uma doença inflamatória crônica inespecífica de etiologia desconhecida. É um tipo de espondiloartrite soronegativa. Caracteriza-se por poliartrite assimétrica, migratória e recorrente, que pode ser acompanhada por doença inflamatória uretral. e lesões oculares.
As principais manifestações clínicas da síndrome de Reiter são artrite aguda ou crônica, uretrite, conjuntivite e lesões cutâneas e mucosas.
1. Artrite: A mais comum, qualquer articulação pode ser afetada, sendo mais comum nas pequenas articulações dos joelhos, tornozelos e pés. Pode ocorrer vermelhidão local, inchaço, calor, dor e disfunção.
2. Uretrite: manifestada por micção frequente, urgência, disúria, vermelhidão e inchaço do orifício uretral, aumento das secreções uretrais, etc.
3. Conjuntivite: manifesta-se como inflamação conjuntival unilateral ou bilateral, que pode incluir congestão conjuntival, edema, edema palpebral, aumento de secreções, etc.
4. Lesões cutâneas e mucosas: manifestadas como eritema seborreico, eritema genital, pústulas, pústulas cutâneas e úlceras cutâneas.
Critérios de avaliação: Selecione aleatoriamente 94 tipos de dados de medicamentos, siga as instruções de composição "Indicações para {droga}", deixe ChatGPT (gpt3.5), ChatGLM e QiZhe responderem respectivamente e, em seguida, peça ao pessoal médico profissional para模型的答案. e pontuação com该药品的药品说明书. A seguir estão três critérios de pontuação:
Padrão 1: Se a resposta do modelo acertar uma indicação, a resposta está correta;
Padrão 2: Se o número de indicações atingidas pela resposta do modelo for maior ou igual a 1/2 do número de indicações da bula do medicamento, a resposta está correta;
Padrão 3: Se o número de indicações atingidas pela resposta do modelo for maior ou igual a 2/3 do número de indicações nas instruções do medicamento, a resposta está correta;
| Modelo | Padrão 1 | Padrão 2 | Padrão 3 |
|---|---|---|---|
| Bate-papoGLM | 39,36% | 23,16% | 14,74% |
| Bate-papoGPT | 47,87% | 30,85% | 15,96% |
| QiZhen-Chinês-LLaMA-7B-Checkpoint-3500 | 77,66% | 55,32% | 40,00% |
| QiZhen-Chinês-LLaMA-7B-Checkpoint-6000 | 90,43% | 73,40% | 65,96% |
| QiZhen-CaMA-13B-Ponto de verificação-3600 | 82,29% | 60,62% | 47,92% |
| QiZhen-CaMA-13B-Ponto de verificação-6000 | 90,43% | 80,85% | 72,34% |
| QiZhen-CaMA-13B-Ponto de verificação-12400 | 91,49% | 82,98% | 72,34% |
Observação:
repetition_penalty ;QiZhen-CaMA-13B-Checkpoint-3600 , aumentamos o número de parâmetros LoRA e o efeito foi efetivamente melhorado; Critérios de avaliação: Selecionar aleatoriamente 100 dados de doenças e formar "medicamentos terapêuticos" de acordo com "Quais medicamentos podem tratar {doença}?", "Quais exames são necessários para {doença}?", "Quais são as manifestações clínicas de {doença}?" ?", "Exame" e "manifestações clínicas" referem-se a Faça o pedido, deixe ChatGPT (gpt3.5), ChatGLM e QiZhen0 responderem respectivamente e, em seguida, peça ao pessoal médico profissional para comparar e pontuar模型的答案com启真医学知识库疾病知识. :
Padrão 1: Se a resposta do modelo acertar “medicamento terapêutico” (“exame de exame”, “manifestação clínica”), a resposta está correta;
Padrão 2: Se o número de “medicamentos terapêuticos” (“exames”, “manifestações clínicas”) atingido pela resposta do modelo for maior ou igual a 1/2 do número de indicações nas bulas dos medicamentos, a resposta está correta ;
Padrão 3: Se o número de “medicamentos terapêuticos” (“exames”, “manifestações clínicas”) atingido pela resposta do modelo for maior ou igual a 2/3 do número de indicações nas bulas dos medicamentos, a resposta está correta ;
| Modelo | Padrão de Desempenho Clínico 1 | Critérios de Desempenho Clínico 2 | Critérios de Desempenho Clínico 3 | Verifique os padrões de inspeção 1 | Verifique o Padrão de Inspeção 2 | Verifique o Padrão de Inspeção 3 | Padrões de medicamentos terapêuticos 1 | Padrões de Medicamentos Terapêuticos 2 | Padrões de Medicamentos Terapêuticos 3 |
|---|---|---|---|---|---|---|---|---|---|
| chatglm | 90,00% | 6,00% | 3,00% | 93,00% | 11,00% | 6,00% | 60,00% | 10,00% | 5,00% |
| chatgpt | 94,00% | 11,00% | 4,00% | 97,00% | 8,00% | 5,00% | 62,00% | 11,00% | 4,00% |
| QiZhen-CaMA-13B-Ponto de verificação-12400 | 95,00% | 15,00% | 7,00% | 97,00% | 20,00% | 7,00% | 75,00% | 36,00% | 23,00% |
Além disso, este projeto é baseado nos seguintes projetos de código aberto para desenvolvimento secundário. Gostaria de expressar minha gratidão aos projetos relevantes e ao pessoal de pesquisa e desenvolvimento.
Consulte LICENÇA para obter detalhes
Os recursos relacionados a este projeto são apenas para pesquisa acadêmica e seu uso comercial é estritamente proibido. Ao usar partes que envolvam código de terceiros, siga rigorosamente o contrato de código aberto correspondente. O conteúdo gerado pelo modelo é afetado por fatores como cálculo do modelo, aleatoriedade e perda de precisão da quantificação, e este projeto não garante sua precisão. Este projeto não assume qualquer responsabilidade legal por qualquer conteúdo produzido pelo modelo, nem é responsável por quaisquer perdas que possam surgir do uso de recursos relacionados e resultados de saída.
Artigo técnico será lançado em breve.
