微调 qlora falcon7b 医疗
1.0.0
心理健康问题经常被公众误解或没有完全理解。这种缺乏了解可能会导致恐惧、不适和对心理健康状况的负面看法。媒体对心理健康的描述往往会延续负面的刻板印象，导致误解和恐惧。克服心理健康耻辱需要采取多方面的方法，包括教育、提高认识、促进同理心和理解、挑战陈规定型观念以及确保提供可及和优质的心理卫生保健。心理健康直接影响个人的整体福祉、生活质量以及日常生活中有效运作的能力。良好的心理健康对于体验幸福、成就感和使命感至关重要。心理健康和身体健康紧密相连。未经治疗的心理健康问题可能会导致或恶化身体健康问题，例如心血管疾病、免疫系统减弱和慢性病。
聊天机器人为寻求支持的个人提供了一个随时可用且易于访问的平台。他们可以随时随地访问，为有需要的人提供即时帮助。聊天机器人可以提供同理心和非评判性的反应，为用户提供情感支持。虽然它们不能完全取代人际互动，但它们可以成为有用的补充，尤其是在痛苦的时刻。
注意：值得注意的是，虽然心理健康聊天机器人可能有所帮助，但它们并不能替代专业的心理健康护理。他们可以通过提供额外的支持和资源来补充现有的心理健康服务。
该数据集是根据与心理健康相关的在线常见问题解答、WebMD、Mayo Clinic 和 Healthline 等热门医疗博客以及其他与心理健康相关的 wiki 文章整理而成的。数据集以对话格式进行预处理，以便患者提出的问题和医生给出的回答都在同一文本中。该心理健康对话人工智能的数据集可以在这里找到：heliosbrahma/mental_health_chatbot_dataset。
注意：所有问题和答案都已匿名以删除任何 PII 数据，并经过预处理以删除任何不需要的字符。
这是整个项目的主要步骤。我使用了分片的 Falcon-7B 预训练模型，并将其微调为在我的自定义心理健康数据集上使用 QLoRA 技术。整个微调过程花费了不到一个小时，并且完全在 Google Colab Pro 的 Nvidia A100 上进行了微调。但是，它也可以使用 Colab 提供的 Nvidia T4 在免费 GPU 上进行训练。在这种情况下，我们必须确保使用 max_steps 小于 150。我的博客文章中提到了使用分片预训练模型背后的基本原理：Fine-tuning of Falcon-7B Large Language Model using QLoRA on Mental Health Dataset
此处添加来自 180 步训练运行的 WandB 监控日志的训练损失指标跟踪报告：Falcon-7B PEFT 的训练/损失日志
注意：尝试根据您的要求更改 TrainingArguments 和 LoraConfig 中的超参数。根据笔记本中提到的设置，我在 320 步后实现了 0.031 的训练损失。
PEFT 微调模型已在此处更新：heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational。
运行gradio_chatbot_app.ipynb笔记本来获取类似聊天机器人的界面，使用 Gradio 作为演示的前端。使用不同的超参数配置设置来生成答案，并运行多个查询来检查生成的响应的质量。
生成模型响应的时间不到 3 分钟。将 PEFT 模型响应与funetuned_qlora_falcon7b.ipynb笔记本中的原始模型响应进行比较。
我写了一篇详细的技术博客，解释了 QLoRA 和 PEFT 微调方法的关键概念：Fine-tuning of Falcon-7B Large Language Model using QLoRA on Mental Health Dataset。如果您仍有任何疑问，可以在此存储库上提出问题或在我的博客上发表评论。
如果您喜欢这个项目，请访问这个存储库。
