finetuned qlora falcon7b medical
1.0.0
心理健康問題經常被大眾誤解或沒有完全理解。這種缺乏了解可能會導致恐懼、不適和對心理健康狀況的負面看法。媒體對心理健康的描述往往會延續負面的刻板印象，導致誤解和恐懼。克服心理健康恥辱需要採取多方面的方法，包括教育、提高意識、促進同理心和理解、挑戰陳規定型觀念以及確保提供可及和優質的心理衛生保健。心理健康直接影響個人的整體福祉、生活品質以及日常生活中有效運作的能力。良好的心理健康對於體驗幸福、成就感和使命感至關重要。心理健康和身體健康緊密相連。未經治療的心理健康問題可能會導致或惡化身體健康問題，例如心血管疾病、免疫系統減弱和慢性病。
聊天機器人為尋求支援的個人提供了一個隨時可用且易於存取的平台。他們可以隨時隨地訪問，為有需要的人提供即時幫助。聊天機器人可以提供同理心和非評判性的反應，為使用者提供情感支持。雖然它們不能完全取代人際互動，但它們可以成為有用的補充，尤其是在痛苦的時刻。
注意：值得注意的是，雖然心理健康聊天機器人可能會有所幫助，但它們並不能取代專業的心理健康護理。他們可以透過提供額外的支持和資源來補充現有的心理健康服務。
該資料集是根據與心理健康相關的線上常見問題解答、WebMD、Mayo Clinic 和 Healthline 等熱門醫療部落格以及其他與心理健康相關的 wiki 文章整理而成的。資料集以對話格式進行預處理，以便患者提出的問題和醫生給出的答案都在同一文本中。這個心理健康對話人工智慧的資料集可以在這裡找到：heliosbrahma/mental_health_chatbot_dataset。
注意：所有問題和答案都已匿名以刪除任何 PII 數據，並經過預處理以刪除任何不需要的字元。
這是整個專案的主要步驟。我使用了分片的 Falcon-7B 預訓練模型，並將其微調為在我的自訂心理健康資料集上使用 QLoRA 技術。整個微調過程花了不到一個小時，並且完全在 Google Colab Pro 的 Nvidia A100 上進行了微調。但是，它也可以使用 Colab 提供的 Nvidia T4 在免費 GPU 上進行訓練。在這種情況下，我們必須確保使用 max_steps 小於 150。
此處新增來自 180 步驟訓練運行的 WandB 監控日誌的訓練損失指標追蹤報告：Falcon-7B PEFT 的訓練/損失日誌
注意：嘗試根據您的要求更改 TrainingArguments 和 LoraConfig 中的超參數。根據筆記本中提到的設置，我在 320 步後實現了 0.031 的訓練損失。
PEFT 微調模型已在此處更新：heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational。
運行gradio_chatbot_app.ipynb筆記本來取得類似聊天機器人的介面，使用 Gradio 作為演示的前端。使用不同的超參數配置設定來產生答案，並執行多個查詢來檢查產生的回應的品質。
生成模型回應的時間不到 3 分鐘。將 PEFT 模型響應與funetuned_qlora_falcon7b.ipynb筆記本中的原始模型響應進行比較。
我寫了一篇詳細的技術博客，解釋了 QLoRA 和 PEFT 微調方法的關鍵概念：Fine-tuning of Falcon-7B Large Language Model using QLoRA on Mental Health Dataset。如果您仍有任何疑問，可以在此儲存庫上提出問題或在我的部落格上發表評論。
如果您喜歡這個項目，請訪問這個存儲庫。
