Fein abgestimmtes Qlora Falcon7b Medical
1.0.0
Psychische Gesundheitsprobleme werden von der breiten Öffentlichkeit oft missverstanden oder nicht vollständig verstanden. Dieser Mangel an Verständnis kann zu Angst, Unbehagen und negativen Vorstellungen über psychische Erkrankungen führen. Die Darstellung psychischer Gesundheit in den Medien führt häufig zu negativen Stereotypen, was zu Missverständnissen und Ängsten führt. Die Überwindung der Stigmatisierung der psychischen Gesundheit erfordert einen vielschichtigen Ansatz, der Aufklärung, Sensibilisierung, Förderung von Empathie und Verständnis, die Bekämpfung von Stereotypen und die Gewährleistung einer zugänglichen und qualitativ hochwertigen psychischen Gesundheitsversorgung umfasst. Die psychische Gesundheit wirkt sich direkt auf das allgemeine Wohlbefinden, die Lebensqualität und die Fähigkeit eines Menschen aus, im täglichen Leben effektiv zu funktionieren. Eine gute psychische Gesundheit ist für das Erleben von Glück, Erfüllung und Sinnhaftigkeit unerlässlich. Psychische und körperliche Gesundheit sind eng miteinander verknüpft. Unbehandelte psychische Probleme können zu körperlichen Gesundheitsproblemen wie Herz-Kreislauf-Erkrankungen, geschwächtem Immunsystem und chronischen Erkrankungen führen oder diese verschlimmern.
Chatbots bieten eine leicht verfügbare und zugängliche Plattform für Personen, die Unterstützung suchen. Sie sind jederzeit und überall abrufbar und bieten den Bedürftigen sofortige Hilfe. Chatbots können einfühlsame und nicht wertende Antworten geben und so den Benutzern emotionale Unterstützung bieten. Obwohl sie die menschliche Interaktion nicht vollständig ersetzen können, können sie eine hilfreiche Ergänzung sein, insbesondere in Momenten der Not.
HINWEIS: Es ist wichtig zu beachten, dass Chatbots für psychische Gesundheit zwar hilfreich sein können, sie jedoch keinen Ersatz für eine professionelle psychische Gesundheitsversorgung darstellen. Sie können bestehende psychiatrische Dienste durch die Bereitstellung zusätzlicher Unterstützung und Ressourcen ergänzen.
Der Datensatz wurde aus Online-FAQs zum Thema psychische Gesundheit, beliebten Gesundheitsblogs wie WebMD, Mayo Clinic und Healthline sowie anderen Wiki-Artikeln zum Thema psychische Gesundheit zusammengestellt. Der Datensatz wurde in einem Konversationsformat vorverarbeitet, sodass sowohl die vom Patienten gestellten Fragen als auch die vom Arzt gegebenen Antworten im selben Text vorliegen. Den Datensatz für diese Konversations-KI zur psychischen Gesundheit finden Sie hier: heliosbrahma/mental_health_chatbot_dataset.
HINWEIS: Alle Fragen und Antworten wurden anonymisiert, um personenbezogene Daten zu entfernen, und vorverarbeitet, um unerwünschte Zeichen zu entfernen.
Dies ist der wichtigste Schritt im gesamten Projekt. Ich habe das vorab trainierte Shard-Falcon-7B-Modell verwendet und es so optimiert, dass es die QLoRA-Technik in meinem benutzerdefinierten Datensatz zur psychischen Gesundheit verwendet. Der gesamte Feinabstimmungsprozess dauerte weniger als eine Stunde und die Feinabstimmung erfolgte vollständig auf Nvidia A100 von Google Colab Pro. Es könnte aber auch auf einer Free-Tier-GPU mit Nvidia T4 von Colab trainiert werden. In diesem Fall müssen wir sicherstellen, dass max_steps weniger als 150 verwendet werden. Die Gründe für die Verwendung eines vorab trainierten Shard-Modells werden in meinem Blogbeitrag erwähnt: Feinabstimmung des Falcon-7B Large Language Model mithilfe von QLoRA für Datensätze zur psychischen Gesundheit
Hier wird der Trainingsverlustmetrik-Tracking-Bericht aus den WandB-Überwachungsprotokollen für einen 180-Schritte-Trainingslauf hinzugefügt: Trainings-/Verlustprotokolle für Falcon-7B PEFT
HINWEIS: Versuchen Sie, die Hyperparameter in TrainingArguments und LoraConfig entsprechend Ihren Anforderungen zu ändern. Mit den im Notebook genannten Einstellungen erreichte ich nach 320 Schritten einen Trainingsverlust von 0,031.
Das fein abgestimmte PEFT-Modell wurde hier aktualisiert: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational.
Führen Sie das Notebook gradio_chatbot_app.ipynb aus, um eine Chatbot-ähnliche Schnittstelle zu erhalten, die Gradio als Frontend für die Demo verwendet. Spielen Sie mit verschiedenen Hyperparameter-Konfigurationseinstellungen für die Antwortgenerierung herum und führen Sie mehrere Abfragen aus, um die Qualität der generierten Antwort zu überprüfen.
Die Generierung der Modellantwort dauert weniger als 3 Minuten. Vergleichen Sie die Antwort des PEFT-Modells mit der ursprünglichen Modellantwort im Notizbuch funetuned_qlora_falcon7b.ipynb .
Ich habe einen ausführlichen technischen Blog geschrieben, in dem die Schlüsselkonzepte der QLoRA- und PEFT-Feinabstimmungsmethode erläutert werden: Feinabstimmung des Falcon-7B Large Language Model mithilfe von QLoRA auf Datensätze zur psychischen Gesundheit. Wenn Sie noch Fragen haben, können Sie eine Ausgabe in diesem Repo eröffnen oder in meinem Blog einen Kommentar abgeben.
Wenn Ihnen dieses Projekt gefällt, lesen Sie bitte dieses Repository .
