ضبط دقيق لـ Qlora falcon7b الطبية
1.0.0
غالبًا ما يساء فهم قضايا الصحة العقلية أو لا يتم استيعابها بشكل كامل من قبل عامة الناس. يمكن أن يؤدي هذا النقص في الفهم إلى الخوف والانزعاج والتصورات السلبية حول حالات الصحة العقلية. غالبًا ما يؤدي تصوير وسائل الإعلام للصحة العقلية إلى إدامة الصور النمطية السلبية، مما يؤدي إلى المفاهيم الخاطئة والخوف. يتطلب التغلب على وصمة العار المتعلقة بالصحة العقلية اتباع نهج متعدد الأوجه يتضمن التعليم، وزيادة الوعي، وتعزيز التعاطف والتفاهم، وتحدي الصور النمطية، وضمان رعاية صحية نفسية جيدة ويمكن الوصول إليها. تؤثر الصحة العقلية بشكل مباشر على الرفاهية العامة للفرد، ونوعية الحياة، والقدرة على العمل بفعالية في الحياة اليومية. الصحة العقلية الجيدة ضرورية لتجربة السعادة والوفاء والشعور بالهدف. الصحة العقلية والصحة البدنية مترابطتان بشكل وثيق. يمكن أن تؤدي مشاكل الصحة العقلية غير المعالجة إلى مشاكل الصحة البدنية أو تفاقمها، مثل أمراض القلب والأوعية الدموية، وضعف أجهزة المناعة، والحالات المزمنة.
تقدم Chatbots منصة متاحة بسهولة ويمكن الوصول إليها للأفراد الذين يبحثون عن الدعم. ويمكن الوصول إليها في أي وقت وفي أي مكان، وتوفير المساعدة الفورية للمحتاجين. يمكن لروبوتات الدردشة تقديم استجابات متعاطفة وغير قضائية، وتوفير الدعم العاطفي للمستخدمين. على الرغم من أنها لا يمكن أن تحل محل التفاعل البشري بالكامل، إلا أنها يمكن أن تكون مكملاً مفيدًا، خاصة في لحظات الضيق.
ملحوظة: من المهم ملاحظة أنه على الرغم من أن روبوتات الدردشة الخاصة بالصحة العقلية يمكن أن تكون مفيدة، إلا أنها ليست بديلاً عن الرعاية المهنية للصحة العقلية. يمكنهم استكمال خدمات الصحة العقلية الحالية من خلال توفير الدعم والموارد الإضافية.
تم تنظيم مجموعة البيانات من الأسئلة الشائعة عبر الإنترنت المتعلقة بالصحة العقلية، ومدونات الرعاية الصحية الشهيرة مثل WebMD، وMayo Clinic، وHealthline، ومقالات ويكي أخرى تتعلق بالصحة العقلية. تمت معالجة مجموعة البيانات مسبقًا بتنسيق محادثة بحيث تكون الأسئلة التي يطرحها المريض والإجابات المقدمة من الطبيب في نفس النص. يمكن العثور على مجموعة البيانات الخاصة بالذكاء الاصطناعي التحادثي في مجال الصحة العقلية هنا: heliosbrahma/mental_health_chatbot_dataset.
ملاحظة: تم إخفاء هوية جميع الأسئلة والأجوبة لإزالة أي بيانات PII ومعالجتها مسبقًا لإزالة أي أحرف غير مرغوب فيها.
هذه هي الخطوة الرئيسية في المشروع بأكمله. لقد استخدمت نموذج Falcon-7B المُدرب مسبقًا وقمت بضبطه لاستخدام تقنية QLoRA في مجموعة بيانات الصحة العقلية المخصصة الخاصة بي. استغرقت عملية الضبط بالكامل أقل من ساعة وتم ضبطها بالكامل على Nvidia A100 من Google Colab Pro. ولكن يمكن أيضًا تدريبه على وحدة معالجة الرسومات ذات الطبقة المجانية باستخدام Nvidia T4 المقدمة من Colab. في هذه الحالة، علينا التأكد من استخدام max_steps أقل من 150. تم ذكر الأساس المنطقي وراء استخدام النموذج المجزأ المُدرب مسبقًا في منشور مدونتي: الضبط الدقيق لنموذج اللغة الكبير Falcon-7B باستخدام QLoRA في مجموعة بيانات الصحة العقلية
إضافة هنا تقرير تتبع مقاييس فقدان التدريب من سجلات مراقبة WandB لـ 180 خطوة من التدريب: سجلات التدريب/الخسارة لـ Falcon-7B PEFT
ملاحظة: حاول تغيير المعلمات الفائقة في TrainingArguments وLoraConfig بناءً على متطلباتك. مع الإعدادات المذكورة في دفتر الملاحظات، حققت خسارة تدريب قدرها 0.031 بعد 320 خطوة.
تم تحديث نموذج PEFT الدقيق هنا: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational.
قم بتشغيل دفتر ملاحظات gradio_chatbot_app.ipynb للحصول على واجهة تشبه chatbot باستخدام Gradio كواجهة أمامية للعرض التوضيحي. استخدم إعدادات تكوين المعلمات الفائقة المختلفة لإنشاء الإجابات وقم بتشغيل استعلامات متعددة للتحقق من جودة الاستجابة التي تم إنشاؤها.
يستغرق إنشاء استجابة النموذج أقل من 3 دقائق. قارن استجابة نموذج PEFT مع استجابة النموذج الأصلي في دفتر funetuned_qlora_falcon7b.ipynb .
لقد كتبت مدونة فنية مفصلة تشرح المفاهيم الأساسية لطريقة الضبط الدقيق لـ QLoRA وPEFT: الضبط الدقيق لنموذج اللغة الكبيرة Falcon-7B باستخدام QLoRA في مجموعة بيانات الصحة العقلية. إذا كان لا يزال لديك أي استفسارات، يمكنك فتح مشكلة في هذا الريبو أو التعليق على مدونتي.
إذا كنت تحب هذا المشروع، يرجى هذا المستودع .
