medis qlora falcon7b yang disempurnakan
1.0.0
Masalah kesehatan mental seringkali disalahpahami atau kurang dipahami sepenuhnya oleh masyarakat umum. Kurangnya pemahaman ini dapat menimbulkan ketakutan, ketidaknyamanan, dan persepsi negatif terhadap kondisi kesehatan mental. Penggambaran media tentang kesehatan mental sering kali melanggengkan stereotip negatif, sehingga menimbulkan kesalahpahaman dan ketakutan. Mengatasi stigma kesehatan mental memerlukan pendekatan multi-sisi yang melibatkan pendidikan, meningkatkan kesadaran, meningkatkan empati dan pemahaman, menantang stereotip, dan memastikan layanan kesehatan mental yang dapat diakses dan berkualitas. Kesehatan mental secara langsung berdampak pada kesejahteraan, kualitas hidup, dan kemampuan seseorang untuk berfungsi secara efektif dalam kehidupan sehari-hari. Kesehatan mental yang baik sangat penting untuk mengalami kebahagiaan, kepuasan, dan tujuan. Kesehatan mental dan kesehatan fisik saling terkait erat. Masalah kesehatan mental yang tidak diobati dapat menyebabkan atau memperburuk masalah kesehatan fisik, seperti penyakit kardiovaskular, melemahnya sistem kekebalan tubuh, dan kondisi kronis.
Chatbots menawarkan platform yang tersedia dan dapat diakses bagi individu yang mencari dukungan. Mereka dapat diakses kapan saja dan dimana saja, memberikan bantuan segera kepada mereka yang membutuhkan. Chatbots dapat menawarkan respons yang berempati dan tidak menghakimi, memberikan dukungan emosional kepada pengguna. Meskipun hal-hal tersebut tidak dapat sepenuhnya menggantikan interaksi manusia, hal-hal tersebut dapat menjadi pelengkap yang berguna, terutama pada saat-saat sulit.
CATATAN: Penting untuk dicatat bahwa meskipun chatbot kesehatan mental dapat membantu, mereka bukanlah pengganti layanan kesehatan mental profesional. Mereka dapat melengkapi layanan kesehatan mental yang ada dengan memberikan dukungan dan sumber daya tambahan.
Kumpulan data ini dikurasi dari FAQ online terkait kesehatan mental, blog perawatan kesehatan populer seperti WebMD, Mayo Clinic dan Healthline, serta artikel wiki lainnya terkait kesehatan mental. Kumpulan data tersebut telah diproses sebelumnya dalam format percakapan sehingga pertanyaan yang diajukan oleh pasien dan tanggapan yang diberikan oleh dokter berada dalam teks yang sama. Kumpulan data untuk AI percakapan kesehatan mental ini dapat ditemukan di sini: heliosbrahma/mental_health_chatbot_dataset.
CATATAN: Semua pertanyaan dan jawaban telah dianonimkan untuk menghapus data PII dan diproses sebelumnya untuk menghapus karakter yang tidak diinginkan.
Ini adalah langkah besar dalam keseluruhan proyek. Saya telah menggunakan model terlatih Falcon-7B yang dipecah dan menyempurnakannya agar menggunakan teknik QLoRA pada kumpulan data kesehatan mental khusus saya. Seluruh proses penyempurnaan memakan waktu kurang dari satu jam dan sepenuhnya disempurnakan pada Nvidia A100 dari Google Colab Pro. Namun, bisa juga dilatih pada GPU tingkat gratis menggunakan Nvidia T4 yang disediakan oleh Colab. Dalam hal ini, kita harus memastikan untuk menggunakan max_steps kurang dari 150. Alasan di balik penggunaan model terlatih sharded disebutkan dalam postingan blog saya: Menyempurnakan Model Bahasa Besar Falcon-7B menggunakan QLoRA pada Kumpulan Data Kesehatan Mental
Menambahkan di sini laporan pelacakan metrik kerugian pelatihan dari log pemantauan WandB untuk 180 langkah pelaksanaan pelatihan: log pelatihan/kerugian untuk Falcon-7B PEFT
CATATAN: Coba ubah hyperparameter di TrainingArguments dan LoraConfig berdasarkan kebutuhan Anda. Dengan pengaturan yang disebutkan di buku catatan, saya mencapai 0,031 kerugian pelatihan setelah 320 langkah.
Model PEFT yang disempurnakan telah diperbarui di sini: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational.
Jalankan notebook gradio_chatbot_app.ipynb untuk mendapatkan antarmuka seperti chatbot menggunakan Gradio sebagai frontend untuk demo. Bermain-main dengan pengaturan konfigurasi hyperparameter yang berbeda untuk menghasilkan jawaban dan menjalankan beberapa kueri untuk memeriksa kualitas respons yang dihasilkan.
Dibutuhkan waktu kurang dari 3 menit untuk menghasilkan respons model. Bandingkan respons model PEFT dengan respons model asli di notebook funetuned_qlora_falcon7b.ipynb .
Saya telah menulis blog teknis terperinci yang menjelaskan konsep utama metode penyempurnaan QLoRA dan PEFT: Penyempurnaan Model Bahasa Besar Falcon-7B menggunakan QLoRA pada Kumpulan Data Kesehatan Mental. Jika Anda masih memiliki pertanyaan, Anda dapat membuka terbitan di repo ini atau berkomentar di blog saya.
Jika Anda menyukai proyek ini, silakan repositori ini .
