qlora falcon7b ทางการแพทย์ที่ปรับแต่งมาอย่างดี
1.0.0
ปัญหาสุขภาพจิตมักถูกเข้าใจผิดหรือไม่เข้าใจอย่างถ่องแท้จากประชาชนทั่วไป การขาดความเข้าใจนี้อาจนำไปสู่ความกลัว ความรู้สึกไม่สบาย และการรับรู้เชิงลบเกี่ยวกับสภาวะสุขภาพจิต การแสดงภาพสุขภาพจิตของสื่อมักจะทำให้เกิดทัศนคติเชิงลบ นำไปสู่ความเข้าใจผิดและความกลัว การเอาชนะการตีตราด้านสุขภาพจิตต้องใช้แนวทางที่หลากหลาย ซึ่งเกี่ยวข้องกับการศึกษา การสร้างความตระหนักรู้ การส่งเสริมความเห็นอกเห็นใจและความเข้าใจ การท้าทายทัศนคติแบบเหมารวม และการรับรองการดูแลสุขภาพจิตที่เข้าถึงได้และมีคุณภาพ สุขภาพจิตส่งผลโดยตรงต่อความเป็นอยู่โดยรวม คุณภาพชีวิต และความสามารถในการดำเนินชีวิตประจำวันของแต่ละบุคคลโดยตรง สุขภาพจิตที่ดีเป็นสิ่งสำคัญสำหรับการมีความสุข ความสําเร็จ และความรู้สึกมีจุดมุ่งหมาย สุขภาพจิตและสุขภาพกายมีความเกี่ยวพันกันอย่างใกล้ชิด ปัญหาสุขภาพจิตที่ไม่ได้รับการรักษาอาจนำไปสู่หรือทำให้ปัญหาสุขภาพกายแย่ลง เช่น โรคหัวใจและหลอดเลือด ระบบภูมิคุ้มกันอ่อนแอ และภาวะเรื้อรัง
Chatbots นำเสนอแพลตฟอร์มที่พร้อมใช้งานและเข้าถึงได้สำหรับบุคคลที่ต้องการความช่วยเหลือ สามารถเข้าถึงได้ทุกที่ทุกเวลา โดยให้ความช่วยเหลือแก่ผู้ที่ต้องการความช่วยเหลือได้ทันที แชทบอทสามารถให้การตอบสนองอย่างเห็นอกเห็นใจและไม่ตัดสิน โดยให้การสนับสนุนทางอารมณ์แก่ผู้ใช้ แม้ว่าพวกมันจะไม่สามารถแทนที่ปฏิสัมพันธ์ของมนุษย์ได้ทั้งหมด แต่ก็สามารถเป็นอาหารเสริมที่มีประโยชน์ได้ โดยเฉพาะในช่วงเวลาแห่งความทุกข์
หมายเหตุ: สิ่งสำคัญที่ควรทราบคือแม้ว่าแชทบอทด้านสุขภาพจิตจะมีประโยชน์ แต่ก็ไม่สามารถทดแทนการดูแลสุขภาพจิตอย่างมืออาชีพได้ พวกเขาสามารถเสริมบริการด้านสุขภาพจิตที่มีอยู่ได้โดยการให้การสนับสนุนและทรัพยากรเพิ่มเติม
ชุดข้อมูลนี้รวบรวมมาจากคำถามที่พบบ่อยออนไลน์ที่เกี่ยวข้องกับสุขภาพจิต บล็อกการดูแลสุขภาพยอดนิยม เช่น WebMD, Mayo Clinic และ Healthline และบทความวิกิอื่น ๆ ที่เกี่ยวข้องกับสุขภาพจิต ชุดข้อมูลได้รับการประมวลผลล่วงหน้าในรูปแบบการสนทนา โดยทั้งคำถามที่ผู้ป่วยถามและคำตอบของแพทย์อยู่ในข้อความเดียวกัน ชุดข้อมูลสำหรับ AI การสนทนาด้านสุขภาพจิตมีอยู่ที่นี่: heliosbrahma/mental_health_chatbot_dataset
หมายเหตุ: คำถามและคำตอบทั้งหมดไม่ได้รับการเปิดเผยตัวตนเพื่อลบข้อมูล PII ใด ๆ และได้รับการประมวลผลล่วงหน้าเพื่อลบอักขระที่ไม่ต้องการ
นี่เป็นขั้นตอนสำคัญในโครงการทั้งหมด ฉันได้ใช้โมเดลที่ได้รับการฝึกอบรมล่วงหน้า Falcon-7B แบบแบ่งส่วน และปรับแต่งให้ใช้เทคนิค QLoRA บนชุดข้อมูลสุขภาพจิตที่กำหนดเองของฉัน กระบวนการปรับแต่งทั้งหมดใช้เวลาไม่ถึงหนึ่งชั่วโมง และได้รับการปรับแต่งทั้งหมดด้วย Nvidia A100 จาก Google Colab Pro แต่สามารถฝึกกับ GPU ระดับฟรีได้โดยใช้ Nvidia T4 ที่ Colab มอบให้ ในกรณีนั้น เราต้องแน่ใจว่าใช้ max_steps น้อยกว่า 150 เหตุผลที่อยู่เบื้องหลังการใช้โมเดลที่ได้รับการฝึกอบรมล่วงหน้าแบบแบ่งส่วนมีการกล่าวถึงในโพสต์บล็อกของฉัน: การปรับแต่งโมเดลภาษาขนาดใหญ่ Falcon-7B อย่างละเอียดโดยใช้ QLoRA บนชุดข้อมูลสุขภาพจิต
เพิ่มรายงานการติดตามเมตริกการสูญเสียการฝึกจากบันทึกการตรวจสอบของ WandB สำหรับการรันการฝึก 180 ขั้นตอน: บันทึกการฝึก/การสูญเสียสำหรับ Falcon-7B PEFT
หมายเหตุ: ลองเปลี่ยนไฮเปอร์พารามิเตอร์ใน TrainingArguments และ LoraConfig ตามความต้องการของคุณ ด้วยการตั้งค่าที่กล่าวถึงในโน้ตบุ๊ก ฉันสามารถสูญเสียการฝึกได้ 0.031 ครั้งหลังจาก 320 ก้าว
โมเดลที่ปรับแต่งอย่างละเอียดของ PEFT ได้รับการอัปเดตที่นี่: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational
เรียกใช้สมุดบันทึก gradio_chatbot_app.ipynb เพื่อรับแชทบอทเหมือนอินเทอร์เฟซโดยใช้ Gradio เป็นส่วนหน้าสำหรับการสาธิต ทดลองใช้การตั้งค่าไฮเปอร์พารามิเตอร์ที่แตกต่างกันสำหรับการสร้างคำตอบ และเรียกใช้หลายคำถามเพื่อตรวจสอบคุณภาพของการตอบกลับที่สร้างขึ้น
ใช้เวลาน้อยกว่า 3 นาทีในการสร้างการตอบสนองของโมเดล เปรียบเทียบการตอบสนองของโมเดล PEFT กับการตอบสนองของโมเดลดั้งเดิมในสมุดบันทึก funetuned_qlora_falcon7b.ipynb
ฉันได้เขียนบล็อกทางเทคนิคโดยละเอียดซึ่งอธิบายแนวคิดหลักของวิธีการปรับแต่ง QLoRA และ PEFT: การปรับแต่งโมเดลภาษาขนาดใหญ่ Falcon-7B อย่างละเอียดโดยใช้ QLoRA บนชุดข้อมูลสุขภาพจิต หากคุณยังคงมีข้อสงสัย คุณสามารถเปิดประเด็นใน repo นี้หรือแสดงความคิดเห็นในบล็อกของฉันได้
หากคุณชอบโปรเจ็กต์นี้ โปรดไปที่ พื้นที่เก็บข้อมูล นี้
