finetuned qlora falcon7b medical

정신 건강 대화 데이터 세트에서 QLoRA를 사용한 Falcon-7B LLM의 미세 조정

소개:

정신 건강 문제는 일반 대중이 오해하거나 완전히 이해하지 못하는 경우가 많습니다. 이러한 이해 부족은 정신 건강 상태에 대한 두려움, 불편함, 부정적인 인식으로 이어질 수 있습니다. 정신 건강에 대한 미디어 묘사는 종종 부정적인 고정관념을 지속시켜 오해와 두려움을 낳습니다. 정신 건강 낙인을 극복하려면 교육, 인식 제고, 공감과 이해 증진, 고정관념에 도전, 접근 가능한 고품질 정신 건강 관리 보장 등을 포함하는 다각적인 접근 방식이 필요합니다. 정신 건강은 개인의 전반적인 웰빙, 삶의 질, 일상 생활에서 효과적으로 기능하는 능력에 직접적인 영향을 미칩니다. 행복, 성취감, 목적의식을 경험하려면 좋은 정신 건강이 필수적입니다. 정신 건강과 신체 건강은 밀접하게 얽혀 있습니다. 정신 건강 문제를 치료하지 않으면 심혈관 질환, 면역 체계 약화, 만성 질환 등 신체 건강 문제가 발생하거나 악화될 수 있습니다.

핵심 근거:

챗봇은 지원을 원하는 개인에게 쉽게 이용 가능하고 접근 가능한 플랫폼을 제공합니다. 언제 어디서나 접근할 수 있어 도움이 필요한 사람들에게 즉각적인 지원을 제공합니다. 챗봇은 공감적이고 비판단적인 반응을 제공하여 사용자에게 정서적인 지원을 제공할 수 있습니다. 인간 상호작용을 완전히 대체할 수는 없지만, 특히 고통스러운 순간에 도움이 되는 보충물이 될 수 있습니다.

참고: 정신 건강 챗봇은 도움이 될 수 있지만 전문적인 정신 건강 관리를 대체할 수는 없다는 점을 기억하는 것이 중요합니다. 추가 지원과 자원을 제공하여 기존 정신 건강 서비스를 보완할 수 있습니다.

데이터세트:

데이터 세트는 정신 건강과 관련된 온라인 FAQ, WebMD, Mayo Clinic, Healthline과 같은 인기 의료 블로그, 정신 건강과 관련된 기타 위키 기사에서 선별되었습니다. 데이터 세트는 환자가 묻는 질문과 의사가 제공한 답변이 모두 동일한 텍스트에 있도록 대화 형식으로 전처리되었습니다. 이 정신 건강 대화형 AI의 데이터 세트는 heliosbrahma/mental_health_chatbot_dataset에서 찾을 수 있습니다.

참고: 모든 질문과 답변은 PII 데이터를 제거하기 위해 익명으로 처리되었으며 원치 않는 문자를 제거하기 위해 전처리되었습니다.

모델 미세 조정:

이는 전체 프로젝트의 주요 단계입니다. 나는 샤딩된 Falcon-7B 사전 훈련 모델을 사용하고 맞춤형 정신 건강 데이터 세트에서 QLoRA 기술을 사용하도록 미세 조정했습니다. 전체 미세 조정 프로세스는 1시간도 채 걸리지 않았으며 전적으로 Google Colab Pro의 Nvidia A100에서 미세 조정되었습니다. 그러나 Colab에서 제공하는 Nvidia T4를 사용하여 무료 계층 GPU에서 학습할 수도 있습니다. 이 경우, 우리는 150 미만의 max_steps를 사용해야 합니다. 샤딩된 사전 훈련된 모델을 사용하는 근거는 내 블로그 게시물인 Fine-tuning of Falcon-7B Large Language Model using QLoRA on Mental Health Dataset에 언급되어 있습니다.
여기에 180단계 훈련 실행에 대한 WandB 모니터링 로그의 훈련 손실 측정항목 추적 보고서 추가: Falcon-7B PEFT에 대한 훈련/손실 로그

참고: 요구 사항에 따라 TrainingArguments 및 LoraConfig에서 하이퍼매개변수를 변경해 보세요. 노트북에 언급된 설정으로 320걸음 후에 0.031의 훈련 손실을 달성했습니다.

모델 추론:

PEFT 미세 조정 모델이 여기에서 업데이트되었습니다: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational.
gradio_chatbot_app.ipynb 노트북을 실행하여 Gradio를 데모용 프런트엔드로 사용하는 인터페이스와 같은 챗봇을 얻으세요. 답변 생성을 위해 다양한 하이퍼파라미터 구성 설정을 시험해보고 여러 쿼리를 실행하여 생성된 응답의 품질을 확인하세요.

모델 응답을 생성하는 데 3분도 채 걸리지 않습니다. PEFT 모델 응답을 funetuned_qlora_falcon7b.ipynb 노트북의 원래 모델 응답과 비교합니다.

결론:

저는 QLoRA 및 PEFT 미세 조정 방법의 핵심 개념을 설명하는 자세한 기술 블로그를 작성했습니다. 정신 건강 데이터 세트에서 QLoRA를 사용하여 Falcon-7B 대규모 언어 모델 미세 조정. 여전히 궁금한 점이 있으면 이 저장소에서 문제를 열거나 내 블로그에 댓글을 달 수 있습니다.

이 프로젝트가 마음에 드신다면 이 저장소를 이용해 주세요 .