тонкая настройка qlora falcon7b медицинская

Точная настройка Falcon-7B LLM с использованием QLoRA в наборе разговорных данных о психическом здоровье

Введение:

Проблемы психического здоровья часто неправильно понимаются или не до конца осознаются широкой общественностью. Такое непонимание может привести к страху, дискомфорту и негативному восприятию состояний психического здоровья. Представления средств массовой информации о психическом здоровье часто закрепляют негативные стереотипы, ведущие к заблуждениям и страху. Преодоление стигмы в области психического здоровья требует многогранного подхода, который включает в себя образование, повышение осведомленности, содействие сочувствию и пониманию, борьбу со стереотипами и обеспечение доступной и качественной психиатрической помощи. Психическое здоровье напрямую влияет на общее благополучие человека, качество жизни и способность эффективно функционировать в повседневной жизни. Хорошее психическое здоровье необходимо для счастья, самореализации и целеустремленности. Психическое здоровье и физическое здоровье тесно взаимосвязаны. Невылеченные проблемы психического здоровья могут привести к проблемам физического здоровья или усугубить их, например, к сердечно-сосудистым заболеваниям, ослаблению иммунной системы и хроническим заболеваниям.

Основное обоснование:

Чат-боты предлагают легкодоступную и доступную платформу для людей, нуждающихся в поддержке. К ним можно получить доступ в любое время и в любом месте, обеспечивая немедленную помощь тем, кто в ней нуждается. Чат-боты могут предлагать чуткие и непредвзятые ответы, обеспечивая эмоциональную поддержку пользователям. Хотя они не могут полностью заменить человеческое взаимодействие, они могут быть полезным дополнением, особенно в моменты бедствия.

ПРИМЕЧАНИЕ. Важно отметить, что, хотя чат-боты в области психического здоровья могут быть полезны, они не являются заменой профессиональной психиатрической помощи. Они могут дополнять существующие службы охраны психического здоровья, предоставляя дополнительную поддержку и ресурсы.

Набор данных:

Набор данных был составлен на основе часто задаваемых вопросов в Интернете, связанных с психическим здоровьем, популярных блогов о здравоохранении, таких как WebMD, Mayo Clinic и Healthline, а также других вики-статей, посвященных психическому здоровью. Набор данных был предварительно обработан в диалоговом формате, так что вопросы, заданные пациентом, и ответы врача находились в одном и том же тексте. Набор данных для этого диалогового искусственного интеллекта в области психического здоровья можно найти здесь: heliosbrahma/mental_health_chatbot_dataset.

ПРИМЕЧАНИЕ. Все вопросы и ответы были анонимизированы для удаления любых данных, позволяющих идентифицировать личность, и предварительно обработаны для удаления нежелательных символов.

Точная настройка модели:

Это главный шаг во всем проекте. Я использовал сегментированную предварительно обученную модель Falcon-7B и настроил ее для использования метода QLoRA в моем специальном наборе данных о психическом здоровье. Весь процесс тонкой настройки занял менее часа, и он был полностью настроен на Nvidia A100 с помощью Google Colab Pro. Но его также можно обучить на графическом процессоре бесплатного уровня с использованием Nvidia T4, предоставленного Colab. В этом случае мы должны убедиться, что max_steps меньше 150. Обоснование использования сегментированной предварительно обученной модели упоминается в моем сообщении в блоге: «Точная настройка большой языковой модели Falcon-7B с использованием QLoRA в наборе данных о психическом здоровье».
Добавляем сюда отчет об отслеживании показателей потерь при обучении из журналов мониторинга WandB для тренировочного прогона из 180 шагов: журналы обучения/потери для Falcon-7B PEFT.

ПРИМЕЧАНИЕ. Попробуйте изменить гиперпараметры в TrainingArguments и LoraConfig в соответствии с вашими требованиями. С настройками, указанными в блокноте, я достиг потерь при обучении 0,031 после 320 шагов.

Модельный вывод:

Точная настройка PEFT обновлена ​​здесь: heliosbrahma/falcon-7b-sharded-bf16-finetuned-mental-health-conversational.
Запустите блокнот gradio_chatbot_app.ipynb , чтобы получить интерфейс, похожий на чат-бота, используя Gradio в качестве интерфейса для демонстрации. Поиграйте с различными настройками конфигурации гиперпараметров для генерации ответов и запустите несколько запросов, чтобы проверить качество сгенерированного ответа.

Генерация ответа модели занимает менее 3 минут. Сравните ответ модели PEFT с исходным ответом модели в блокноте funetuned_qlora_falcon7b.ipynb .

Заключение:

Я написал подробный технический блог, объясняющий ключевые концепции метода точной настройки QLoRA и PEFT: «Точная настройка большой языковой модели Falcon-7B с использованием QLoRA в наборе данных о психическом здоровье». Если у вас все еще есть какие-либо вопросы, вы можете открыть проблему в этом репозитории или оставить комментарий в моем блоге.

Если вам нравится этот проект, пожалуйста, посетите этот репозиторий .