llm_finetuning_and_evaluation

LLM тонкая настройка и оценка?

Добро пожаловать в репозиторий с тонкой настройкой и оценкой LLM ! ? Здесь мы углубимся в захватывающий мир крупной языковой модели (LLM) тонкой настройки и оценки, сосредотачиваясь на передовых методах для адаптации таких моделей, как Flan-T5 , Tinylyma и Aguila7b для различных задач обработки естественного языка (NLP) . ?

Поскольку LLM становятся неотъемлемой частью современных приложений для ИИ, способность точно настраивать и оценивать эти модели никогда не была более важной. Этот репозиторий предназначен для того, чтобы помочь вам ориентироваться в сложностях настройки модели, предлагая понимание и практические инструменты для повышения производительности, точности и этической ответственности ваших моделей.

Работаете ли вы над:

• Суммирование длинных текстов на нескольких языках?,
• Юридический документ составление с точностью и эффективностью ⚖?,
• Системы ответа на вопросы для обслуживания клиентов?,
• Или тонкие модели, чтобы избежать генерирования вредного или оскорбительного контента? ️,

Этот репозиторий предоставляет ресурсы для повышения ваших проектов на следующий уровень.

Я хотел бы выразить свою искреннюю благодарность Сантьяго Эрнандесу, эксперту в области кибербезопасности и искусственного интеллекта. Его невероятный курс по глубокому обучению и генератива ИИ, доступный в Udemy, сыграл важную роль в формировании разработки этого проекта.

Более подробная информация

Для получения комплексной информации об этом проекте, ознакомьтесь с этой статьей.

Что внутри?

• Записные книжки для точной настройки: Исследуйте подробные записные книжки о том, как делать модели с тонкой настройкой, такие как Flan-T5 и Tinyllama, для выполнения определенных задач, таких как суммирование испанских газетных статей или избегание поколения вредного языка. ??
• Методы оценки: узнайте о различных методах для оценки производительности ваших тонких моделей, включая метрики и лучшие практики. ?
• Инструкция тонкая настройка: Узнайте, как использовать обучение на основе обучения для улучшения возможностей модели для целевых приложений.
• Параметр эффективная тонкая настройка с Qlora: Понять, как применять Qlora для эффективной точной настройки языковых моделей, особенно в контекстах юридической помощи. ⚖

Начиная

Для начала, ознакомьтесь с ноутбуками для пошаговых руководств по модельной настройке и оценке:

• Instruction_Fine_Tuning_LLM_T5.ipynb : Подробные инструкции по тонкой настройке FLAN-T5 для испанского обобщения.
• Evaluation_and_Analysis_T5_Familiy_LLMs.ipynb : понимание оценки и анализа различных моделей T5. ?
• Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb : Узнайте о тонкой настройке с Qlora для специализированных задач, таких как составление юридических документов. ⚖
• TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb : исследуйте процесс тонкой настройки Tinylama с помощью PPO и RLHF, чтобы избежать вредного или оскорбительного языка. ? ️
• Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb : оценка тонких настраиваемых моделей в рамках Ilenia , включая проекты Aguila7B и LATXA.

Тонкая настройка крошеи с PPO для RLHF: избегание вредного или оскорбительного языка? ️

В этом новом исследовании основной целью было точная настройка Tinylyma , используя методы проксимальной политики оптимизации (PPO) в сочетании с обучением подкрепления от обратной связи человека (RLHF) . Цель состоит в том, чтобы уточнить способность модели избегать генерирования вредного, оскорбительного или токсичного языка при сохранении значимого поколения содержания.

Основные моменты исследования:

• Цель с тонкой настройкой: внедрить RLHF, чтобы сделать Tinylymalma более чувствительной к безопасности языка, сосредоточив внимание на удалении токсичных и оскорбительных элементов из генерируемых результатов.
• Конфигурация модели: использование PPO, методика обучения подкрепления, чтобы оптимизировать функцию вознаграждения Tinyllama для производства неполноценного языка.
• Оценка: Задачи суммирования были использованы для проверки поведения модели в сценариях диалога, а тонкая настраиваемая Tinylyma продемонстрировала значительное снижение языка оскорбления, сохраняя при этом когерентность в своих результатах.

Для получения полного понимания методологии и результатов см. В записной книжке: TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb .

Оценка тонких настраиваемых крупных языковых моделей для Ильении

Проект Ilenia является частью стратегического проекта Испании по восстановлению и трансформации экономики (Perte) , который фокусируется на разработке многоязычных ресурсов для новой языковой экономики (NEL) . Эта инициатива поддерживает использование испанских и других официальных языков для стимулирования экономического роста и международной конкурентоспособности в таких областях, как ИИ, перевод и образование.

В рамках этих усилий мы оцениваем LLM из проектов Aguila7B и LATXA , которые предназначены для задач обработки текста и речи. Эти оценки сосредоточены на эффективности моделей, обеспечивая их совместимость с общественными и технологическими потребностями, особенно в многоязычных и межязычных контекстах.

Ключевые аспекты:

• Многоязычность и перекрестная передача: модели оцениваются на предмет их способности обрабатывать текстовые и речевые данные на нескольких языках.
• График проекта: Ильения охватывает 36 месяцев и возглавляет центр суперкомпьютерного Барселоны (BSC-CNS) .
• Оптимизация ресурсов: тонкая настройка LLMS обеспечивает эффективную генерацию модели, оптимизацию затрат и вычислительных ресурсов.

Для углубленного анализа обратитесь к записной книжке: Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb .

Оценка и анализ предварительно обученных LLMS Family T5: использование быстрого инженера и несколько выстрелов для точной настройки

В быстро развивающемся мире обработки естественного языка (NLP) использование предварительно обученных языковых моделей стало решающим для повышения производительности в различных задачах. ? Среди них семейство моделей T5 выделяется своей универсальностью и эффективностью в выполнении ряда языковых задач. Это исследование углубляется в оценку и анализ предварительно обученных моделей T5, фокусируясь на том, как быстрое инженерное и несколько выстрелов можно использовать для тонкой настройки этих моделей. ?

Семейство T5, в том числе модели, такие как T5-Base, T5-Large и Flan-T5, показали впечатляющие возможности в генерации текста, ответе на вопросы и переводе. Тем не менее, всегда есть место для оптимизации. Точная настройка этих моделей с использованием быстрого проектирования-разработки и структурирования подсказок ввода-наряду с несколькими выстрелами, предлагает мощный метод для повышения их производительности без обширного переподготовки.

В этой работе мы тщательно оцениваем различные модели T5, исследуя, как различные быстрые инженерные методы и несколько выстрелов влияют на их производительность. Наша цель состоит в том, чтобы раскрыть лучшие практики для точной настройки предварительно обученных моделей, чтобы преуспеть в реальных приложениях. Анализируя сильные стороны и ограничения каждой модели в различных условиях быстрого быстрого исследования, это исследование направлено на то, чтобы дать ценную информацию об оптимизации LLM на основе T5 для различных задач NLP. ?

Для получения подробного прохождения процесса оценки и выводов, пожалуйста, см. В записной книжке: Evaluation_and_Analysis_T5_Family_LLMs.ipynb .

Инструкция тонкая настройка для испанской газетной статьи суммирование с использованием flan-t5-small

Добро пожаловать в этот проект по улучшению языковой модели Flan-T5-Small для обобщения испанских газетных статей! ? В этом руководстве мы сосредоточимся на обучении настройке модели Flan-T5-Small, чтобы улучшить ее способность генерировать краткие и точные резюме новостного содержания на испанском языке.

The Notebook Instruction_Fine_Tuning_LLM_T5.ipynb предоставляет подробное прохождение всего процесса. Это покрывает:

• Подготовка данных: как курировать и подготовить набор данных испанских газетных статей и их резюме.
• Конфигурация модели: настройка модели FLAN-T5-SMALL для точной настройки на основе инструкций.
• Процесс тонкой настройки: Шаги, чтобы точно настроить модель специально для задач обобщения.
• Оценка: оценка эффективности модели с тонкой настройкой при суммировании.

Следуя инструкциям в ноутбуке, вы узнаете, как адаптировать эту мощную предварительно обученную модель для эффективной обработки испанского текстового суммирования, позволяя ему предоставить четкие и согласованные резюме новостных статей. ? ️

Для получения комплексного руководства см Instruction_Fine_Tuning_LLM_T5.ipynb В ноутбуке Наслаждайтесь изучением и точной настройкой! ?

Параметр эффективная тонкая настройка с Qlora для юридической помощи ⚖

В этом разделе представлена ​​концепция эффективной точной настройки параметров (PEFT) с использованием Qlora для улучшения языковых моделей в юридическом контексте. Qlora (квантовая адаптация с низким уровнем ранга) предназначена для эффективной настройки больших языковых моделей с меньшим количеством параметров, уменьшая как вычислительные, так и требования к памяти.

Notebook Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb подробно описывает следующее:

• Конфигурация LORA: Понимайте, как настроить адаптацию с низким уровнем ранга (LORA) для адаптации больших моделей для конкретных юридических задач.
• Процесс тонкой настройки: шаги по применению Qlora к моделям изысканной настройки, таких как Llama-2 для составления юридических документов и других заявлений о правовой помощи.
• Оценка: Методы оценки производительности тонкой настройки модели при генерации юридического содержания.

Этот подход позволяет эффективной адаптации языковых моделей к специализированным задачам, таким как юридическое составление документов, обеспечивая высокую производительность при эффективном управлении ресурсами.

Для получения комплексного руководства по точному настройке Qlora Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb . Исследуйте потенциал эффективных методов точной настройки для юридических приложений! ? ⚖

Не стесняйтесь исследовать, экспериментировать и вносить свой вклад в захватывающее поле LLMS. Ваши отзывы и вклад всегда приветствуются! ??

Счастливой тонкой настройки и оценки!

Благодарности:

Я хотел бы выразить свою искреннюю благодарность Сантьяго Эрнандесу, эксперту в области кибербезопасности и искусственного интеллекта. Его невероятный курс по глубокому обучению и генеративному ИИ, доступному в Udemy, сыграл важную роль в формировании разработки этого проекта.

Вклад

Вклад в этот проект очень рекомендуется! Если вы заинтересованы в добавлении новых функций, разрешении ошибок или улучшении функциональности проекта, пожалуйста, не стесняйтесь отправлять запросы на привлечение.

Связаться?

Этот проект разрабатывается и поддерживается Серхио Санчеса Санчес (программное обеспечение Dream). Особая благодарность сообществу с открытым исходным кодом и участникам, которые сделали этот проект возможным. Если у вас есть какие -либо вопросы, отзывы или предложения, не стесняйтесь обратиться по адресу [email protected].

Посетители считаются

Пожалуйста, поделитесь и смотрите репозиторий, чтобы держать меня мотивированным.

Лицензия ⚖

Этот проект лицензирован по лицензии MIT, лицензии с открытым исходным кодом, которая позволяет разработчикам свободно использовать, копировать, изменять и распространять программное обеспечение. Это включает в себя использование как в личных, так и в коммерческих проектах, и единственным требованием является то, что первоначальное уведомление об авторском праве сохраняется. ?

Обратите внимание на следующие ограничения:

• Программное обеспечение предоставляется «как есть», без каких -либо гарантий, явных или подразумеваемых. ? ️
• Если вы распространяете программное обеспечение, будь то в оригинальной или модифицированной форме, вы должны включить оригинальное уведомление об авторском праве и лицензию. ?
• Лицензия допускает коммерческое использование, но вы не можете претендовать на владение самого программного обеспечения. ? ️

Цель этой лицензии - максимизировать свободу для разработчиков, сохраняя при этом признание для первоначальных создателей.

 MIT License

Copyright (c) 2024 Dream software - Sergio Sánchez 

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.