llm_finetuning_and_evaluation
1.0.0
Bienvenue dans le référentiel de réglage et d'évaluation LLM ! ? Ici, nous plongeons profondément dans le monde passionnant du modèle de grand langage (LLM), le réglage fin et l'évaluation, en se concentrant sur les techniques de pointe pour adapter des modèles tels que Flan-T5 , TinyLlama et Aguila7b pour diverses tâches de traitement du langage naturel (NLP) . ?
À mesure que les LLM deviennent une partie intégrante des applications d'IA modernes, la capacité à affiner et à évaluer ces modèles n'a jamais été aussi cruciale. Ce référentiel est conçu pour vous aider à naviguer dans les complexités de la personnalisation des modèles, offrant des informations et des outils pratiques pour améliorer les performances, la précision et la responsabilité éthique de vos modèles.
Que vous travailliez sur:
Ce référentiel fournit les ressources pour élever vos projets au niveau supérieur.
Je voudrais exercer ma sinistre gratitude à Santiago Hernández, un expert en cybersécurité et en intelligence artificielle. Son incroyable cours sur Deep Learning et IA Generative, disponible chez Udemy, a contribué à façonner le développement de ce projet.
Pour des informations complètes sur ce projet, consultez cet article moyen.
Pour commencer, consultez les ordinateurs portables pour les guides étape par étape sur le réglage et l'évaluation du modèle:
Instruction_Fine_Tuning_LLM_T5.ipynb : instructions détaillées sur le flan-T5 final pour le résumé espagnol.Evaluation_and_Analysis_T5_Familiy_LLMs.ipynb : aperçu de l'évaluation et de l'analyse de divers modèles T5. ?Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb : en savoir plus sur le réglage fin avec Qlora pour des tâches spécialisées telles que la rédaction de documents juridiques. ⚖️TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb : explorez le processus de réglage fin de Tinyllama en utilisant PPO et RLHF pour éviter un langage nuisible ou offensant. ? ️Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb : Évaluation des modèles affinés dans le cadre Ilenia , y compris les projets Aguila7b et Latxa. Dans cette nouvelle étude, l'objectif principal était de régler Tinyllama en utilisant des techniques d'optimisation de la politique proximale (PPO) combinées à l'apprentissage du renforcement de la rétroaction humaine (RLHF) . L'objectif est d'affiner la capacité du modèle à éviter de générer un langage nocif, offensant ou toxique tout en préservant une génération de contenu significative.
Faits saillants de l'étude:
Pour une compréhension complète de la méthodologie et des résultats, reportez-vous au cahier: TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb .
Le projet Ilenia fait partie du projet stratégique d'Espagne pour la reprise et la transformation économiques (PERTE) , qui se concentre sur le développement de ressources multilingues pour la nouvelle économie linguistique (NEL) . Cette initiative soutient l'utilisation des langues espagnoles et d'autres langues officielles pour stimuler la croissance économique et la compétitivité internationale dans des domaines comme l'IA, la traduction et l'éducation.
Dans le cadre de cet effort, nous évaluons les LLM des projets AGUILA7B et LATXA , qui sont conçus pour les tâches de traitement du texte et de la parole. Ces évaluations se concentrent sur les performances des modèles, garantissant qu'elles s'alignent sur les besoins sociétaux et technologiques, en particulier dans des contextes multilingues et interdiratiques.
Aspects clés:
Pour une analyse approfondie, reportez-vous au cahier: Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb .
Dans le monde en évolution rapide du traitement du langage naturel (NLP), le tir des modèles de langue pré-formés est devenu crucial pour améliorer les performances entre diverses tâches. ? Parmi ceux-ci, la famille T5 de modèles se distingue par sa polyvalence et son efficacité dans la gestion d'une gamme de tâches de langue. Cette étude plonge dans l'évaluation et l'analyse des modèles T5 pré-formés, en se concentrant sur la façon dont l'ingénierie rapide et les exemples à quelques tirs peuvent être utilisés pour affiner ces modèles. ?
La famille T5, y compris des modèles comme T5-base, T5-Large et Flan-T5, a montré des capacités impressionnantes dans la génération de texte, la réponse aux questions et la traduction. Pourtant, il y a toujours place à l'optimisation. Le réglage fin de ces modèles en utilisant l'ingénierie rapide - conception et structuration d'invites d'entrée - ainsi que l'apprentissage à quelques tirs, offre une méthode puissante pour améliorer leurs performances sans recyclage approfondi.
Dans ce travail, nous évaluons en profondeur différents modèles T5, explorant comment diverses techniques d'ingénierie rapides et des configurations d'apprentissage à quelques coups affectent leurs performances. Notre objectif est de découvrir les meilleures pratiques pour le réglage des modèles pré-formés pour exceller dans les applications du monde réel. En analysant les forces et les limites de chaque modèle dans différentes conditions rapides, cette étude vise à fournir des informations précieuses sur l'optimisation des LLM à base de T5 pour diverses tâches NLP. ?
Pour une procédure détaillée du processus d'évaluation et des résultats, veuillez vous référer au cahier: Evaluation_and_Analysis_T5_Family_LLMs.ipynb .
Bienvenue dans ce projet sur l'amélioration du modèle de langue Flan-T5-Small pour résumer les articles de journaux espagnols! ? Dans ce guide, nous nous concentrons sur l'instruction a affinée le modèle Flan-T5-Small pour améliorer sa capacité à générer des résumés concis et précis du contenu d'actualités en espagnol.
Le cahier Instruction_Fine_Tuning_LLM_T5.ipynb fournit une procédure détaillée de l'ensemble du processus. Il couvre:
En suivant les instructions dans le cahier, vous apprendrez à adapter ce puissant modèle pré-formé pour gérer efficacement le résumé de texte espagnol, en lui permettant de fournir des résumés clairs et cohérents des articles de presse. ? ️
Pour un guide complet, reportez-vous à l' Instruction_Fine_Tuning_LLM_T5.ipynb . Profitez d'explorer et de régler un réglage! ?
Cette section introduit le concept de réglage final (PEFT) efficace par les paramètres en utilisant Qlora pour améliorer les modèles de langage dans des contextes juridiques. QLORA (adaptation de faible rang quantifiée) est conçu pour affiner efficacement les modèles de langage grand avec moins de paramètres, réduisant à la fois les besoins en calcul et en mémoire.
Le cahier Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb détaille les éléments suivants:
Cette approche permet une adaptation efficace des modèles linguistiques à des tâches spécialisées comme la rédaction de documents juridiques, garantissant des performances élevées tout en gérant efficacement l'utilisation des ressources.
Pour un guide complet sur le réglage de Qlora, reportez-vous au cahier Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb . Explorez le potentiel de techniques d'adaptation efficaces pour les applications juridiques! ? ⚖️
N'hésitez pas à explorer, à expérimenter et à contribuer au champ passionnant des LLM. Vos commentaires et contributions sont toujours les bienvenus! ??
Bonne fin et évaluation!
Je voudrais exercer ma sinistre gratitude à Santiago Hernández, un expert en cybersécurité et en intelligence artificielle. Son incroyable cours sur l'apprentissage en profondeur et l'IA générative, disponible chez Udemy, a contribué à façonner le développement de ce projet.
Les contributions à ce projet sont très encouragées! Si vous souhaitez ajouter de nouvelles fonctionnalités, résoudre des bogues ou améliorer la fonctionnalité du projet, n'hésitez pas à soumettre des demandes de traction.
Ce projet est développé et maintenu par Sergio Sánchez Sánchez (logiciel de rêve). Un merci spécial à la communauté open source et aux contributeurs qui ont rendu ce projet possible. Si vous avez des questions, des commentaires ou des suggestions, n'hésitez pas à vous contacter à [email protected].
Ce projet est sous licence MIT, une licence de logiciel open source qui permet aux développeurs d'utiliser librement, de copier, de modifier et de distribuer le logiciel. Cela comprend l'utilisation dans des projets personnels et commerciaux, la seule exigence étant que le préavis d'origine du droit d'auteur est conservé. ?
Veuillez noter les limites suivantes:
L'objectif de cette licence est de maximiser la liberté pour les développeurs tout en maintenant la reconnaissance des créateurs originaux.
MIT License
Copyright (c) 2024 Dream software - Sergio Sánchez
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
