awesome llms fine tuning

Superbes réglages de LLM

Bienvenue dans la collection organisée de ressources pour affiner les grands modèles linguistiques (LLM) tels que GPT, BERT, RoBERTa et leurs nombreuses variantes ! À l’ère de l’intelligence artificielle, la capacité d’adapter des modèles pré-entraînés à des tâches et des domaines spécifiques est devenue une compétence indispensable pour les chercheurs, les data scientists et les praticiens de l’apprentissage automatique.

Les grands modèles linguistiques, formés sur des ensembles de données massifs, capturent un large éventail de connaissances et de nuances linguistiques. Cependant, pour libérer tout leur potentiel dans des applications spécifiques, il est primordial de les affiner sur des ensembles de données ciblés. Ce processus améliore non seulement les performances des modèles, mais garantit également qu'ils s'alignent sur le contexte, la terminologie et les exigences particulières de la tâche à accomplir.

Dans cette liste impressionnante, nous avons méticuleusement compilé une gamme de ressources, notamment des didacticiels, des articles, des outils, des cadres et des bonnes pratiques, pour vous aider dans votre parcours de mise au point. Que vous soyez un praticien chevronné cherchant à élargir votre expertise ou un débutant désireux d'entrer dans le monde des LLM, ce référentiel est conçu pour fournir des informations et des lignes directrices précieuses pour rationaliser vos efforts.

Table des matières

• Projets GitHub
• Articles et blogs
• Cours en ligne
• Livres
• Documents de recherche
• Vidéos
• Outils et logiciels
• Conférences et événements
• Diapositives et présentations
• Baladodiffusions

Projets GitHub

• LlamaIndex ? : Un cadre de données pour vos applications LLM. (23010 étoiles)
• Pétales ? : Exécutez des LLM à la maison, à la manière de BitTorrent. Réglage fin et inférence jusqu'à 10 fois plus rapides que le déchargement. (7768 étoiles)
• LLaMA-Factory : un framework de réglage fin LLM facile à utiliser (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM3). (5532 étoiles)
• lit-gpt : implémentation piratable de LLM open source de pointe basés sur nanoGPT. Prend en charge l'attention flash, la quantification 4 bits et 8 bits, le réglage fin de LoRA et LLaMA-Adapter, le pré-entraînement. Sous licence Apache 2.0. (3469 étoiles)
• H2O LLM Studio : un framework et une interface graphique sans code pour affiner les LLM. Documentation : https://h2oai.github.io/h2o-llmstudio/ (2880 étoiles)
• Phoenix : Observabilité et évaluation de l'IA - Évaluez, dépannez et affinez vos modèles LLM, CV et NLP dans un ordinateur portable. (1596 étoiles)
• Adaptateurs LLM : Code pour l'article EMNLP 2023 : "Adaptateurs LLM : une famille d'adaptateurs pour un réglage fin efficace en termes de paramètres de modèles de langage volumineux". (769 étoiles)
• Platypus : code pour affiner les LLM de la famille Platypus à l'aide de LoRA. (589 étoiles)
• xtuner : une boîte à outils pour affiner efficacement LLM (InternLM, Llama, Baichuan, QWen, ChatGLM2). (540 étoiles)
• DB-GPT-Hub : un référentiel qui contient des modèles, des ensembles de données et des techniques de réglage fin pour DB-GPT, dans le but d'améliorer les performances du modèle, en particulier dans Text-to-SQL, et d'obtenir un taux d'exécution supérieur à celui de GPT-4 dans spider eval avec 13B LLM a utilisé ce projet. (422 étoiles)
• LLM-Finetuning-Hub : référentiel contenant des scripts de réglage fin et de déploiement LLM ainsi que nos résultats de recherche. 416
• Finetune_LLMs : Repo pour affiner les LLM occasionnels. 391
• MFTCoder : cadre de réglage fin multitâche de haute précision et efficacité pour les Code LLM ; 业内首个高精度、高效率、多任务、多模型支持、多训练算法，大模型代码能力微调框架. 337
• llmware : fournit un cadre de développement, des outils et des modèles optimisés basés sur LLM de niveau entreprise. 289
• LLM-Kit : Plateforme intégrée WebUI pour les derniers LLM | Application WebUI Il s'agit d'une API. mj文生图，LoRA和全参数微调，数据集制作，live2d等全流程应用工具. 232
• h2o-wizardlm : Implémentation Open-Source de WizardLM pour transformer les documents en paires Q:A pour un réglage fin du LLM. 228
• hcgf : Optimisation du modèle génératif de chat humanable | LLM微调. 196
• llm_qlora : Affiner les LLM à l'aide de QLoRA. 136
• Awesome-llm-human-preference-datasets : Une liste organisée d'ensembles de données sur les préférences humaines pour le réglage fin du LLM, le RLHF et l'évaluation. 124
• llm_finetuning : wrapper pratique pour le réglage fin et l'inférence de grands modèles linguistiques (LLM) avec plusieurs techniques de quantification (GTPQ, bitsandbytes). 114

Articles et blogs

• Affiner les LLM en 2024 avec Hugging Face : TRL et Flash Attention ? : Cet article de blog fournit un guide complet pour affiner les LLM (par exemple, Llama 2), en utilisant Hugging Face Trl et Flash Attention sur les GPU de taille grand public (24 Go).
• Guide complet du réglage fin du LLM pour les débutants : Un guide complet qui explique le processus de réglage fin d'un modèle pré-entraîné pour de nouvelles tâches, couvrant les concepts clés et fournissant un exemple concret.
• Ajustement fin des modèles LLM (Large Language Models) : cet article de blog présente un aperçu de l'ajustement fin des LLM pré-entraînés, discutant des concepts importants et fournissant un exemple pratique avec du code Python.
• Création d'un LLM expert en domaine : guide de réglage fin : un article qui plonge dans le concept de réglage fin à l'aide de l'API d'OpenAI, présentant un exemple de réglage fin d'un grand modèle de langage pour comprendre l'intrigue d'un opéra de Haendel.
• Un guide du débutant sur le réglage fin du LLM ? : Un guide qui couvre le processus de réglage fin des LLM, y compris l'utilisation d'outils comme QLoRA pour configurer et affiner les modèles.
• Knowledge Graphs et LLM : mise au point vs. Génération augmentée par récupération : cet article de blog explore les limites des LLM et fournit des informations sur la manière de les affiner en conjonction avec des graphiques de connaissances.
• Affiner un LLM sur vos données personnelles : créez un conteur « Le Seigneur des Anneaux » ✏️ : Un article qui montre comment former votre propre LLM sur les données personnelles, offrant un contrôle sur les informations personnelles sans s'appuyer sur le GPT-4 d'OpenAI.
• Affiner un modèle LLM avec H2O LLM Studio pour générer des instructions Cypher ? : Cet article de blog fournit un exemple de réglage fin d'un modèle LLM à l'aide de H2O LLM Studio pour générer des instructions Cypher, activant ainsi les applications de chatbot avec des graphiques de connaissances.
• Affinez votre propre modèle Llama 2 dans un bloc-notes Colab : Une introduction pratique au réglage fin du LLM, démontrant comment l'implémenter dans un bloc-notes Google Colab pour créer votre propre modèle Llama 2.
• Vous envisagez de peaufiner un LLM ? Voici 3 considérations avant de commencer : Cet article aborde trois idées à prendre en compte lors du réglage fin des LLM, notamment les moyens d'améliorer le GPT au-delà du PEFT et de la LoRA, et l'importance d'investir judicieusement les ressources.
• Introduction aux LLM et à l'IA générative : Partie 3—Réglage fin du LLM avec instruction : Cet article explore le rôle des LLM dans les applications d'intelligence artificielle et donne un aperçu de leur réglage fin.
• RAG vs Finetuning — Quel est le meilleur outil pour booster votre application LLM - Un article de blog discutant des aspects à prendre en compte lors de la création d'applications LLM et du choix de la méthode adaptée à votre cas d'utilisation. ?‍
• Affiner un LLM : RLHF et alternatives (Partie I) - Un article présentant des méthodes alternatives au RLHF, en particulier l'optimisation des préférences directes (DPO).
• Quand devriez-vous affiner les LLM ? - Explorer la comparaison entre le réglage fin des LLM open source et l'utilisation d'une API fermée pour les requêtes LLM à grande échelle. ?
• Affiner les grands modèles de langage - Considérer le réglage fin des grands modèles de langage et les comparer aux approches zéro et peu de tirs.
• GPT privé : Affiner le LLM sur les données d'entreprise – Explorer les techniques de formation qui permettent d'affiner les LLM sur des GPU plus petits.
• Affiner Google PaLM 2 avec Scikit-LLM - Démontrer comment affiner Google PaLM 2, le LLM le plus avancé de Google, à l'aide de Scikit-LLM. ?
• Une plongée approfondie dans le réglage fin des grands modèles de langage - Un blog complet sur le réglage fin des LLM tels que GPT-4 et BERT, fournissant des informations, des tendances et des avantages.
• Pré-formation, réglage fin et apprentissage en contexte dans les grands modèles linguistiques - Discuter des concepts de pré-formation, de réglage fin et d'apprentissage en contexte dans les LLM.
• Liste des grands modèles de langage open source optimisés - Une liste organisée de LLM open source optimisés qui peuvent être exécutés localement sur votre ordinateur. ?
• Guide du praticien pour affiner les LLM pour un cas d'utilisation spécifique à un domaine - Un guide couvrant les principaux apprentissages et conclusions sur le réglage fin des LLM pour des cas d'utilisation spécifiques à un domaine.
• Finetune Llama 3.1 avec une pile de production sur AWS, GCP ou Azure - Un guide et un tutoriel sur le réglage fin de Llama 3.1 (ou Phi 3.5) dans une configuration de production conçue pour les meilleures pratiques MLOps. ?

Cours en ligne

• Principes fondamentaux de mise au point : libérer le potentiel des LLM | Udemy : un cours pratique pour les débutants sur la création de modèles de style chatGPT et leur adaptation à des cas d'utilisation spécifiques.
• IA générative avec de grands modèles de langage | Coursera : Apprenez les principes fondamentaux de l'IA générative avec les LLM et comment les déployer dans des applications pratiques. Inscrivez-vous gratuitement.
• Modèles de langage étendus : application via la production | edX : un cours avancé destiné aux développeurs, aux data scientists et aux ingénieurs pour créer des applications centrées sur LLM à l'aide de frameworks populaires et être prêts à la production de bout en bout.
• Affiner les grands modèles de langage | Projet guidé Coursera : un court projet guidé qui couvre les concepts essentiels de mise au point et la formation de grands modèles de langage.
• API OpenAI et ChatGPT : réglage fin par des experts pour les développeurs | Udemy : découvrez la puissance de GPT-3 dans la création de solutions d'IA conversationnelle, y compris des sujets tels que l'ingénierie rapide, le réglage fin, l'intégration et le déploiement de modèles ChatGPT.
• Certificat professionnel sur les grands modèles linguistiques | edX : apprenez à créer et à produire des applications basées sur un modèle de langage large (LLM) en utilisant les derniers frameworks, techniques et théories derrière les modèles de base.
• Améliorer les performances de votre LLM au-delà du réglage fin | Udemy : un cours conçu pour les chefs d'entreprise et les développeurs intéressés à affiner les modèles LLM et à explorer les techniques permettant d'améliorer leurs performances.
• Introduction aux grands modèles de langage | Coursera : un cours de micro-apprentissage de niveau introduction proposé par Google Cloud, expliquant les bases des grands modèles linguistiques (LLM) et leurs cas d'utilisation. Inscrivez-vous gratuitement.
• Programme | LLM101x | edX : apprenez à utiliser l'intégration de données, les bases de données vectorielles et à affiner les LLM avec des données spécifiques au domaine pour augmenter les pipelines LLM.
• Master Class sur les modèles d'apprentissage profond d'optimisation des performances | Udemy : une classe de maître sur le réglage des modèles d'apprentissage profond, couvrant les techniques permettant d'accélérer l'apprentissage et d'optimiser les performances.
• Meilleurs cours et certifications sur les grands modèles linguistiques (LLM) : organisée par les meilleurs établissements d'enseignement et leaders de l'industrie, cette sélection de cours LLM vise à fournir une formation de qualité aux individus et aux équipes d'entreprise qui cherchent à apprendre ou à améliorer leurs compétences dans la mise au point des LLM.
• Maîtriser les modèles linguistiques : libérer la puissance des LLM : dans ce cours complet, vous plongerez dans les principes fondamentaux de la PNL et explorerez comment les LLM ont remodelé le paysage des applications d'IA. Un guide complet sur la PNL et les LLM avancés.
• Maîtrise des LLM : Guide complet des transformateurs et de l'IA générative : ce cours fournit un excellent aperçu de l'histoire de l'IA et couvre le réglage fin des trois principaux modèles LLM : BERT, GPT et T5. Convient à ceux qui s'intéressent à l'IA générative, aux LLM et aux applications de niveau production.
• Explorer les technologies derrière ChatGPT, GPT4 et LLM : le seul cours dont vous avez besoin pour en savoir plus sur les grands modèles de langage tels que ChatGPT, GPT4, BERT, et plus encore. Obtenez un aperçu des technologies derrière ces LLM.
• Introduction non technique aux grands modèles de langage : un aperçu des grands modèles de langage pour les personnes non techniques, expliquant les défis existants et fournissant des explications simples sans jargon complexe.
• Grands modèles linguistiques : modèles de base à partir de zéro : plongez dans les détails des modèles de base dans les LLM, tels que BERT, GPT et T5. Obtenez une compréhension des dernières avancées qui améliorent la fonctionnalité LLM.

Livres

• IA générative avec de grands modèles de langage – Nouveau cours pratique par Deeplearning.ai et AWS
• Un cours pratique qui enseigne comment affiner les grands modèles linguistiques (LLM) à l'aide de modèles de récompense et d'apprentissage par renforcement, en mettant l'accent sur l'IA générative.
• De la sélection des données au réglage fin : le guide technique pour la construction de modèles LLM
• Un guide technique qui couvre le processus de construction de modèles LLM, de la sélection des données au réglage fin.
• Le livre de recettes de connaissances LLM : de RAG à QLoRA, en passant par le réglage fin et toutes les recettes intermédiaires !
• Un livre de recettes complet qui explore divers modèles LLM, y compris des techniques telles que la récupération et la génération (RAG) et la représentation en langage de requête (QLoRA), ainsi que le processus de réglage fin.
• Principes pour affiner les LLM
• Un article qui démystifie le processus de réglage fin des LLM et explore différentes techniques, telles que l'apprentissage en contexte, les méthodes de réglage fin classiques, le réglage fin efficace des paramètres et l'apprentissage par renforcement avec feedback humain (RLHF).
• De la sélection des données au réglage fin : le guide technique pour la construction de modèles LLM
• Un guide technique qui fournit des informations sur la création et la formation de grands modèles linguistiques (LLM).
• Grands modèles de langage pratiques
• Un livre qui couvre les progrès des systèmes d'IA linguistique pilotés par l'apprentissage profond, en se concentrant sur les grands modèles de langage.
• Affinez Llama 2 pour la génération de texte sur Amazon SageMaker JumpStart
• Découvrez comment affiner les modèles Llama 2 à l'aide d'Amazon SageMaker JumpStart pour une génération de dialogue optimisée.
• Mise au point rapide et rentable de LLaMA 2 avec AWS Trainium
• Un article de blog qui explique comment réaliser un réglage fin rapide et rentable des modèles LLaMA 2 à l'aide d'AWS Trainium.
• Fine-tuning - Advanced Deep Learning with Python [Livre] : Un livre qui explore la tâche de réglage fin suite à la tâche de pré-formation en apprentissage profond avancé avec Python.
• The LLM Knowledge Cookbook : From, RAG, to QLoRA, to Fine... : Un guide complet sur l'utilisation de grands modèles de langage (LLM) pour diverses tâches, couvrant tout, des bases aux techniques avancées de réglage fin.
• Guide de démarrage rapide des grands modèles de langage : stratégies et meilleures... : Un guide axé sur les stratégies et les meilleures pratiques pour les grands modèles de langage (LLM) comme BERT, T5 et ChatGPT, présentant leurs performances sans précédent dans diverses tâches de PNL.
• 4. Techniques avancées GPT-4 et ChatGPT - Développement d'applications... : Un chapitre qui plonge dans les techniques avancées pour GPT-4 et ChatGPT, y compris l'ingénierie rapide, l'apprentissage sans tir, l'apprentissage en quelques coups et l'affinement spécifique à une tâche. réglage.
• Que sont les grands modèles de langage ? - LLM AI Explained - AWS : Une explication des grands modèles de langage (LLM), discutant des concepts d'apprentissage en quelques étapes et de réglage fin pour améliorer les performances du modèle.

Documents de recherche

• Adaptateurs LLM : une famille d'adaptateurs pour un réglage fin efficace des paramètres ? : Cet article présente les adaptateurs LLM, un cadre facile à utiliser qui intègre divers adaptateurs dans les LLM pour un réglage fin efficace des paramètres (PEFT) sur différentes tâches.
• Réglage fin du LLM en deux étapes avec moins de spécialisation ? : ProMoT, un cadre de réglage fin en deux étapes, aborde la question de la spécialisation du format dans les LLM via un réglage rapide avec MOdel Tuning, améliorant ainsi leurs performances générales d'apprentissage en contexte.
• Affiner les modèles linguistiques des grandes entreprises via le raisonnement ontologique ? : Cet article propose une architecture neurosymbolique qui combine des modèles linguistiques étendus (LLM) avec des graphes de connaissances d'entreprise (EKG) pour réaliser un réglage fin des LLM spécifiques à un domaine.
• QLoRA : réglage fin efficace des LLM quantifiés ? : QLoRA est une approche de réglage fin efficace qui réduit l'utilisation de la mémoire tout en préservant les performances des tâches, offrant des informations sur les modèles de langage quantifiés pré-entraînés.
• Ajustement complet des paramètres pour les grands modèles de langage avec des ressources limitées ? : Ce travail présente LOMO, une technique d'optimisation à faible mémoire, permettant l'ajustement complet des paramètres de grands LLM avec des ressources GPU limitées.
• LoRA : Low-Rank Adaptation of Large Language Models ? : LoRA propose une méthodologie pour adapter de grands modèles pré-entraînés à des tâches spécifiques en injectant des matrices de décomposition de rang entraînables dans chaque couche, réduisant le nombre de paramètres pouvant être entraînés tout en maintenant la qualité du modèle.
• Améliorer le LLM avec un réglage fin évolutif pour la génération de résumés d'actualités ? : Cet article présente un nouveau paradigme pour la génération de résumés d'actualités à l'aide de LLM, incorporant des algorithmes génétiques et de puissantes capacités de compréhension du langage naturel.
• Comment les langues s’influencent-elles ? Étudier le partage de données multilingues lors du réglage fin du LLM ? : Cette étude étudie le partage de données multilingues lors du réglage fin des grands modèles linguistiques multilingues (MLLM) et analyse l'influence des différents langages sur les performances du modèle.
• Affiner les modèles de langage avec Just Forward Passes ? : MeZO, un optimiseur d'ordre zéro économe en mémoire, permet d'affiner les grands modèles de langage tout en réduisant considérablement les besoins en mémoire.
• Apprendre à raisonner sur des graphiques de scène : une étude de cas de réglage fin des LLM ? : Ce travail explore l'applicabilité des LLM GPT-2 dans la planification de tâches robotiques, démontrant le potentiel d'utilisation des LLM dans des scénarios de planification de tâches à long terme.
• Ajustement privé des grands modèles de langage avec : cet article explore l'application de la confidentialité différentielle pour ajouter des garanties de confidentialité au réglage fin des grands modèles de langage (LLM).
• DISC-LawLLM : Affiner des modèles de langage étendus pour des systèmes juridiques intelligents : cet article présente DISC-LawLLM, un système juridique intelligent qui utilise des LLM affinés avec une capacité de raisonnement juridique pour fournir une large gamme de services juridiques.
• Réglage des instructions multitâches de LLaMa pour des scénarios spécifiques : A : L'article étudie l'efficacité du réglage fin de LLaMa, un LLM fondamental, sur des tâches d'écriture spécifiques, démontrant une amélioration significative des capacités d'écriture.
• Entraîner des modèles de langage pour suivre des instructions avec des commentaires humains : cet article propose une méthode pour aligner les modèles de langage avec l'intention de l'utilisateur en les affinant à l'aide de commentaires humains, ce qui donne lieu à une préférence pour les modèles par rapport aux modèles plus grands dans les évaluations humaines.
• Les grands modèles linguistiques peuvent s'auto-améliorer : l'article démontre que les LLM peuvent auto-améliorer leurs capacités de raisonnement en affinant à l'aide de solutions auto-générées, obtenant ainsi des performances de pointe sans étiquettes de vérité terrain.
• Adopter de grands modèles linguistiques pour les applications médicales : cet article met en évidence le potentiel des LLM affinés dans les applications médicales, améliorant la précision du diagnostic et soutenant la prise de décision clinique.
• Mise à l'échelle des modèles de langage affinés pour l'instruction : l'article explore le réglage fin de l'instruction sur les LLM, démontrant des améliorations significatives des performances et de la généralisation à des tâches invisibles.
• Ajustement fédéré de modèles linguistiques de plusieurs milliards de dollars : ce travail présente FwdLLM, un protocole d'apprentissage fédéré conçu pour améliorer l'efficacité du réglage fin des grands LLM sur les appareils mobiles, améliorant ainsi l'efficacité de la mémoire et du temps.
• Un aperçu complet des grands modèles de langage : cet article fournit un aperçu du développement et des applications de grands modèles de langage et de leurs capacités d'apprentissage par transfert.
• Affiner les modèles de langage pour trouver un accord entre les humains : L'article explore l'ajustement d'un grand LLM pour générer des déclarations consensuelles qui maximisent l'approbation d'un groupe de personnes ayant des opinions diverses.

Vidéos

• Introduction aux grands modèles de langage par Andrej Karpathy : il s'agit d'une introduction d'une heure aux grands modèles de langage. Qu'est-ce qu'ils sont, où ils vont, comparaisons et analogies avec les systèmes d'exploitation actuels, et certains des défis liés à la sécurité de ce nouveau paradigme informatique.
• Affiner Llama 2 sur votre propre ensemble de données | Formez un LLM pour votre... : découvrez comment affiner le modèle Llama 2 sur un ensemble de données personnalisé.
• Réglage fin du LLM avec QLoRA sur un seul GPU : formation du Falcon-7b sur... : Cette vidéo montre le processus de réglage fin du Falcon 7b LLM à l'aide de QLoRA.
• Affiner un LLM à l'aide de PEFT | Introduction au Large Language... : Découvrez comment affiner un LLM à l'aide du PEFT, une technique qui nécessite moins de ressources.
• LLMA-2 Open-Source LLM : un réglage personnalisé simplifié sur un... : Un guide étape par étape sur la façon d'affiner le modèle LLama 2 LLM sur votre ensemble de données personnalisé.
• Nouveau cours : Optimisation de modèles linguistiques étendus - YouTube : Cette vidéo présente un cours sur l'optimisation des LLM, couvrant la sélection de modèles, la préparation des données, la formation et l'évaluation.
• Q : Comment créer un ensemble de données d'instructions pour affiner mon LLM... : Dans ce didacticiel, les débutants découvrent comment affiner les LLM, notamment quand, comment et pourquoi le faire.
• Module LLM 4 : Affiner et évaluer les LLM | 4.13.1 Notebook... : Une démonstration de notebook sur le réglage fin et l'évaluation des LLM.
• Réglage/adaptation/personnalisation de Google LLM - Mise en route... : Commencez par affiner le grand modèle de langage PaLM 2 de Google grâce à un guide étape par étape.
• Pré-formation vs réglage fin vs apprentissage en contexte des LLM (GPT-x... : Un guide ultime expliquant la pré-formation, le réglage fin et l'apprentissage en contexte des LLM comme GPT-x.
• Comment affiner un LLM avec un PDF - Tutoriel Langchain - YouTube : Apprenez à affiner le LLM GPT d'OpenAI pour traiter des documents PDF à l'aide de Langchain et des bibliothèques PDF.
• Procédure pas à pas EasyTune - YouTube - Une procédure pas à pas pour affiner LLM avec QLoRA sur un seul GPU à l'aide de Falcon-7b.
• Libérer le potentiel des leçons ChatGPT en formation et en fin... - L'ÉTUDIANT présente l'instruction de mise au point et l'apprentissage en contexte des LLM avec des symboles.
• AI News : Créer des LLM sans code ! - YouTube - Maya Akim discute des 5 principaux cas d'utilisation de réglage fin du LLM que vous devez connaître.
• Les 5 meilleurs cas d'utilisation du réglage fin du LLM que vous devez connaître - YouTube - Une vidéo détaillée mettant en évidence les 5 principaux cas d'utilisation du réglage fin du LLM avec des liens supplémentaires pour une exploration plus approfondie.
• clip2 llm emory - YouTube - Apprenez à affiner Llama 2 sur votre propre ensemble de données et à former un LLM pour votre cas d'utilisation spécifique.
• Le moyen le plus simple d'affiner LAMA-v2 sur une machine locale ! - YouTube - Un guide vidéo étape par étape démontrant le moyen le plus simple, le plus simple et le plus rapide d'affiner LAMA-v2 sur votre ordinateur local pour un ensemble de données personnalisé.
• Formation et réglage fin des LLM : Introduction - YouTube - Une introduction à la formation et au réglage fin des LLM, y compris les concepts importants et le NeurIPS LLM Efficiency Challenge.
• Affiner les LLM avec PEFT et LoRA - YouTube - Une vidéo complète explorant comment utiliser PEFT pour affiner n'importe quel modèle GPT de style décodeur, y compris les bases du réglage précis et du téléchargement de LoRA.
• Création et conservation d'ensembles de données pour le réglage fin du RLHF et du LLM... - Apprenez-en davantage sur la création et la conservation d'ensembles de données pour le réglage fin du RLHF (apprentissage par renforcement à partir de la rétroaction humaine) et du LLM (grand modèle de langage), avec le parrainage d'Argilla.
• Affiner LLM (OpenAI GPT) avec des données personnalisées en Python - YouTube - Découvrez comment étendre LLM (OpenAI GPT) en l'affinant avec un ensemble de données personnalisé pour fournir des questions et réponses, un résumé et d'autres fonctions de type ChatGPT.

Outils et logiciels

• LLaMA Efficient Tuning : cadre de réglage fin LLM facile à utiliser (LLaMA-2, BLOOM, Falcon).
• H2O LLM Studio : Framework et interface graphique sans code pour peaufiner les LLM.
• PEFT : méthodes PEFT (Parameter-Efficient Fine-Tuning) pour une adaptation efficace de modèles de langage pré-entraînés aux applications en aval.
• Modèle de type ChatGPT : exécutez un modèle rapide de type ChatGPT localement sur votre appareil.
• Pétales : exécutez de grands modèles de langage comme BLOOM-176B en collaboration, ce qui vous permet de charger une petite partie du modèle et de faire équipe avec d'autres pour l'inférence ou le réglage fin. ?
• NVIDIA NeMo : une boîte à outils pour créer des modèles d'IA conversationnelle de pointe et spécialement conçue pour Linux.
• H2O LLM Studio : un framework et un outil GUI sans code pour affiner les grands modèles de langage sous Windows. ?️
• Ludwig AI : un framework low-code pour créer des LLM personnalisés et d'autres réseaux de neurones profonds. Entraînez facilement des LLM de pointe avec un fichier de configuration YAML déclaratif. ?
• bert4torch : Une implémentation PyTorch élégante de transformateurs. Chargez divers poids de grands modèles open source pour le raisonnement et les ajustements.
• Alpaca.cpp : exécutez un modèle rapide de type ChatGPT localement sur votre appareil. Une combinaison du modèle de base LLaMA et d'une reproduction ouverte de l'alpaga de Stanford pour un réglage précis en fonction de l'instruction. ?
• promptfoo : évaluez et comparez les résultats du LLM, détectez les régressions et améliorez les invites à l'aide d'évaluations automatiques et d'entrées utilisateur représentatives.

Conférences et événements

• Conversation ML/AI : IA neuro-symbolique - une alternative au LLM - Cette rencontre discutera de l'expérience de mise au point des LLM et explorera l'IA neuro-symbolique comme alternative.
• AI Dev Day - Seattle, lundi 30 octobre 2023, 17h00 - Une conférence technique sur l'observabilité LLM efficace et les opportunités de réglage fin à l'aide de la recherche de similarité vectorielle.
• Événements DeepLearning.AI - Une série d'événements comprenant l'atténuation des hallucinations LLM, le réglage fin des LLM avec PyTorch 2.0 et ChatGPT, ainsi que des programmes éducatifs sur l'IA.
• AI Dev Day - New York, jeu. 26 octobre 2023, 17h30 - Discussions techniques sur les meilleures pratiques dans les applications GenAI et l'utilisation des LLM pour des notifications personnalisées en temps réel.
• Chat LLM et agents IA - Utilisez Gen AI pour créer des systèmes et des agents IA - Un événement axé sur les LLM, les agents IA et les données en chaîne, avec des opportunités d'interaction via le chat d'événement.
• Groupe de développeurs NYC AI/LLM/ChatGPT - Discussions/ateliers techniques réguliers pour les développeurs intéressés par l'IA, les LLM, ChatGPT, NLP, ML, Data, etc.
• Tirer parti des LLM pour les données d'entreprise, mar. 14 novembre 2023, 14h00 - Plongez dans les stratégies LLM essentielles adaptées aux applications de données non publiques, y compris l'ingénierie et la récupération rapides.
• Bellevue Applied Machine Learning Meetup - Une rencontre axée sur les techniques d'apprentissage automatique appliquées et l'amélioration des compétences des scientifiques des données et des praticiens du ML.
• AI & Prompt Engineering Meetup Munich, Do., 5. Okt. 2023, 18h15 - Présentez H2O LLM Studio pour peaufiner les LLM et rassemblez des passionnés d'IA d'horizons divers.
• Seattle AI/ML/Data Developers Group – Discussions techniques sur l’évaluation des agents LLM et l’apprentissage de l’IA/ML/Data par la pratique.
• Dojo de la science des données - DC | Meetup : il s'agit d'un groupe de rencontre basé à Washington pour les professionnels intéressés par l'enseignement, l'apprentissage et le partage de connaissances et de compréhension de la science des données.
• Trouvez des événements et des groupes de science des données à Dubaï, AE : Découvrez des événements et des groupes de science des données à Dubaï, AE, pour vous connecter avec des personnes qui partagent vos intérêts.
• AI Meetup (en personne) : IA générative et LLM - Édition Halloween : rejoignez cette rencontre sur l'IA pour une discussion technique sur l'IA générative et les grands modèles linguistiques (LLM), y compris les outils open source et les meilleures pratiques.
• ChatGPT Unleashed : Démo en direct et meilleures pratiques pour le NLP : cet événement en ligne explore les hacks de réglage fin pour les grands modèles linguistiques et présente les applications pratiques de ChatGPT et des LLM.
• Trouvez des événements et des groupes sur la science des données à Pune, IN : Explorez des événements et des groupes en ligne ou en personne liés à la science des données à Pune, IN.
• Groupe de développeurs DC AI/ML/Data | Meetup : ce groupe vise à rassembler les passionnés d'IA de la région de Washington DC pour apprendre et mettre en pratique les technologies d'IA, notamment l'IA, l'apprentissage automatique, l'apprentissage profond et la science des données.
• Groupe de développeurs Boston AI/LLM/ChatGPT | Meetup : rejoignez ce groupe à Boston pour apprendre et mettre en pratique les technologies d'IA telles que les LLM, ChatGPT, l'apprentissage automatique, l'apprentissage profond et la science des données.
• Paris PNL | Meetup : Cette rencontre se concentre sur les applications du traitement du langage naturel (NLP) dans divers domaines, discutant des techniques, de la recherche et des applications des approches PNL traditionnelles et modernes.
• Groupe de développeurs SF AI/LLM/ChatGPT | Meetup : connectez-vous avec des passionnés d'IA de la région de San Francisco/Bay pour apprendre et mettre en pratique les technologies de l'IA, notamment les LLM, ChatGPT, NLP, l'apprentissage automatique, l'apprentissage profond et la science des données.
• Rencontre sur l'IA (en personne) : GenAI et LLM pour la santé : assistez à cette conférence technique sur l'application des LLM dans les soins de santé et découvrez les gains rapides liés à l'utilisation des LLM pour des tâches liées à la santé.

Diapositives et présentations

• Ajustement fin des grands LM : présentation discutant du processus d'ajustement fin des grands modèles de langage tels que GPT, BERT et RoBERTa.
• LLaMa 2.pptx : diapositives présentant LLaMa 2, un puissant successeur de grand modèle de langage développé par Meta AI.
• LLM.pdf : Présentation explorant le rôle des Transformers en PNL, du BERT au GPT-3.
• Bootcamp sur les grands modèles de langage : diapositives du bootcamp couvrant divers aspects des grands modèles de langage, y compris la formation à partir de zéro et la mise au point.
• Le LHC expliqué par CNN : diapositives expliquant le LHC (Large Hadron Collider) à l'aide de CNN et de modèles d'images affinés.
• Utilisation de grands modèles de langage en 10 lignes de code : présentation démontrant comment utiliser de grands modèles de langage en seulement 10 lignes de code.
• LLaMA-Adapter : réglage fin efficace des modèles de langage avec une attention zéro-init.pdf : diapositives traitant de LLaMA-Adapter, une technique efficace pour affiner les modèles de langage avec une attention zéro-init.
• Introduction aux LLM : présentation fournissant une introduction aux grands modèles de langage, y compris les modèles de base et le réglage fin avec des paires de complétion rapide.
• LLM Fine-Tuning (東大松尾研LLM講座 Day5資料) - Speaker Deck : diapositives utilisées pour une conférence sur le réglage fin des grands modèles de langage, spécifiquement pour le 東大松尾研サマースクール2023.
• Automatisez votre travail et votre entreprise avec ChatGPT #3 : Présentation discutant des principes fondamentaux de ChatGPT et de ses applications pour l'automatisation des tâches et les tâches commerciales.
• Libérer la puissance de l'IA générative An Executive's Guide.pdf - Un guide qui explique le processus de réglage fin des grands modèles linguistiques (LLM) pour les adapter aux besoins d'une organisation.
• Affiner et déployer les modèles PNL Hugging Face | PPT - Une présentation qui fournit des informations sur la façon de créer et de déployer des modèles LLM à l'aide de Hugging Face NLP.
• 大規模言語モデル時代のHuman-in-the-Loop機械学習 - Speaker Deck - Un diaporama discutant du processus de réglage fin des modèles linguistiques pour trouver un accord entre les humains ayant des préférences diverses.
• Série AI et ML - Introduction à l'IA générative et aux LLM | PPT - Une présentation présentant l'IA générative et les LLM, y compris leur utilisation dans des applications spécifiques.
• Génération augmentée de récupération en pratique : GenAI évolutive... - Une présentation discutant des cas d'utilisation de l'IA générative, des limites des grands modèles de langage et de l'utilisation de la génération augmentée de récupération (RAG) et des techniques de réglage fin.
• Présentation finale du LLM | PPT - Une présentation couvrant la loi de 2013 sur l'agence pour l'enfance et la famille et le principe de l'intérêt supérieur dans le contexte des LLM.
• Adaptations du paradigme LLM dans les systèmes de recommandation.pdf - Un PDF expliquant le processus de réglage fin et les adaptations objectives dans les systèmes de recommandation basés sur LLM.
• IA conversationnelle avec les modèles Transformer | PPT - Une présentation mettant en évidence l'utilisation des modèles de transformateur dans les applications d'IA conversationnelle.
• Index des lamas | PPT - Une présentation sur l'essor des LLM et la création d'applications basées sur LLM.
• LLaMA-Adapter : réglage fin efficace des modèles de langage avec une attention zéro-init.pdf - Un PDF discutant du réglage fin efficace des modèles de langage avec une attention zéro-init à l'aide de LLaMA.

Baladodiffusions

• IA pratique : apprentissage automatique, science des données - Rendre l'intelligence artificielle pratique, productive et accessible à tous. Participez à des discussions animées sur l'IA, l'apprentissage automatique, l'apprentissage profond, les réseaux de neurones et bien plus encore. Des informations accessibles et des scénarios du monde réel pour les praticiens débutants et chevronnés.
• Gradient Dissent : Exploration de l'apprentissage automatique, de l'IA et du Deep Learning - Découvrez les coulisses pour apprendre auprès des leaders de l'industrie comment ils mettent en œuvre l'apprentissage profond dans des scénarios du monde réel. Obtenez des informations sur le secteur de l'apprentissage automatique et restez informé des dernières tendances.
• Weavate Podcast - Rejoignez Connor Shorten pour la série de podcast Weavate, mettant en vedette des interviews avec des experts et des discussions sur des sujets liés à l'IA.
• Espace latent: le podcast d'ingénieur AI - Codegen, les agents, la vision par ordinateur, la science des données, l'IA UX et All Things Software 3.0 - Plongez dans le monde de l'ingénierie de l'IA, couvrant des sujets comme la génération de code, la vision informatique, la science des données et les dernières avancées Dans ai ux.
• Apprentissage non supervisé - Gardez un aperçu du paysage d'IA en développement rapide et de son impact sur les entreprises et le monde. Explorez les discussions sur les applications LLM, les tendances et les technologies de perturbation.
• Le podcast Twiml AI (anciennement cette semaine en machine apprentissage) - plongez profondément dans des approches de réglage fin utilisées dans les capacités et les limitations de l'IA, LLM, et apprenez des experts dans le domaine.
• L'IA et l'avenir du travail sur les podcasts Apple: un podcast organisé par SC Moatti discutant de l'impact de l'IA sur l'avenir du travail.
• AI pratique: apprentissage automatique, science des données: réglage fin VS RAG: Cet épisode explore la comparaison entre le réglage fin et la génération augmentée de récupération dans l'apprentissage automatique et la science des données.
• Apprentissage non supervisé sur Apple Podcasts: Episode 20 présente une interview avec le PDG d'Anthropic Dario Amodei sur l'avenir d'AGI et de l'IA.
• Documents lus sur AI | Podcast sur Spotify: Ce podcast vous tient à jour avec les dernières tendances et les architectures les plus performantes dans le domaine de l'informatique.
• Cette journée dans le podcast AI sur les podcasts Apple: couvrant divers sujets liés à l'IA, ce podcast offre des informations passionnantes sur le monde de l'IA.
• Tout sur l'évaluation des applications LLM // Shahul es // # 179 MOPLOP: Dans cet épisode, Shahul es partage son expertise sur l'évaluation dans les modèles open source, y compris des informations sur le débogage, le dépannage et les références.
• AI Daily sur les podcasts Apple: animé par Conner, Ethan et Farb, ce podcast explore les histoires fascinantes liées à l'IA.
• Vidéos Yannic Kilcher (Audio uniquement) | Podcast on Spotify: Yannic Kilcher discute des articles de recherche sur l'apprentissage automatique, de la programmation et de l'impact plus large de l'IA dans la société.
• Podcast moins organisé | Podcast sur Spotify: Version audio des articles partagés dans la newsletter organisée Lesswrong.
• SAI: Le podcast Security and IA sur les podcasts d'Apple: un épisode axé sur le programme de subventions de cybersécurité d'Openai.

---

Cette version initiale de la liste impressionnante a été générée à l'aide du générateur de liste impressionnant. Il s'agit d'un package Python open source qui utilise la puissance des modèles GPT pour gérer et générer automatiquement des points de départ pour les listes de ressources liées à un sujet spécifique.