self learn llms

LLM en auto-apprentissage

Ce référentiel constitue certaines des ressources que j'utiliserai pour en savoir plus sur les grands modèles linguistiques. J'essaierai également d'élaborer une feuille de route au fur et à mesure de mon parcours d'auto-apprentissage, car une feuille de route claire avec des étapes importantes sera l'un des meilleurs moyens d'en apprendre davantage sur les LLM de manière appropriée.

Pour cela, j'inclurai un mélange de ressources pratiques théoriques et pratiques à apprendre.

PS : il faut que cela soit plus visuel

Édition : 6 novembre 2024

• Besoin de refactoriser majoritairement le référentiel.

• Supprimez les cours ou les ressources qui ne sont pas pertinents.

• Dans la course aux modèles, nous ne pouvons pas continuer à répertorier les modèles dans le référentiel car il est difficile de suivre les modèles et les mises à jour rendront les modèles précédents inutiles. Il faut réfléchir à une meilleure façon d’organiser un zoo modèle.

• Peut-être ajouter 1 à 2 contributeurs ou ouvrir le référentiel aux contributions pour vous aider.

• Comment pouvons-nous en faire une excellente expérience d'apprentissage, en hébergeant des notes et des didacticiels, des discussions ouvertes, une page Web ?

Cours

Fondamentaux de la PNL

1. CS224N Traitement du langage naturel avec apprentissage profond, Stanford

2. Spécialisation en traitement du langage naturel, Coursera

Transformateurs

1. Cours HuggingFace PNL + Transformateurs

2. CS25 : Transformers United V2, Stanford CS25, version automne 2021

Grands modèles de langage

Cours industriels et Open Source

1. Activeloop Learn, cette initiative GenAI360 propose 3 cours gratuits sur les RAG, le réglage fin des LLM, LangChain et VectorDB.

2. Cours LLM par Maxime Labonne, Cours pour entrer dans les Large Language Models (LLM) avec feuilles de route et cahiers Colab.

3. Cours pratique LLM, découvrez gratuitement les LLM, LLMOps et Vector DB en concevant, formant et déployant le code source du système LLM d'un conseiller financier en temps réel + du matériel vidéo et de lecture.

4. Le Full Stack Deep Learning, qui a commencé comme un bootcamp d'apprentissage profond et a évolué vers un bootcamp LLM vers avril 2023, est désormais gratuit.

5. LLM University de Cohere, ce cours se compose de 8 modules enseignés par le célèbre Luis Serrano, connu pour enseigner les concepts de manière simple et visuellement attrayante. Le cours contient des sujets tels que les principes fondamentaux, le déploiement, la recherche sémantique et RAG.

6. Deeplearning.ai Short Courses, cours de courte durée par DL.AI sur divers domaines des LLM et de l'IA générative. Ces cours courts sont très utiles car ils mélangent parfaitement séances théoriques et pratiques. Les cours sont généralement réalisés en collaboration avec des entreprises comme Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google etc.

7. LLM Zoomcamp par DataTalksClub, LLM Zoomcamp - un cours en ligne gratuit sur la création d'un système de questions-réponses.

8. Cours Applied LLMs Mastery 2024 par Aishwarya N Reganti, cours gratuit de 10 semaines avec une feuille de route définie allant des principes fondamentaux du LLM, des outils et techniques, du déploiement et de l'évaluation aux défis et tendances futures.

9. Cours de pondération et de biais, propose différents cours sur MLOps, les applications propulsées par LLM, etc.

10. Cours LLM Models, DataBricks x ed, certification professionnelle par DataBricks.

11. Deeplearning.ai propose divers cours de courte durée sur les LLM comme LangChain pour le développement d'applications LLM, les LLM sans serveur avec AWS Bedrock, les LLM de réglage fin, les LLM avec recherche sémantique, etc.

12. Introduction au parcours d'apprentissage de l'IA générative, Google Cloud.

13. L'Université d'Arize accueille des cours tels que l'évaluation LLM, les outils et chaînes d'agents LLM, l'observabilité LLM, etc.

Cours universitaires

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101 : Grands modèles de langage, UNC Chapel Hill](https://github.com/craffel/ llm-seminar) 3. [Grands modèles linguistiques S-23, ETH Zurich](https://rycolab.io/classes/llm-s23/) 4. [Fondations des grands modèles linguistiques, Université de Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations-large-lingual-models)

Livres

1. Livre sur le traitement du langage naturel avec Transformers

2. 
   

Blogues et guides

Blogs Langchain

1. Le blog d'AIMultiple sur les grands modèles linguistiques : guide complet en 2023

2. Cohérer les documents

3. Blog FutureSmart AI sur la création de chatbots à l'aide de LangChain et ChatGPT

4. Agent autonome axé sur les tâches utilisant GPT-4, Pinecone et LangChain pour diverses applications

Documents importants

1. Une enquête sur les grands modèles de langage Consultez également ce dépôt : https://github.com/RUCAIBox/LLMSurvey

2. Comprendre les grands modèles de langage – Une liste de lectures transformatrices, Sebastian Raschka

3. 
   

Groupes de lecture

1. Wiki CLSP, NLP Reading Group, une liste de groupes de lecture liés à la PNL qui est fréquemment mise à jour.

Tutoriels et discussions

Conférences TED

1. L'histoire intérieure du potentiel étonnant de ChatGPT | Greg Brockman | TED

2. Pourquoi l'IA est incroyablement intelligente – et incroyablement stupide | Yejin Choi | TED

Pourparlers à venir

1. 25 avril 2023, Arize : Observez

2. 27 avril 2023, Mise au point des LLM avec PyTorch 2.0 et ChatGPT

Ensembles de données, blocs-notes et espaces

Ensembles de données

Carnets

Espaces

1. Organisation H2O, HuggingFaces

2. Organisation OpenAssistant, HuggingFaces

3. Organisation DataBricks, HuggingFaces

4. Organisation BigScience, HuggingFaces

5. Organisation EleutherAI, HuggingFaces

6. Organisation NomicAI, HuggingFaces

7. Organisation Cérébras, HuggingFaces

Bibliothèques, cadres et boîtes à outils

1. LLMStudio, H2O AI

2. LLamaIndex

3. NeMo Guardrails, NVIDIA, pour prévenir les hallucinations et ajouter des garde-corps programmables

4. MLC LLM, Développer, optimiser et déployer des LLM de manière native sur les appareils de chacun)

5. LaMini LLM

Modèles de langage

1. ChatGPT, OpenAI, sorti le 30 novembre 2022

2. Google Bard, sorti le 21 mars 2023

3. Tongyi Qianwen AI, Alibaba, sorti le 11 avril 2023

4. StableLM, Stability AI, sorti le 20 avril 2023

5. Titan d'Amazonie

6. HuggingChat, HuggingFaces, sorti le 25 avril 2023

7. H2OGPT

8. Modèle Bloom, utilisation commerciale autorisée avec RAIL

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. Licence GPT4All, NomicAI, MIT

12. Licence GPT4All-J, NomicAI, MIT

13. Licence Pythia, EleutherAI, MIT

14. GLM-130B

15. PaLM, Google

16. OPT, méta

17. FLAN-T5

18. LLaMA, Méta

19. Alpaga, Stanford

20. Vicuna, lm-sys

Communautés

Cas d'utilisation

1. PartagerGPT

Projets et idées

Bases de données vectorielles

1. Pomme de pin

2. Tisser

3. Milvus

4. ChromaDB

Agents autonomes

1. BébéAGI

2. GPT automatique

Influenceurs LLM

Les personnes que vous devez absolument suivre pour vous tenir au courant des LLM. Chercheurs/fondateurs/développeurs/créateurs de contenu IA impliqués dans la production/recherche/développement LLM

1. Sebastian Raschka, c'est une légende et fera éclater votre bulle LLM hype-up avec ses incroyables tweets, blogs et tutoriels. Abonnez-vous à sa newsletter Ahead of AI

2. Andrej Karpathy, donc cette légende a travaillé chez Tesla, a fait une pause, a lancé sa chaîne YouTube pour enseigner les bases et nous a tous époustouflés avec son incroyable vidéo sur la mise en œuvre de GPT à partir de zéro et a finalement rejoint OpenAI. Je suppose qu'on ne peut pas perdre une légende :D

3. Jay Alammar, ouais, si vous ne connaissez pas son blog ELI sur Transformers, lisez-le d'abord et assurez-vous de le suivre pour les mises à jour.

4. Tomaz Bratanic, il est l'auteur du célèbre livre Graph Algorithms for Data Science, et écrit actuellement d'excellents blogs sur Medium liés à GPT, Langchain et autres.