self learn llms

Selbstlernende LLMs

Dieses Repository stellt einige der Ressourcen dar, die ich nutzen werde, um etwas über große Sprachmodelle zu lernen. Ich werde auch versuchen, eine Roadmap zu erstellen, während ich auf dieser Reise zum Selbstlernen voranschreite, da eine klare Roadmap mit Meilensteinen eine der besten Möglichkeiten ist, LLMs richtig kennenzulernen.

Zu diesem Zweck werde ich eine Mischung aus theoretischen und praktischen praktischen Ressourcen zum Lernen einbeziehen.

PS: Das muss visueller gestaltet werden

Bearbeiten: 6. November 2024

• Das Repository muss grundlegend umgestaltet werden.

• Entfernen Sie Kurse oder Ressourcen, die nicht relevant sind.

• Im Modellwettlauf können wir nicht weiterhin Modelle im Repository auflisten, da es schwierig ist, den Überblick über die Modelle zu behalten, und Aktualisierungen die vorherigen Modelle unbrauchbar machen. Wir müssen uns eine bessere Möglichkeit überlegen, einen Modellzoo zu organisieren.

• Fügen Sie möglicherweise 1-2 Mitwirkende hinzu oder öffnen Sie das Repository für Beiträge, um zu helfen.

• Wie können wir es zu einer großartigen Lernerfahrung machen, indem wir Notizen und Tutorials, offene Diskussionen und eine Webseite bereitstellen?

Kurse

NLP-Grundlagen

1. CS224N Verarbeitung natürlicher Sprache mit Deep Learning, Stanford

2. Spezialisierung auf Verarbeitung natürlicher Sprache, Coursera

Transformatoren

1. HuggingFace NLP + Transformers-Kurs

2. CS25: Transformers United V2, Stanford CS25, Herbstversion 2021

Große Sprachmodelle

Industrie- und Open-Source-Kurse

1. Activeloop Learn, diese Initiative GenAI360, bietet 3 kostenlose Kurse zu RAGs, zur Feinabstimmung von LLMs, LangChain und VectorDBs.

2. LLM-Kurs von Maxime Labonne, Kurs zum Einstieg in Large Language Models (LLMs) mit Roadmaps und Colab-Notizbüchern.

3. Praktischer LLM-Kurs. Erfahren Sie kostenlos mehr über LLMs, LLMOps und Vector DBs, indem Sie einen Quellcode für ein Echtzeit-Finanzberater-LLM-System sowie Videos und Lesematerialien entwerfen, schulen und bereitstellen.

4. Full Stack Deep Learning begann als Deep-Learning-Bootcamp und entwickelte sich etwa im April 2023 zum LLM-Bootcamp. Die Teilnahme ist jetzt kostenlos.

5. LLM University by Cohere, dieser Kurs besteht aus 8 Modulen, die vom berühmten Luis Serrano unterrichtet werden, der dafür bekannt ist, Konzepte auf einfache und optisch ansprechende Weise zu vermitteln. Der Kurs umfasst Themen wie Grundlagen, Bereitstellung, semantische Suche und RAG.

6. Deeplearning.ai-Kurzkurse, Kurzkurse von DL.AI zu verschiedenen Bereichen von LLMs und generativer KI. Diese kurzen Kurse sind wirklich nützlich, da sie die perfekte Mischung aus theoretischen und praktischen Sitzungen bieten. Die Kurse werden in der Regel in Zusammenarbeit mit Unternehmen wie Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google usw. durchgeführt.

7. LLM Zoomcamp von DataTalksClub, LLM Zoomcamp – ein kostenloser Online-Kurs zum Aufbau eines Frage-und-Antwort-Systems.

8. Applied LLMs Mastery 2024-Kurs von Aishwarya N Reganti, kostenloser 10-wöchiger Kurs mit einer konkreten Roadmap, die von LLM-Grundlagen, Tools und Techniken, Bereitstellung und Bewertung bis hin zu Herausforderungen und zukünftigen Trends reicht.

9. Weights and Biases Courses bietet verschiedene Kurse zu MLOps, LLM Powered Apps usw.

10. LLM Models-Kurs, DataBricks x ed, professionelle Zertifizierung durch DataBricks.

11. Deeplearning.ai bietet verschiedene Kurzkurse zu LLMs wie LangChain für LLM-App-Entwicklung, serverlose LLMs mit AWS Bedrock, Feinabstimmung von LLMs, LLMs mit semantischer Suche usw. an.

12. Einführung in den Generative AI Learning Path, Google Cloud.

13. Die Arize University bietet Kurse wie LLM-Bewertung, LLM-Agenten-Tools und -Ketten, LLM-Beobachtbarkeit usw. an.

Universitätskurse

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: Large Language Models, UNC Chapel Hill](https://github.com/craffel/ llm-Seminar) 3. [Large Language Models S-23, ETH Zürich](https://rycolab.io/classes/llm-s23/) 4. [Grundlagen großer Sprachmodelle, University of Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations-large-lingual-models)

Bücher

1. Buch zur Verarbeitung natürlicher Sprache mit Transformers

2. 
   

Blogs und Leitfäden

Langchain-Blogs

1. AIMultiples Blog zu großen Sprachmodellen: Vollständiger Leitfaden im Jahr 2023

2. Cohere-Dokumente

3. FutureSmart AI-Blog zum Erstellen von Chatbots mit LangChain und ChatGPT

4. Aufgabengesteuerter autonomer Agent, der GPT-4, Pinecone und LangChain für verschiedene Anwendungen nutzt

Wichtige Papiere

1. Eine Übersicht über große Sprachmodelle. Schauen Sie sich auch dieses Repo an: https://github.com/RUCAIBox/LLMSurvey

2. Große Sprachmodelle verstehen – Eine transformative Leseliste, Sebastian Raschka

3. 
   

Lesegruppen

1. Wiki CLSP, NLP Reading Group, eine Liste von Lesegruppen zum Thema NLP, die regelmäßig aktualisiert wird.

Tutorials und Vorträge

TED-Gespräche

1. Die Insider-Geschichte des erstaunlichen Potenzials von ChatGPT | Greg Brockman | TED

2. Warum KI unglaublich intelligent – ​​und erschreckend dumm ist | Yejin Choi | TED

Kommende Gespräche

1. 25. April 2023, Arize: Beobachten

2. 27. April 2023, Feinabstimmung von LLMs mit PyTorch 2.0 und ChatGPT

Datensätze, Notizbücher und Räume

Datensätze

Notizbücher

Räume

1. H2O Organization, HuggingFaces

2. OpenAssistant-Organisation, HuggingFaces

3. DataBricks-Organisation, HuggingFaces

4. BigScience-Organisation, HuggingFaces

5. EleutherAI-Organisation, HuggingFaces

6. NomicAI-Organisation, HuggingFaces

7. Cerebras Organization, HuggingFaces

Bibliotheken, Frameworks und Toolkits

1. LLMStudio, H2O AI

2. LLamaIndex

3. NeMo Guardrails, NVIDIA, um Halluzinationen vorzubeugen und programmierbare Leitplanken hinzuzufügen

4. MLC LLM, Entwicklung, Optimierung und Bereitstellung von LLMs nativ auf allen Geräten)

5. LaMini LLM

Sprachmodelle

1. ChatGPT, OpenAI, veröffentlicht am 30. November 2022

2. Google Bard, veröffentlicht am 21. März 2023

3. Tongyi Qianwen AI, Alibaba, veröffentlicht am 11. April 2023

4. StableLM, Stabilitäts-KI, veröffentlicht am 20. April 2023

5. Amazon Titan

6. HuggingChat, HuggingFaces, veröffentlicht am 25. April 2023

7. H2OGPT

8. Bloom-Modell, kommerzielle Nutzung mit RAIL erlaubt

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. GPT4All, NomicAI, MIT-Lizenz

12. GPT4All-J, NomicAI, MIT-Lizenz

13. Pythia, EleutherAI, MIT-Lizenz

14. GLM-130B

15. PaLM, Google

16. OPT, Meta

17. FLAN-T5

18. LLaMA, Meta

19. Alpaka, Stanford

20. Vicuna, lm-sys

Gemeinschaften

Anwendungsfälle

1. TeilenGPT

Projekte und Ideen

Vektordatenbanken

1. Tannenzapfen

2. Weben

3. Milvus

4. ChromaDB

Autonome Agenten

1. BabyAGI

2. AutoGPT

LLM-Influencer

Personen, denen Sie unbedingt folgen sollten, um über LLMs auf dem Laufenden zu bleiben. Forscher/Gründer/Entwickler/Ersteller von KI-Inhalten, die an der LLM-Produktion/Forschung/Entwicklung beteiligt sind

1. Sebastian Raschka, er ist eine Legende und wird mit seinen tollen Tweets, Blogs und Tutorials Ihre LLM-Hype-Blase zum Platzen bringen. Abonnieren Sie seinen Newsletter Ahead of AI

2. Andrej Karpathy, also diese Legende, arbeitete bei Tesla, machte eine Pause, startete seinen YouTube-Kanal, um die Grundlagen zu vermitteln, verblüffte uns alle mit seinem erstaunlichen Video über die Implementierung von GPT von Grund auf und kehrte schließlich zu OpenAI zurück. Ich schätze, man kann eine Legende nicht verlieren :D

3. Jay Alammar, ja, wenn Sie nichts über seinen ELI-Blog zu Transformers wissen, lesen Sie ihn zuerst durch und folgen Sie ihm für Updates.

4. Tomaz Bratanic ist der Autor des berühmten Buches „Graph Algorithms for Data Science“ und schreibt derzeit großartige Blogs auf Medium zum Thema GPT, Langchain und so weiter.