self learn llms

自学法学硕士

该存储库包含我将用来学习大型语言模型的一些资源。当我在这个自学之旅中前进时，我也会尝试制定一个路线图，因为带有里程碑的清晰路线图将是以适当的方式学习法学硕士的最佳方式之一。

为此，我将提供理论和实践的实践资源相结合的学习资源。

PS：需要让这个更直观

编辑：2024 年 11 月 6 日

• 需要主要重构存储库。

• 删除不相关的课程或资源。

• 在模型竞赛中，我们不能继续在存储库中列出模型，因为很难跟踪模型，并且更新将使以前的模型变得毫无用处。需要想出更好的方式来组织模型动物园。

• 也许添加 1-2 个贡献者或打开存储库以提供帮助。

• 我们怎样才能让它成为一个很棒的学习体验，托管笔记和教程，开放讨论，网页？

课程

自然语言处理基础知识

1. CS224N 深度学习自然语言处理，斯坦福大学

2. 自然语言处理专业，Coursera

变形金刚

1. HuggingFace NLP + 变形金刚课程

2. CS25：变形金刚 V2，斯坦福 CS25，2021 年秋季版本

大型语言模型

工业和开源课程

1. Activeloop Learn，这一举措 GenAI360 提供了 3 个关于 RAG、微调 LLM、LangChain 和 VectorDB 的免费课程。

2. Maxime Labonne 的法学硕士课程，通过路线图和 Colab 笔记本进入大型语言模型 (LLM) 的课程。

3. 实践LLM课程，通过设计、培训和部署实时财务顾问LLM系统源代码+视频和阅读材料，免费了解LLM、LLMOps和Vector DB。

4. 全栈深度学习最初是一个深度学习训练营，并于 2023 年 4 月左右演变为法学硕士训练营，现在可以免费参加。

5. Cohere 的法学硕士课程由 8 个模块组成，由著名的 Luis Serrano 教授，他以以简单且具有视觉吸引力的方式教授概念而闻名。该课程包含基础知识、部署、语义搜索和 RAG 等主题。

6. Deeplearning.ai 短期课程，DL.AI 关于法学硕士和生成人工智能各个领域的短期课程。这些短期课程非常有用，因为它们完美地融合了理论和实践课程。这些课程通常是与 Hugging Face、Mistral、OpenAI、Microsoft、Meta、Google 等公司合作制作的。

7. LLM Zoomcamp by DataTalksClub，LLM Zoomcamp - 关于构建问答系统的免费在线课程。

8. Aishwarya N Reganti 的 2024 年应用法学硕士掌握课程，为期 10 周的免费课程，提供明确的路线图，范围从法学硕士基础知识、工具和技术、部署和评估到挑战和未来趋势。

9. 权重和偏差课程，提供有关 MLOps、LLM 支持的应用程序等的不同课程。

10. LLM 模型课程，DataBricks x ed，DataBricks 专业认证。

11. Deeplearning.ai 提供各种关于法学硕士的短期课程，例如用于法学硕士应用程序开发的 LangChain、使用 AWS Bedrock 的无服务器法学硕士、微调法学硕士、使用语义搜索的法学硕士等。

12. 生成式 AI 学习路径简介，Google Cloud。

13. Arize 大学举办 llm 评估、llm 代理工具和链、llm 可观察性等课程。

大学课程

1. [CS 324，斯坦福大学](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101：大型语言模型，北卡罗来纳大学教堂山分校](https://github.com/craffel/ llm-seminar) 3. [大型语言模型 S-23、ETH苏黎世](https://rycolab.io/classes/llm-s23/) 4. [大型语言模型基础，滑铁卢大学](https://uwaterloo.ca/watspeed/programs-and-courses/foundations-大语言模型）

图书

1. 使用 Transformers 进行自然语言处理图书

2. 
   

博客和指南

Langchain 博客

1. AIMultiple 关于大型语言模型的博客：2023 年完整指南

2. 一致文档

3. FutureSmart AI 博客：使用 LangChain 和 ChatGPT 构建聊天机器人

4. 利用 GPT-4、Pinecone 和 LangChain 实现多种应用的任务驱动型自治代理

重要论文

1. 大型语言模型调查 另请查看此存储库：https://github.com/RUCAIBox/LLMSurvey

2. 理解大型语言模型——变革性阅读清单，Sebastian Raschka

3. 
   

读书小组

1. Wiki CLSP，NLP 阅读小组，NLP 相关阅读小组列表，更新频繁。

教程和讲座

TED演讲

1. ChatGPT 惊人潜力的内幕 |格雷格·布罗克曼 |泰德

2. 为什么人工智能极其聪明，却又极其愚蠢？崔艺珍 |泰德

即将举行的会谈

1. 2023 年 4 月 25 日，阿里泽：观察

2. 2023 年 4 月 27 日，使用 PyTorch 2.0 和 ChatGPT 微调法学硕士

数据集、笔记本和空间

数据集

笔记本电脑

空间

1. H2O 组织、HuggingFaces

2. OpenAssistant 组织、HuggingFaces

3. DataBricks 组织、HuggingFaces

4. 大科学组织，HugingFaces

5. EleutherAI 组织，HuggingFaces

6. NomicAI 组织、HugingFaces

7. Cerebras 组织、HugingFaces

库、框架和工具包

1. LLMStudio、H2O AI

2. 美洲驼指数

3. NeMo Guardrails，NVIDIA，防止幻觉并添加可编程护栏

4. MLC LLM，在每个人的设备上本地开发优化和部署 LLM）

5. 拉米尼法学硕士

语言模型

1. ChatGPT、OpenAI，2022 年 11 月 30 日发布

2. Google Bard，2023 年 3 月 21 日发布

3. 统一钱文人工智能，阿里巴巴，2023 年 4 月 11 日发布

4. StableLM，稳定性 AI，于 2023 年 4 月 20 日发布

5. 亚马逊泰坦

6. HuggingChat、HuggingFaces，于 2023 年 4 月 25 日发布

7. H2OGPT

8. Bloom 模型，RAIL 允许商业用途

9. GPT-J、EleutherAI、Apache 2.0

10. GPT-NeoX、EleutherAI、Apache 2.0

11. GPT4All、NomicAI、MIT 许可证

12. GPT4All-J、NomicAI、MIT 许可证

13. Pythia、EleutherAI、MIT 许可证

14. GLM-130B

15. 帕尔姆、谷歌

16. OPT，元

17. 法兰-T5

18. 骆驼，元

19. 羊驼，斯坦福大学

20. 骆驼毛，lm-sys

社区

用例

1. 分享GPT

项目和想法

矢量数据库

1. 松果

2. 韦维阿特

3. 米尔乌斯

4. 色度数据库

自主代理

1. 宝贝AGI

2. 自动GPT

法学硕士影响者

您绝对应该关注的人，以随时了解法学硕士的最新信息。参与 LLM 制作/研究/开发的研究人员/创始人/开发人员/AI 内容创作者

1. Sebastian Raschka，他是一位传奇人物，将通过他令人惊叹的推文、博客和教程来打破你炒作的法学硕士泡沫。订阅他的时事通讯 Ahead of AI

2. 安德烈·卡帕蒂 (Andrej Karpathy)，这位在 Tesla 工作的传奇人物，休息了一段时间，开设了他的 YouTube 频道来教授基础知识，并用他从头开始实施 GPT 的精彩视频让我们所有人震惊，最后重新加入了 OpenAI。我想你不能失去一个传奇：D

3. Jay Alammar，是的，如果您不了解他关于《变形金刚》的 ELI 博客，请先阅读该博客，并确保关注他以获取更新。

4. Tomaz Bratanic，他是著名书籍《数据科学图算法》的作者，目前在 Medium 上撰写与 GPT、Langchain 等相关的精彩博客。