AISystem
1.0.0
文字課程內容正在一節節補充更新，盡可能抽空繼續更新正在AISys ，希望您多多鼓勵和參與進來！ ！ ！
文字課程開源在AISys，系列視頻託管B 站和油管，PPT 開源在github，歡迎取用！ ！ ！
這個開源課程英文名字叫做AI System(AISys) ，中文名字叫做AI 系統。
本開源課程主要是跟大家一起探討和學習人工智能、深度學習的系統設計，而整個系統是圍繞著ZOMI 在工作當中所積累、梳理、構建AI 系統全棧的內容。希望跟所有關注AI 開源課程的好朋友一起探討研究，共同促進學習討論。
課程主要包括以下五大模塊：
| 教程內容 | 簡介 | 地址 |
|---|---|---|
| AI 系統全棧概述 | AI 基礎知識和AI 系統的全棧概述的AI 系統概述，以及深度學習系統的系統性設計和方法論，主要是整體了解AI 訓練和推理全棧的體系結構內容。 | [Slides] |
| AI 芯片與體系架構 | 作為AI 的硬件體系架構主要是指AI 芯片，這裡就很硬核了，從CPU、GPU 的芯片基礎到AI 芯片的原理、設計和應用場景範圍，AI 芯片的設計不僅僅考慮針對AI 計算的加速，還需要充分考慮到AI 的應用算法、AI 框架等中間件，而不是停留在天天喊著吊打英偉達和CUDA，實際上芯片難以用起來。 | [Slides] |
| AI 編程與計算架構 | 進階篇介紹AI 編程與計算架構，將站在系統設計的角度，思考在設計現代機器學習系統中需要考慮的編譯器問題，特別是中間表達乃至後端優化。 | [Slides] |
| AI 推理系統與引擎 | 實際應用推理系統與引擎，講了太多原理身體太虛容易消化不良，還是得回歸到業務本質，讓行業、企業能夠真正應用起來，而推理系統涉及一些核心算法和注意的事情也分享下。 | [Slides] |
| AI 框架核心技術 | 介紹AI 框架核心技術，首先介紹任何一個AI 框架都離不開的自動微分，通過自動微分功能後就會產生表示神經網絡的圖和算子，然後介紹AI 框架前端的優化，還有最近很火的大模型分佈式訓練在AI 框架中的關鍵技術。 | [Slides] |
本課程主要為本科生高年級、碩博研究生、AI 系統從業者設計，幫助大家：
完整了解AI 的計算機系統架構，並通過實際問題和案例，來了解AI 完整生命週期下的系統設計。
介紹前沿系統架構和AI 相結合的研究工作，了解主流框架、平台和工具來了解AI 系統。
| 編號 | 名稱 | 具體內容 |
|---|---|---|
| 1 | AI 系統 | 算法、框架、體系結構的結合，形成AI 系統 |
| 編號 | 名稱 | 具體內容 |
|---|---|---|
| 1 | AI 計算體系 | 神經網絡等AI 技術的計算模式和計算體系架構 |
| 2 | AI 芯片基礎 | CPU、GPU、NPU 等芯片體系架構基礎原理 |
| 3 | 圖形處理器GPU | GPU 的基本原理，英偉達GPU 的架構發展 |
| 4 | 英偉達GPU 詳解 | 英偉達GPU 的Tensor Core、NVLink 深度剖析 |
| 5 | 國外AI 處理器 | 谷歌、特斯拉等專用AI 處理器核心原理 |
| 6 | 國內AI 處理器 | 寒武紀、燧原科技等專用AI 處理器核心原理 |
| 7 | AI 芯片黃金10 年 | 對AI 芯片的編程模式和發展進行總結 |
| 編號 | 名稱 | 具體內容 |
|---|---|---|
| 1 | 傳統編譯器 | 傳統編譯器GCC 與LLVM，LLVM 詳細架構 |
| 2 | AI 編譯器 | AI 編譯器發展與架構定義，未來挑戰與思考 |
| 3 | 前端優化 | AI 編譯器的前端優化(算子融合、內存優化等) |
| 4 | 後端優化 | AI 編譯器的後端優化(Kernel 優化、AutoTuning) |
| 5 | 多面體 | 待更ing... |
| 6 | PyTorch2.0 | PyTorch2.0 最重要的新特性：編譯技術棧 |
| 編號 | 名稱 | 具體內容 |
|---|---|---|
| 1 | 推理系統 | 推理系統整體介紹，推理引擎架構梳理 |
| 2 | 輕量網絡 | 輕量化主幹網絡，MobileNet 等SOTA 模型介紹 |
| 3 | 模型壓縮 | 模型壓縮4 件套，量化、蒸餾、剪枝和二值化 |
| 4 | 轉換&優化 | AI 框架訓練後模型進行轉換，並對計算圖優化 |
| 5 | Kernel 優化 | Kernel 層、算子層優化，對算子、內存、調度優化 |
| 編號 | 名稱 | 具體內容 |
|---|---|---|
| 1 | AI 框架基礎 | AI 框架的作用、發展、編程範式 |
| 2 | 自動微分 | 自動微分的實現方式和原理 |
| 3 | 計算圖 | 計算圖的概念，圖優化、圖執行、控制流表達 |
這個倉已經到達瘋狂的10G 啦（ZOMI 把所有製作過程、高清圖片都原封不動提供），如果你要git clone 會非常的慢，因此建議優先到Releases · chenzomi12/AISystem 來下載你需要的內容
非常希望您也參與到這個開源課程中，B 站給ZOMI 留言哦！
歡迎大家使用的過程中發現bug 或者勘誤直接提交代碼PR 到開源社區哦！
歡迎大家使用的過程中發現bug 或者勘誤直接提交PR 到開源社區哦！
請大家尊重開源和ZOMI 的努力，引用PPT 的內容請規範轉載標明出處哦！
