AI System
1.0.0
英語
このコースの中国語名は「Artificial Intelligence System」で、主に人工知能をサポートするコンピュータシステムの設計について説明します。対応する英語コース名は「System for AI」です。このコースでは、人工知能システム、 AI システム、およびAI 用システムという用語が同じ意味で使用されます。
このコースは、Microsoft Artificial Intelligence Education and Co-construction Community で計画されている人工知能関連のチュートリアルの 1 つで、基本チュートリアル モジュールの下で、コース番号と名前はA6-Artificial Intelligence Systemです。
Microsoft Artificial Intelligence Education and Co-construction Community の A-Basic チュートリアル モジュールにアクセスして、その他の関連コンテンツにアクセスしてください。
近年、人工知能、特にディープラーニング技術は急速に発展しており、コンピュータのハードウェアおよびソフトウェアシステムの継続的な進歩と切り離すことはできません。近い将来、人工知能技術の開発は依然としてコンピューターシステムと人工知能を組み合わせた共同イノベーションモデルに依存するでしょう。現在、コンピューター システムは人工知能に大規模かつより複雑な能力を与えており、これにはさらなるシステム革新だけでなく、体系的な思考と方法論も必要であることに注意する必要があります。同時に、人工知能は複雑なシステムの設計もサポートしています。
現在の人工知能関連のコース、特にディープラーニングや機械学習関連のコースのほとんどは、主に関連する理論、アルゴリズム、またはアプリケーションに焦点を当てており、システム関連のコースはまれであることに気づきました。人工知能システムのコースにより、人工知能関連の教育がより包括的かつ深くなり、人工知能とシステムの交差点における人材の育成が共同で促進されることを願っています。
このコースは主に学部上級生および大学院生を対象として設計されており、学生が次のことを行えるようにします。
ディープラーニングを支えるコンピュータシステムのアーキテクチャを完全に理解し、ディープラーニングのライフサイクル全体に沿ったシステム設計を実践的な問題を通して学びます。
システムと人工知能を組み合わせた最先端の研究成果 (システムのための AI や AI のためのシステムなど) を紹介し、上級学部生や大学院生が有意義な研究課題をより適切に見つけて定義できるようにします。
体系的な研究の観点から実験コースを設計します。単にツールの使用法を理解するだけでなく、実際的な問題を解決する能力を向上させるために、主流および最新のフレームワーク、プラットフォーム、ツールを操作および適用することによってシステム モジュールを実装および最適化するよう学生を奨励します。
前提条件コース: C/C++/Python、コンピューター アーキテクチャ、アルゴリズムの概要
このコースには主に次の 3 つのモジュールが含まれています。
最初の部分は、人工知能の基礎知識と人工知能システムのフルスタックの概要、および深層学習システムの体系的な設計と方法論です。
2 番目のパートは、システムと人工知能の交差点における最先端の研究領域を含む上級コースです。
3 番目の部分は、最も主流のフレームワーク、プラットフォーム、ツール、および一連の実験プロジェクトを含むサポート実験コースです。
最初の部分の内容は基礎知識に焦点を当てますが、他の 2 つの部分の内容は学術界や産業界の技術進歩に合わせて動的に調整されます。最後の 2 つのパートの内容は、高度な講義ノートやインターンシップ プロジェクトとして、他の CS コース (編集原則など) との調整や組み合わせを容易にするために、モジュール形式で編成されます。
このコースの設計には、マイクロソフトと研究機関が開発した一部のプラットフォームやツールなど、人工知能とシステムの交差点におけるマイクロソフト リサーチ アジアの研究結果と経験も活用されます。このコースは、他の学校や教師が、独自のニーズに応じて、より高度なトピックやその他の実験を追加および調整することも奨励します。
ベーシックコース
| コース番号 | 配布資料名 | 述べる |
| 1 | コース紹介 | コースの概要とシステム/AI の基礎 |
| 2 | 人工知能システムの概要 | 人工知能システムの開発史、ニューラルネットワークの基礎、人工知能システムの基礎 |
| 3 | ディープ ニューラル ネットワーク コンピューティング フレームワークの基礎 | バックプロパゲーションと自動導出、テンソル、有向非巡回グラフ、実行グラフ ペーパーとシステム: PyTorch、TensorFlow |
| 4 | 行列演算とコンピュータ アーキテクチャ | 行列演算、CPU/SIMD、GPGPU、ASIC/TPU 論文およびシステム: Blas、TPU |
| 5 | 分散トレーニングアルゴリズム | データ並列処理、モデル並列処理、分散 SGD 論文とシステム: PipeDream |
| 6 | 分散型トレーニングシステム | MPI、パラメータサーバー、all-reduce、RDMA 論文とシステム: Horovod |
| 7 | 異種コンピューティング クラスターのスケジューリングおよびリソース管理システム | クラスター上での DNN タスクの実行: コンテナー、リソース割り当て、スケジューリング ペーパーおよびシステム: Kubeflow、OpenPAI、Gandiva |
| 8 | ディープラーニング導出システム | 効率、レイテンシー、スループット、導入に関する文書とシステム: TensorRT、TensorFlowLite、ONNX |
上級コース
| コース番号 | 配布資料名 | 述べる |
| 9 | 計算グラフの作成と最適化 | IR、サブグラフ パターン マッチング、行列乗算、メモリ最適化に関する論文とシステム: XLA、MLIR、TVM、NNFusion |
| 10 | ニューラルネットワークの圧縮とスパース化の最適化 | モデルの圧縮、スパース化、枝刈り |
| 11 | 自動機械学習システム | ハイパーパラメータチューニング、ニューラルネットワーク構造探索（NAS） 論文とシステム: Hyperband、SMAC、ENAX、AutoKeras、NNI |
| 12 | 強化学習システム | RL 理論、RL システムの論文およびシステム: AC3、RLlib、AlphaZero |
| 13 | セキュリティとプライバシー | Federated Learning、セキュリティ、プライバシーに関する文書およびシステム: DeepFake |
| 14 | 人工知能を使用してコンピュータ システムを最適化する | 人工知能は従来のシステムの問題に適用され、人工知能はシステム アルゴリズムの論文やシステムに適用されます: ストリーミング メディア システム、データベース インデックス付け、システム パラメーターの調整、チップ設計、予測リソース スケジューリング |
基礎実験
| 実験番号 | 実験名 | 述べる |
| 実験1 | フレームワークとツールの使用を開始する例 | |
| 実験2 | 新しいテンソル演算をカスタマイズする | |
| 実験3 | CUDAの実装と最適化 | |
| 実験4 | AllReduce の実装または最適化 | |
| 実験5 | クラウドトレーニングまたは推論準備用にコンテナを構成する | |
高度な実験
| 実験6 | スケジュール管理システムの使い方を学ぶ | |
| 実験7 | 分散トレーニングタスク演習 | |
| 実験8 | 自動機械学習システムの演習 | |
| 実験9 | 強化学習システムの演習 | |
教科書「Artificial Intelligence System」は、Microsoft Artificial Intelligence Education and Co-struction Community で計画されている人工知能関連の教科書の 1 つです。現在の人工知能関連の教科書、特にディープラーニングと機械学習関連のコースのほとんどは、主に関連する理論、アルゴリズム、またはアプリケーションに焦点を当てており、システム関連の教科書は珍しいことに気づきました。私たちは、人工知能システムの教科書が人工知能システム教育をより体系的かつ普遍的なものにし、人工知能とシステムの交差点における人材の育成を共同で促進できることを願っています。
紙版の教科書『深層学習システム設計: 理論と実践』が出版されました。ぜひお読みください。
<未定>
このプロジェクトでは、寄稿や提案を歓迎します。ほとんどの寄稿では、寄稿を使用する権利があることを宣言する、また実際に寄稿を許可することを宣言する寄稿者ライセンス契約 (CLA) に同意する必要があります。詳細については、https:// をご覧ください。 cla.opensource.microsoft.com。
プル リクエストを送信すると、CLA ボットが CLA を提供する必要があるかどうかを自動的に判断し、PR を適切に装飾します (ステータス チェック、コメントなど)。これを実行するだけで済みます。 CLA を使用してすべてのリポジトリに一度。
このプロジェクトは Microsoft オープンソース行動規範を採用しています。詳細については、行動規範 FAQ を参照するか、追加の質問やコメントがあれば [email protected] までお問い合わせください。
Microsoft およびすべての寄稿者は、Creative Commons Attribution 4.0 International Public License に基づいてこのリポジトリ内の Microsoft ドキュメントおよびその他のコンテンツに対するライセンスを付与します。LICENSE ファイルを参照してください。また、MIT ライセンスに基づいてリポジトリ内のコードに対するライセンスを付与します。ライセンスコードファイル。
ドキュメント内で参照されている Microsoft、Windows、Microsoft Azure、および/またはその他の Microsoft 製品およびサービスは、米国および/またはその他の国における Microsoft の商標または登録商標である可能性があります。このプロジェクトのライセンスは、お客様にいかなる使用権も付与するものではありません。 Microsoft の名前、ロゴ、または商標については、https://go.microsoft.com/fwlink/?LinkID=254653 で参照できます。
プライバシー情報は https://privacy.microsoft.com/en-us/ でご覧いただけます。
Microsoft および貢献者は、それぞれの著作権、特許、または商標に基づくものであるかどうか、黙示、禁反言などにかかわらず、その他すべての権利を留保します。
