AI System
1.0.0
Englisch
Der chinesische Name dieses Kurses ist Artificial Intelligence System , der hauptsächlich das Design von Computersystemen erklärt, die künstliche Intelligenz unterstützen. Der entsprechende englische Kursname ist System for AI . Die folgenden Begriffe werden in diesem Kurs synonym verwendet: künstliches Intelligenzsystem , KI-System und System für KI .
Dieser Kurs ist eines der in der Microsoft Artificial Intelligence Education and Co-construction Community geplanten Tutorials zum Thema künstliche Intelligenz. Die Kursnummer und der Name des Basis-Tutorialmoduls lauten „A6-Artificial Intelligence System“ .
Willkommen beim A-Basic-Tutorial-Modul der Microsoft Artificial Intelligence Education and Co-construction Community, um auf weitere verwandte Inhalte zuzugreifen.
In den letzten Jahren hat sich die künstliche Intelligenz, insbesondere die Deep-Learning-Technologie, rasant weiterentwickelt, was untrennbar mit dem kontinuierlichen Fortschritt der Computerhardware und -softwaresysteme verbunden ist. In absehbarer Zukunft wird die Entwicklung der Technologie der künstlichen Intelligenz weiterhin auf dem gemeinsamen Innovationsmodell basieren, das Computersysteme und künstliche Intelligenz kombiniert. Es ist zu beachten, dass Computersysteme mittlerweile künstliche Intelligenz in größerem Umfang und mit höherer Komplexität ermöglichen, was nicht nur mehr Systeminnovation, sondern auch systematisches Denken und Methodik erfordert. Gleichzeitig unterstützt künstliche Intelligenz auch die Gestaltung komplexer Systeme.
Wir haben festgestellt, dass die meisten aktuellen Kurse im Zusammenhang mit künstlicher Intelligenz, insbesondere Kurse im Zusammenhang mit Deep Learning und maschinellem Lernen, sich hauptsächlich auf verwandte Theorien, Algorithmen oder Anwendungen konzentrieren und systembezogene Kurse selten sind. Wir hoffen, dass der Kurs zu Systemen der künstlichen Intelligenz die Ausbildung im Zusammenhang mit künstlicher Intelligenz umfassender und vertieft, um gemeinsam die Förderung von Talenten an der Schnittstelle von künstlicher Intelligenz und Systemen zu fördern.
Dieser Kurs richtet sich in erster Linie an ältere Studenten und Doktoranden, um Studenten dabei zu helfen:
Verstehen Sie die Computersystemarchitektur, die Deep Learning unterstützt, vollständig und lernen Sie das Systemdesign im gesamten Lebenszyklus von Deep Learning anhand praktischer Probleme.
Stellt hochmoderne Forschungsarbeiten vor, die Systeme und künstliche Intelligenz kombinieren, einschließlich KI für Systeme und Systeme für KI, um älteren Studenten und Doktoranden dabei zu helfen, sinnvolle Forschungsfragen besser zu finden und zu definieren.
Entwerfen Sie experimentelle Kurse aus der Perspektive systematischer Forschung. Ermutigen Sie die Studierenden, Systemmodule zu implementieren und zu optimieren, indem sie gängige und aktuelle Frameworks, Plattformen und Tools bedienen und anwenden, um ihre Fähigkeit zu verbessern, praktische Probleme zu lösen, anstatt nur die Verwendung von Tools zu verstehen.
Vorausgesetzte Kurse: C/C++/Python, Computerarchitektur, Einführung in Algorithmen
Der Kurs umfasst im Wesentlichen die folgenden drei Module:
Der erste Teil umfasst die Grundkenntnisse der künstlichen Intelligenz und einen umfassenden Überblick über Systeme der künstlichen Intelligenz sowie den systematischen Aufbau und die Methodik von Deep-Learning-Systemen.
Der zweite Teil ist ein Aufbaukurs, der die modernsten Forschungsbereiche an der Schnittstelle von Systemen und künstlicher Intelligenz umfasst.
Der dritte Teil besteht aus unterstützenden experimentellen Kursen, einschließlich der gängigsten Frameworks, Plattformen und Tools sowie einer Reihe experimenteller Projekte.
Der Inhalt des ersten Teils konzentriert sich auf Grundkenntnisse, während der Inhalt der beiden anderen Teile dynamisch an den technologischen Fortschritt in Wissenschaft und Industrie angepasst wird. Die Inhalte der letzten beiden Teile werden modular aufgebaut, um eine Anpassung oder Kombination mit anderen CS-Kursen (z. B. Zusammenstellungsprinzipien usw.) als fortgeschrittenes Vorlesungsskript oder Praktikumsprojekt zu ermöglichen.
Die Gestaltung dieses Kurses wird sich auch auf die Forschungsergebnisse und Erfahrungen von Microsoft Research Asia im Bereich der Schnittstelle zwischen künstlicher Intelligenz und Systemen stützen, einschließlich einiger von Microsoft und dem Forschungsinstitut entwickelter Plattformen und Tools. Der Kurs ermutigt auch andere Schulen und Lehrer, weiterführende Themen oder andere Experimente hinzuzufügen und entsprechend ihren eigenen Bedürfnissen anzupassen.
Grundkurs
| Kursnummer | Name des Handouts | Bemerkung |
| 1 | Kurseinführung | Kursübersicht und System-/KI-Grundlagen |
| 2 | Übersicht über das System der künstlichen Intelligenz | Entwicklungsgeschichte künstlicher Intelligenzsysteme, Grundlagen neuronaler Netze, Grundlagen künstlicher Intelligenzsysteme |
| 3 | Grundlagen des Deep Neural Network Computing-Frameworks | Backpropagation und automatische Ableitung, Tensoren, gerichtete azyklische Graphen, Ausführungsdiagrammpapiere und -systeme: PyTorch, TensorFlow |
| 4 | Matrixoperationen und Computerarchitektur | Matrixoperationen, CPU/SIMD, GPGPU, ASIC/TPU Papiere und Systeme: Blas, TPU |
| 5 | Verteilter Trainingsalgorithmus | Datenparallelität, Modellparallelität, verteilte SGD Papiere und Systeme: PipeDream |
| 6 | Verteiltes Trainingssystem | MPI, Parameterserver, All-Reduce, RDMA Papiere und Systeme: Horovod |
| 7 | System zur Planung und Ressourcenverwaltung heterogener Computercluster | Ausführen von DNN-Aufgaben auf einem Cluster: Container, Ressourcenzuweisung, Planungspapiere und Systeme: Kubeflow, OpenPAI, Gandiva |
| 8 | Deep-Learning-Ableitungssystem | Effizienz, Latenz, Durchsatz, Bereitstellungspapiere und -systeme: TensorRT, TensorFlowLite, ONNX |
Fortgeschrittene Kurse
| Kursnummer | Name des Handouts | Bemerkung |
| 9 | Erstellung und Optimierung von Rechendiagrammen | IR, Subgraph Pattern Matching, Matrixmultiplikation und Speicheroptimierungspapiere und -systeme: XLA, MLIR, TVM, NNFusion |
| 10 | Komprimierungs- und Sparsifizierungsoptimierung neuronaler Netze | Modellkomprimierung, Sparsifizierung, Beschneidung |
| 11 | Automatisches maschinelles Lernsystem | Hyperparameter-Tuning, neuronale Netzwerkstruktursuche (NAS) Papiere und Systeme: Hyperband, SMAC, ENAX, AutoKeras, NNI |
| 12 | Verstärkungslernsystem | RL-Theorie, RL-Systempapiere und -systeme: AC3, RLlib, AlphaZero |
| 13 | Sicherheit und Privatsphäre | Federated Learning, Sicherheit, Datenschutzpapiere und -systeme: DeepFake |
| 14 | Einsatz künstlicher Intelligenz zur Optimierung von Computersystemen | Künstliche Intelligenz wird auf traditionelle Systemprobleme angewendet, künstliche Intelligenz wird auf Systemalgorithmenpapiere und -systeme angewendet: Streaming-Media-Systeme, Datenbankindizierung, Systemparameteroptimierung, Chipdesign, prädiktive Ressourcenplanung |
Grundlegendes Experiment
| Experimentnummer | Experimentname | Bemerkung |
| Experiment 1 | Beispiele für den Einstieg in Frameworks und Tools | |
| Experiment 2 | Passen Sie eine neue Tensoroperation an | |
| Experiment 3 | CUDA-Implementierung und -Optimierung | |
| Experiment 4 | Implementierung oder Optimierung von AllReduce | |
| Experiment 5 | Konfigurieren Sie den Container für Cloud-Training oder Inferenzvorbereitung | |
Fortgeschrittene Experimente
| Experiment 6 | Erfahren Sie, wie Sie das Planungsmanagementsystem verwenden | |
| Experiment 7 | Verteilte Trainingsaufgabenübung | |
| Experiment 8 | Übungen zum automatischen maschinellen Lernsystem | |
| Experiment 9 | Übungen zum verstärkenden Lernsystem | |
Das Lehrbuch „Artificial Intelligence System“ ist eines der in der Microsoft Artificial Intelligence Education and Co-construction Community geplanten Lehrbücher zum Thema künstliche Intelligenz. Wir haben festgestellt, dass sich die meisten aktuellen Lehrbücher zum Thema künstliche Intelligenz, insbesondere Kurse zum Thema Deep Learning und maschinelles Lernen, hauptsächlich auf verwandte Theorien, Algorithmen oder Anwendungen konzentrieren und systembezogene Lehrbücher selten sind. Wir hoffen, dass Lehrbücher zum System der künstlichen Intelligenz die Ausbildung zum System der künstlichen Intelligenz systematischer und universeller gestalten können, um gemeinsam die Förderung von Talenten an der Schnittstelle von künstlicher Intelligenz und Systemen zu fördern.
Die Papierversion des Lehrbuchs „Deep Learning System Design: Theorie und Praxis“ ist erschienen. Willkommen zum Lesen!
<TBD>
Dieses Projekt freut sich über Beiträge und Vorschläge. Für die meisten Beiträge müssen Sie einer Mitwirkenden-Lizenzvereinbarung (CLA) zustimmen, in der Sie erklären, dass Sie das Recht haben, uns die Rechte zur Nutzung Ihres Beitrags zu gewähren. Weitere Informationen finden Sie unter https://. cla.opensource.microsoft.com.
Wenn Sie eine Pull-Anfrage einreichen, ermittelt ein CLA-Bot automatisch, ob Sie eine CLA bereitstellen und die PR entsprechend ausstatten müssen (z. B. Statusprüfung, Kommentar). Sie müssen nur dies tun einmal über alle Repos mit unserem CLA.
Dieses Projekt hat den Microsoft Open Source-Verhaltenskodex übernommen. Weitere Informationen finden Sie in den häufig gestellten Fragen zum Verhaltenskodex. Bei weiteren Fragen oder Kommentaren wenden Sie sich bitte an [email protected].
Microsoft und alle Mitwirkenden gewähren Ihnen eine Lizenz für die Microsoft-Dokumentation und andere Inhalte in diesem Repository unter der Creative Commons Attribution 4.0 International Public License, siehe die LIZENZ-Datei, und gewähren Ihnen eine Lizenz für jeden Code im Repository unter der MIT-Lizenz, siehe die LICENSE-CODE-Datei.
Microsoft, Windows, Microsoft Azure und/oder andere in der Dokumentation genannte Produkte und Dienste von Microsoft können entweder Marken oder eingetragene Marken von Microsoft in den Vereinigten Staaten und/oder anderen Ländern sein. Die Lizenzen für dieses Projekt gewähren Ihnen keine Nutzungsrechte Die allgemeinen Markenrichtlinien von Microsoft finden Sie unter https://go.microsoft.com/fwlink/?LinkID=254653.
Informationen zum Datenschutz finden Sie unter https://privacy.microsoft.com/en-us/
Microsoft und alle Mitwirkenden behalten sich alle anderen Rechte vor, sei es im Rahmen ihrer jeweiligen Urheberrechte, Patente oder Marken, sei es stillschweigend, durch Rechtsverwirkung oder auf andere Weise.
