AI System School

KI-Systemschule

??? System für maschinelles Lernen, LLM (Large Language Model), GenAI (Generative AI)

Aktualisierungen:

• Video-Tutorials [YouTube] [bilibili] [小红书]
• Wir bereiten eine neue Website [Lets Go AI] für dieses Repo vor!!!

Path to System for AI [Whitepaper, das Sie lesen müssen]

Eine kuratierte Liste der Forschung zu maschinellen Lernsystemen. Ein Link zum Code ist ebenfalls vorhanden, falls verfügbar. Jetzt haben wir ein Team, das dieses Projekt betreut. Sie können gerne eine Pull-Anfrage mithilfe unserer Vorlage stellen .

System für KI (geordnet nach Kategorie)

ML / DL Infra

• Datenverarbeitung
• Trainingssystem
• Inferenzsystem
• Infrastruktur für maschinelles Lernen

LLM-Infra

• LLM-Schulung
• LLM-Dienst

Domänenspezifische Infrastruktur

• Videosystem
• AutoML-System
• Edge-KI
• GNN-System
• Föderiertes Lernsystem
• Deep-Reinforcement-Learning-System

System für ML/LLM-Konferenz

Konferenz

• OSDI
• SOSP
• SIGCOMM
• NSDI
• MLSys
• ATC
• Eurosys
• Middleware
• SoCC
• TinyML

Allgemeine Ressourcen

• Umfrage
• Buch
• Video
• Kurs
• Blog

Umfrage

• Auf dem Weg zu hochverfügbaren, intelligenten Cloud- und ML-Systemen [Folie]
• Eine kuratierte Liste großartiger Artikel, Videos und Ressourcen zum Systemdesign für verteiltes Computing, auch bekannt als Big Data. [GitHub]
• awesome-Production-Machine-Learning: Eine kuratierte Liste fantastischer Open-Source-Bibliotheken zum Bereitstellen, Überwachen, Versionieren und Skalieren Ihres maschinellen Lernens [GitHub]
• Chancen und Herausforderungen von Beschleunigern für maschinelles Lernen in der Produktion [Papier]
  • Ananthanarayanan, Rajagopal et al. "
  • 2019 {USENIX} Konferenz zum Thema Operational Machine Learning (OpML 19). 2019.
• Wie (und wie nicht) man eine gute Systemarbeit schreibt [Ratschläge]
• Angewandtes maschinelles Lernen bei Facebook: eine Perspektive der Rechenzentrumsinfrastruktur [Papier]
  • Hazelwood, Kim et al. ( HPCA 2018 )
• Infrastruktur für nutzbares maschinelles Lernen: Das Stanford DAWN-Projekt
  • Bailis, Peter, Kunle Olukotun, Christopher Ré und Matei Zaharia. ( Vorabdruck 2017 )
• Versteckte technische Schulden in maschinellen Lernsystemen [Aufsatz]
  • Sculley, David et al. ( NIPS 2015 )
• End-to-End-Argumente im Systemdesign [Aufsatz]
  • Saltzer, Jerome H., David P. Reed und David D. Clark.
• Systemdesign für maschinelles Lernen im großen Maßstab [Thesis]
• Deep-Learning-Inferenz in Facebook-Rechenzentren: Charakterisierung, Leistungsoptimierungen und Hardware-Implikationen [Papier]
  • Park, Jongsoo, Maxim Naumov, Protonu Basu et al. arXiv 2018
  • Zusammenfassung: Dieser Artikel stellt eine Charakterisierung von DL-Modellen vor und zeigt anschließend das neue Designprinzip der DL-Hardware.
• Eine Berkeley-Sicht auf Systemherausforderungen für KI [Papier]

Buch

• Computerarchitektur: Ein quantitativer Ansatz [Muss gelesen werden]
• Verteilte Muster des maschinellen Lernens [Website]
• Streaming-Systeme [Buch]
• Kubernetes in Aktion (mit dem Lesen beginnen) [Buch]
• Maschinelle Lernsysteme: Designs, die skalieren [Website]
• Vertrauen Sie auf maschinelles Lernen [Website]
• Automatisiertes maschinelles Lernen in Aktion [Website]

Video

• ScalaDML2020: Lernen Sie von den besten Köpfen der Machine-Learning-Community. [Video]
• Jeff Dean: Keynote „Achieving Rapid Response Times in Large Online Services“ – Velocity 2014 [YouTube]
• Von der Forschung zur Produktion mit PyTorch [Video]
• Einführung in Microservices, Docker und Kubernetes [YouTube]
• ICML-Keynote: Lehren aus der Unterstützung von 200.000 Nicht-ML-Experten bei der Nutzung von ML [Video]
• Adaptive und Multitasking-Lernsysteme [Website]
• Systemdenken. Ein TED-Talk. [YouTube]
• Flexible Systeme sind die nächste Grenze des maschinellen Lernens. Jeff Dean [YouTube]
• Ist es an der Zeit, das Betriebssystem in Rust neu zu schreiben? [YouTube]
• InfoQ: KI, ML und Data Engineering [YouTube]
  • Fangen Sie an zu schauen.
• Netflix: Infrastruktur für menschenzentriertes maschinelles Lernen [InfoQ]
• SysML 2019: [YouTube]
• ScaledML 2019: David Patterson, Ion Stoica, Dawn Song und so weiter [YouTube]
• ScaledML 2018: Jeff Dean, Ion Stoica, Yangqing Jia und so weiter [YouTube] [Folien]
• Ein neues goldenes Zeitalter für die Geschichte, Herausforderungen und Chancen der Computerarchitektur. David Patterson [YouTube]
• Wie man eine schlechte Karriere macht. David Patterson (ich bin ein großer Fan) [YouTube]
• SysML 18: Perspektiven und Herausforderungen. Michael Jordan [YouTube]
• SysML 18: Symbiose von Systemen und maschinellem Lernen. Jeff Dean [YouTube]
• AutoML-Grundlagen: Automatisiertes maschinelles Lernen in Aktion. Qingquan Song, Haifeng Jin, Xia Hu [YouTube]

Kurs

• CS692-Seminar: Systeme für maschinelles Lernen, Maschinelles Lernen für Systeme [GitHub]
• Themen in Netzwerken: Maschinelles Lernen für Netzwerke und Systeme, Herbst 2019 [Kurs-Website]
• CS6465: Neue Cloud-Technologien und Systemherausforderungen [Cornell]
• CS294: KI für Systeme und Systeme für KI. [UC Berkeley Spring] ( starke Empfehlung ) [Machine Learning Systems (Herbst 2019)]
• CSE 599W: System für ML. [Chen Tianqi] [Universität Washington]
• EECS 598: Systeme für KI (W'21). [Mosharaf Chowdhury] [Systeme für KI (W'21)]
• Tutorial-Code zum Aufbau Ihres eigenen Deep-Learning-Systems in 2k-Zeilen [GitHub]
• CSE 291F: Erweiterte Datenanalyse und ML-Systeme. [UCSD]
• CSci 8980: Maschinelles Lernen in Computersystemen [University of Minnesota, Twin Cities]
• Mu Li (MxNet, Parameter Server): Einführung in Deep Learning [Bester DL-Kurs meiner Meinung nach] [Buch]
• 10-605: Maschinelles Lernen mit großen Datensätzen. [CMU]
• CS 329S: Systemdesign für maschinelles Lernen. [Stanford]

Blog

• Parallelisierung über mehrere CPUs/GPUs hinweg, um Deep-Learning-Inferenzen am Edge zu beschleunigen [Amazon Blog]
• Erstellen robuster, produktionsbereiter Deep-Learning-Vision-Modelle in wenigen Minuten [Blog]
• Bereitstellen von Modellen für maschinelles Lernen mit Keras, FastAPI, Redis und Docker [Blog]
• So stellen Sie ein Modell für maschinelles Lernen bereit – Erstellen einer produktionsbereiten API mit FastAPI + Uvicorn [Blog] [GitHub]
• Bereitstellen eines Modells für maschinelles Lernen als REST-API [Blog]
• Kontinuierliche Bereitstellung für maschinelles Lernen [Blog]
• Kubernetes-CheatSheets im A4-Format [GitHub]
• Eine sanfte Einführung in Kubernetes [Blog]
• Modell für maschinelles Lernen mit Webschnittstelle trainieren und bereitstellen – Docker, PyTorch und Flask [GitHub]
• Kubernetes lernen, der chinesische taoistische Weg [GitHub]
• Datenpipelines, Luigi, Airflow: alles, was Sie wissen müssen [Blog]
• Das Deep Learning Toolset – Ein Überblick [Blog]
• Zusammenfassung von CSE 599W: Systeme für ML [Chinesischer Blog]
• Polyaxon, Argo und Seldon für Modellschulung, Paketierung und Bereitstellung in Kubernetes [Blog]
• Überblick über die verschiedenen Ansätze zur Umsetzung von Modellen des maschinellen Lernens (ML) in die Produktion [Blog]
• Ein Datenwissenschaftler zu sein, macht Sie nicht zum Software-Ingenieur [Teil 1] Entwerfen einer Pipeline für maschinelles Lernen [Teil 2]
• Modellbereitstellung in PyTorch [Blog]
• Maschinelles Lernen in Netflix [Mittel]
• SciPy-Konferenzmaterialien (Folien, Repo) [GitHub]
• 继Spark之后, UC Berkeley 推出新一代AI计算引擎——Ray [Blog]
• [Zhihu]
• Lernen Sie Kubernetes in weniger als 3 Stunden: Eine detaillierte Anleitung zur Orchestrierung von Containern [Blog] [GitHub]
• Data-Engineer-Roadmap: Lernen von mehreren Unternehmen im Silicon Valley. Netflix, Facebook, Google, Startups [GitHub]
• TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 [Blog]
• Bereitstellen eines Modells für maschinelles Lernen als REST-API [Blog]
• Colossal-AI: Ein einheitliches Deep-Learning-System für die Ära der großen Modelle [Blog] [GitHub]
• Roadmap für Dateningenieure [Scaler-Blogs]