AI System School

École du système d'IA

??? Système d'apprentissage automatique, LLM (Large Language Model), GenAI (Generative AI)

Mises à jour :

• Tutoriels vidéo [YouTube] [bilibili] [小红书]
• Nous préparons un nouveau site Web [Lets Go AI] pour ce repo !!!

Chemin vers le système pour l'IA [Livre blanc à lire absolument]

Une liste organisée de recherches sur les systèmes d'apprentissage automatique. Un lien vers le code s'il est disponible est également présent. Nous avons désormais une équipe pour maintenir ce projet. Vous êtes les bienvenus pour faire une pull request en utilisant notre modèle .

Système pour l'IA (classé par catégorie)

ML/DL Infra

• Informatique
• Système de formation
• Système d'inférence
• Infrastructure d'apprentissage automatique

LLM Infra

• Formation LLM
• Service LLM

Infrastructure spécifique au domaine

• Système vidéo
• Système AutoML
• IA de pointe
• Système GNN
• Système d'apprentissage fédéré
• Système d'apprentissage par renforcement profond

Système pour conférence ML/LLM

Conférence

• OSDI
• SOSP
• SIGCOM
• INDS
• MLSys
• ATC
• Eurosys
• Intergiciel
• SoCC
• MinusculeML

Ressources générales

• Enquête
• Livre
• Vidéo
• Cours
• Blogue

Enquête

• Vers des systèmes de cloud et de ML intelligents et hautement disponibles [Diapositive]
• Une liste organisée d'articles, de vidéos et de ressources impressionnants sur la conception de systèmes pour l'informatique distribuée, AKA Big Data. [GitHub]
• Awesome-production-machine-learning : une liste organisée de superbes bibliothèques open source pour déployer, surveiller, versionner et faire évoluer votre apprentissage automatique [GitHub]
• Opportunités et défis des accélérateurs d'apprentissage automatique en production [Papier]
  • Ananthanarayanan, Rajagopal et al. "
  • Conférence {USENIX} 2019 sur l'apprentissage automatique opérationnel (OpML 19). 2019.
• Comment (et comment ne pas) rédiger un bon article sur les systèmes [Conseil]
• Apprentissage automatique appliqué sur Facebook : une perspective d'infrastructure de centre de données [Papier]
  • Hazelwood, Kim et coll. ( HPCA 2018 )
• Infrastructure pour un apprentissage automatique utilisable : le projet Stanford DAWN
  • Bailis, Peter, Kunle Olukotun, Christopher Ré et Matei Zaharia. ( prépublication 2017 )
• Dette technique cachée dans les systèmes d'apprentissage automatique [Papier]
  • Sculley, David et coll. ( NIPS 2015 )
• Arguments de bout en bout dans la conception de systèmes [Papier]
  • Saltzer, Jerome H., David P. Reed et David D. Clark.
• Conception de systèmes pour l'apprentissage automatique à grande échelle [Thèse]
• Inférence d'apprentissage profond dans les centres de données Facebook : caractérisation, optimisations des performances et implications matérielles [Papier]
  • Park, Jongsoo, Maxim Naumov, Protonu Basu et al. arXiv 2018
  • Résumé : Cet article présente une caractérisation des modèles DL, puis montre le nouveau principe de conception du matériel DL.
• Une vision de Berkeley des défis systémiques pour l'IA [Papier]

Livre

• Architecture informatique : une approche quantitative [À lire absolument]
• Modèles d'apprentissage automatique distribués [Site Web]
• Systèmes de streaming [Livre]
• Kubernetes en action (commencer à lire) [Livre]
• Systèmes d'apprentissage automatique : des conceptions évolutives [Site Web]
• Confiance dans l'apprentissage automatique [Site Web]
• L'apprentissage automatique automatisé en action [Site Web]

Vidéo

• ScalaDML2020 : apprenez des meilleurs esprits de la communauté du machine learning. [Vidéo]
• Jeff Dean : « Atteindre des temps de réponse rapides dans les grands services en ligne » Keynote – Velocity 2014 [YouTube]
• De la recherche à la production avec PyTorch [Vidéo]
• Introduction aux microservices, Docker et Kubernetes [YouTube]
• Keynote ICML : Leçons tirées de l'aide apportée à 200 000 experts non-ML à l'utilisation du ML [Vidéo]
• Systèmes d'apprentissage adaptatifs et multitâches [Site Web]
• Pensée systémique. Une conférence TED. [YouTube]
• Les systèmes flexibles constituent la prochaine frontière de l’apprentissage automatique. Jeff Dean [YouTube]
• Est-il temps de réécrire le système d’exploitation dans Rust ? [YouTube]
• InfoQ : IA, ML et ingénierie des données [YouTube]
  • Commencez à regarder.
• Netflix : infrastructure d'apprentissage automatique centrée sur l'humain [InfoQ]
• SysML 2019 : [YouTube]
• ScaledML 2019 : David Patterson, Ion Stoica, Dawn Song et ainsi de suite [YouTube]
• ScaledML 2018 : Jeff Dean, Ion Stoica, Yangqing Jia et ainsi de suite [YouTube] [Diapositives]
• Un nouvel âge d'or pour l'histoire, les défis et les opportunités de l'architecture informatique. David Patterson [YouTube]
• Comment avoir une mauvaise carrière. David Patterson (je suis un grand fan) [YouTube]
• SysML 18 : Perspectives et défis. Michael Jordan [YouTube]
• SysML 18 : Symbiose des systèmes et de l'apprentissage automatique. Jeff Dean [YouTube]
• Principes de base d'AutoML : apprentissage automatique automatisé en action. Chanson Qingquan, Haifeng Jin, Xia Hu [YouTube]

Cours

• Séminaire CS692 : Systèmes pour l'apprentissage automatique, Apprentissage automatique pour les systèmes [GitHub]
• Sujets en réseaux : apprentissage automatique pour les réseaux et les systèmes, automne 2019 [Site Web du cours]
• CS6465 : Défis émergents des technologies et des systèmes cloud [Cornell]
• CS294 : IA pour les systèmes et systèmes pour l'IA. [UC Berkeley Spring] ( forte recommandation ) [Machine Learning Systems (automne 2019)]
• CSE 599W : Système pour ML. [Chen Tianqi] [Université de Washington]
• EECS 598 : Systèmes pour l'IA (W'21). [Mosharaf Chowdhury] [Systèmes pour l'IA (W'21)]
• Code du didacticiel sur la façon de créer votre propre système d'apprentissage profond en 2 000 lignes [GitHub]
• CSE 291F : Analyse de données avancée et systèmes ML. [UCSD]
• CSci 8980 : Apprentissage automatique dans les systèmes informatiques [Université du Minnesota, Twin Cities]
• Mu Li (MxNet, Parameter Server) : Introduction au Deep Learning [Meilleur cours DL je pense] [Livre]
• 10-605 : Apprentissage automatique avec de grands ensembles de données. [CMU]
• CS 329S : Conception de systèmes d'apprentissage automatique. [Stanford]

Blogue

• Parallélisation sur plusieurs CPU/GPU pour accélérer l'inférence d'apprentissage profond à la périphérie [Amazon Blog]
• Créer des modèles de vision d'apprentissage profond robustes et prêts pour la production en quelques minutes [Blog]
• Déployer des modèles d'apprentissage automatique avec Keras, FastAPI, Redis et Docker [Blog]
• Comment déployer un modèle d'apprentissage automatique – Création d'une API prête pour la production à l'aide de FastAPI + Uvicorn [Blog] [GitHub]
• Déployer un modèle d'apprentissage automatique en tant qu'API REST [Blog]
• Livraison continue pour l'apprentissage automatique [Blog]
• Feuilles de triche Kubernetes au format A4 [GitHub]
• Une introduction douce à Kubernetes [Blog]
• Former et déployer un modèle d'apprentissage automatique avec une interface Web - Docker, PyTorch et Flask [GitHub]
• Apprendre Kubernetes, la voie taoïste chinoise [GitHub]
• Pipelines de données, Luigi, Airflow : tout ce qu'il faut savoir [Blog]
• L'ensemble d'outils d'apprentissage profond - Un aperçu [Blog]
• Résumé du CSE 599W : Systèmes pour le ML [Blog chinois]
• Polyaxon, Argo et Seldon pour la formation, le package et le déploiement de modèles dans Kubernetes [Blog]
• Présentation des différentes approches pour mettre en production des modèles de Machine Learning (ML) [Blog]
• Être un Data Scientist ne fait pas de vous un ingénieur logiciel [Partie 1] Architecter un pipeline d'apprentissage automatique [Partie 2]
• Service de modèles dans PyTorch [Blog]
• Apprentissage automatique dans Netflix [Moyen]
• Matériel de conférence SciPy (diapositives, dépôt) [GitHub]
• 继Spark之后，UC Berkeley 推出新一代AI计算引擎——Ray [Blog]
• [Zhihu]
• Apprenez Kubernetes en moins de 3 heures : un guide détaillé pour orchestrer les conteneurs [Blog] [GitHub]
• feuille de route de l'ingénieur de données : apprendre de plusieurs entreprises de la Silicon Valley. Netflix, Facebook, Google, Startups [GitHub]
• TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 [Blog]
• Déployer un modèle d'apprentissage automatique en tant qu'API REST [Blog]
• Colossal-AI : un système d'apprentissage profond unifié pour l'ère des grands modèles [Blog] [GitHub]
• Feuille de route de l'ingénieur de données [Scaler Blogs]