AI System School

Escuela de sistemas de IA

??? Sistema para Aprendizaje Automático, LLM (Modelo de Lenguaje Grande), GenAI (IA Generativa)

Actualizaciones:

• Tutoriales en vídeo [YouTube] [bilibili] [小红书]
• ¡¡¡Estamos preparando un nuevo sitio web [Lets Go AI] para este repositorio!!!

Camino hacia el sistema para la IA [documento técnico que debe leer]

Una lista seleccionada de investigaciones en sistemas de aprendizaje automático. El enlace al código, si está disponible, también está presente. Ahora tenemos un equipo para mantener este proyecto. Le invitamos a realizar una solicitud utilizando nuestra plantilla .

Sistema para IA (ordenado por categoría)

Infraestructura ML/DL

• Proceso de datos
• Sistema de entrenamiento
• Sistema de inferencia
• Infraestructura de aprendizaje automático

LLM Infraestructura

• Formación en Maestría en Derecho
• Servicio de Maestría en Derecho

Infraestructura específica de dominio

• Sistema de vídeo
• Sistema AutoML
• IA de vanguardia
• Sistema GNN
• Sistema de aprendizaje federado
• Sistema de aprendizaje por refuerzo profundo

Sistema para conferencias ML/LLM

Conferencia

• OSDI
• SOSP
• SIGCOMM
• INDE
• MLSys
• ATC
• Eurosys
• software intermedio
• SoCC
• TinyML

Recursos generales

• Encuesta
• Libro
• Video
• Curso
• Blog

Encuesta

• Hacia sistemas de aprendizaje automático y nube inteligentes y de alta disponibilidad [Diapositiva]
• Una lista seleccionada de fantásticos artículos, vídeos y recursos sobre diseño de sistemas para informática distribuida, también conocido como Big Data. [GitHub]
• awesome-production-machine-learning: una lista seleccionada de increíbles bibliotecas de código abierto para implementar, monitorear, versionar y escalar su aprendizaje automático [GitHub]
• Oportunidades y desafíos de los aceleradores de aprendizaje automático en producción [artículo]
  • Ananthanarayanan, Rajagopal, et al. "
  • 2019 {USENIX} Conferencia sobre aprendizaje automático operativo (OpML 19). 2019.
• Cómo (y cómo no) escribir un buen artículo sobre sistemas [Consejo]
• Aprendizaje automático aplicado en Facebook: una perspectiva de infraestructura de centro de datos [Artículo]
  • Hazelwood, Kim y col. ( HPCA 2018 )
• Infraestructura para el aprendizaje automático utilizable: el proyecto Stanford DAWN
  • Bailis, Peter, Kunle Olukotun, Christopher Ré y Matei Zaharia. ( preimpresión 2017 )
• Deuda técnica oculta en sistemas de aprendizaje automático [Artículo]
  • Sculley, David y cols. ( NIPS 2015 )
• Argumentos de un extremo a otro en el diseño de sistemas [Artículo]
  • Saltzer, Jerome H., David P. Reed y David D. Clark.
• Diseño de sistemas para aprendizaje automático a gran escala [Tesis]
• Inferencia de aprendizaje profundo en centros de datos de Facebook: caracterización, optimizaciones de rendimiento e implicaciones de hardware [artículo]
  • Park, Jongsoo, Maxim Naumov, Protonu Basu et al. arXiv 2018
  • Resumen: Este artículo presenta una caracterización de los modelos DL y luego muestra el nuevo principio de diseño del hardware DL.
• Una visión de Berkeley de los desafíos sistémicos para la IA [artículo]

Libro

• Arquitectura informática: un enfoque cuantitativo [Debe leer]
• Patrones de aprendizaje automático distribuido [sitio web]
• Sistemas de transmisión [Libro]
• Kubernetes en acción (empezar a leer) [Libro]
• Sistemas de aprendizaje automático: diseños que escalan [Sitio web]
• Confianza en el aprendizaje automático [sitio web]
• Aprendizaje automático automatizado en acción [sitio web]

Video

• ScalaDML2020: aprenda de las mejores mentes de la comunidad de aprendizaje automático. [Video]
• Jeff Dean: Conferencia magistral "Lograr tiempos de respuesta rápidos en grandes servicios en línea" - Velocity 2014 [YouTube]
• De la investigación a la producción con PyTorch [vídeo]
• Introducción a los microservicios, Docker y Kubernetes [YouTube]
• Conferencia magistral de ICML: Lecciones aprendidas al ayudar a 200 000 expertos no relacionados con el aprendizaje automático a utilizar el aprendizaje automático [vídeo]
• Sistemas de aprendizaje adaptativos y multitarea [sitio web]
• Pensamiento sistémico. Una charla TED. [YouTube]
• Los sistemas flexibles son la próxima frontera del aprendizaje automático. Jeff Dean [YouTube]
• ¿Es hora de reescribir el sistema operativo en Rust? [YouTube]
• InfoQ: IA, ML e ingeniería de datos [YouTube]
  • Empieza a mirar.
• Netflix: infraestructura de aprendizaje automático centrada en el ser humano [InfoQ]
• SysML 2019: [YouTube]
• ScaledML 2019: David Patterson, Ion Stoica, Dawn Song, etc. [YouTube]
• ScaledML 2018: Jeff Dean, Ion Stoica, Yangqing Jia, etc. [YouTube] [Diapositivas]
• Una nueva edad de oro para la historia, los desafíos y las oportunidades de la arquitectura informática. David Patterson [YouTube]
• Cómo tener una mala carrera. David Patterson (soy un gran admirador) [YouTube]
• SysML 18: Perspectivas y desafíos. Michael Jordán [YouTube]
• SysML 18: Simbiosis de sistemas y aprendizaje automático. Jeff Dean [YouTube]
• Conceptos básicos de AutoML: aprendizaje automático automatizado en acción. Canción de Qingquan, Haifeng Jin, Xia Hu [YouTube]

Curso

• Seminario CS692: Sistemas para Aprendizaje Automático, Aprendizaje Automático para Sistemas [GitHub]
• Temas de redes: aprendizaje automático para redes y sistemas, otoño de 2019 [sitio web del curso]
• CS6465: Desafíos de sistemas y tecnologías de nube emergentes [Cornell]
• CS294: IA para sistemas y sistemas para IA. [Primavera de UC Berkeley] ( recomendación fuerte ) [Sistemas de aprendizaje automático (otoño de 2019)]
• CSE 599W: Sistema para ML. [Chen Tianqi] [Universidad de Washington]
• EECS 598: Sistemas para IA (W'21). [Mosharaf Chowdhury] [Sistemas para IA (W'21)]
• Código tutorial sobre cómo construir su propio sistema de aprendizaje profundo en 2k líneas [GitHub]
• CSE 291F: Análisis de datos avanzados y sistemas de aprendizaje automático. [UCSD]
• CSci 8980: Aprendizaje automático en sistemas informáticos [Universidad de Minnesota, Ciudades Gemelas]
• Mu Li (MxNet, Parameter Server): Introducción al aprendizaje profundo [Creo que el mejor curso de DL] [Libro]
• 10-605: Aprendizaje automático con grandes conjuntos de datos. [UMC]
• CS 329S: Diseño de sistemas de aprendizaje automático. [Stanford]

Blog

• Paralelización entre múltiples CPU/GPU para acelerar la inferencia de aprendizaje profundo en el borde [Blog de Amazon]
• Creación de modelos de visión de aprendizaje profundo robustos y listos para producción en minutos [Blog]
• Implemente modelos de aprendizaje automático con Keras, FastAPI, Redis y Docker [Blog]
• Cómo implementar un modelo de aprendizaje automático: creación de una API lista para producción usando FastAPI + Uvicorn [Blog] [GitHub]
• Implementación de un modelo de aprendizaje automático como API REST [Blog]
• Entrega continua para aprendizaje automático [Blog]
• Hojas de trucos de Kubernetes en A4 [GitHub]
• Una suave introducción a Kubernetes [Blog]
• Entrene e implemente un modelo de aprendizaje automático con interfaz web: Docker, PyTorch y Flask [GitHub]
• Aprendiendo Kubernetes, al estilo taoísta chino [GitHub]
• Canalizaciones de datos, Luigi, Airflow: todo lo que necesitas saber [Blog]
• El conjunto de herramientas de aprendizaje profundo: descripción general [Blog]
• Resumen de CSE 599W: Sistemas para ML [Blog chino]
• Polyaxon, Argo y Seldon para capacitación, empaquetado e implementación de modelos en Kubernetes [Blog]
• Descripción general de los diferentes enfoques para poner en producción modelos de aprendizaje automático (ML) [Blog]
• Ser científico de datos no te convierte en ingeniero de software [Parte 1] Diseño de un canal de aprendizaje automático [Parte 2]
• Servicio de modelos en PyTorch [Blog]
• Aprendizaje automático en Netflix [Medio]
• Materiales de la conferencia SciPy (diapositivas, repositorio) [GitHub]
• 继Spark之后,UC Berkeley 推出新一代AI计算引擎——Ray [Blog]
• [Zhihu]
• Aprenda Kubernetes en menos de 3 horas: una guía detallada para orquestar contenedores [Blog] [GitHub]
• Hoja de ruta del ingeniero de datos: aprender de varias empresas en Silicon Valley. Netflix, Facebook, Google, empresas emergentes [GitHub]
• TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 [Blog]
• Implementación de un modelo de aprendizaje automático como API REST [Blog]
• Colossal-AI: un sistema unificado de aprendizaje profundo para la era de los grandes modelos [Blog] [GitHub]
• Hoja de ruta del ingeniero de datos [Blogs de escalador]