AI System School

Sekolah Sistem AI

??? Sistem Pembelajaran Mesin, LLM (Model Bahasa Besar), GenAI (AI Generatif)

Pembaruan:

• Video Tutorial [YouTube] [bilibili] [小红书]
• Kami sedang mempersiapkan situs web baru [Lets Go AI] untuk repo ini!!!

Jalur Menuju Sistem untuk AI [Laporan Putih yang Harus Anda Baca]

Daftar penelitian yang dikurasi dalam sistem pembelajaran mesin. Tautan ke kode jika tersedia juga ada. Sekarang kami memiliki tim untuk mempertahankan proyek ini. Anda dipersilakan untuk menarik permintaan dengan menggunakan templat kami .

Sistem untuk AI (Diurutkan berdasarkan Kategori)

ML / DL Infra

• Pengolahan data
• Sistem Pelatihan
• Sistem Inferensi
• Infrastruktur Pembelajaran Mesin

LLM Infra

• Pelatihan LLM
• Pelayanan LLM

Infra.Khusus Domain

• Sistem Video
• Sistem AutoML
• Tepi AI
• Sistem GNN
• Sistem Pembelajaran Federasi
• Sistem Pembelajaran Penguatan Mendalam

Sistem untuk Konferensi ML/LLM

Konferensi

• OSDI
• SOSP
• SIGCOMM
• NSDI
• MLSys
• ATC
• Eurosys
• Perangkat Tengah
• JadiCC
• TinyML

Sumber Daya Umum

• Survei
• Buku
• Video
• Kursus
• blog

Survei

• Menuju Sistem Cloud dan ML yang Sangat Tersedia dan Cerdas [Slide]
• Daftar pilihan artikel, video, dan sumber daya Perancangan Sistem yang mengagumkan untuk komputasi terdistribusi, AKA Big Data. [GitHub]
• pembelajaran mesin-produksi-yang luar biasa: Daftar perpustakaan sumber terbuka yang mengagumkan untuk diterapkan, dipantau, versi, dan skala pembelajaran mesin Anda [GitHub]
• Peluang dan Tantangan Akselerator Pembelajaran Mesin Dalam Produksi [Makalah]
  • Ananthanarayanan, Rajagopal, dkk. "
  • Konferensi {USENIX} 2019 tentang Pembelajaran Mesin Operasional (OpML 19). 2019.
• Bagaimana (dan Bagaimana Tidak) Menulis Makalah Sistem yang Baik [Saran]
• Pembelajaran mesin terapan di Facebook: perspektif infrastruktur pusat data [Makalah]
  • Hazelwood, Kim, dkk. ( HPCA 2018 )
• Infrastruktur untuk Pembelajaran Mesin yang Dapat Digunakan: Proyek Stanford DAWN
  • Bailis, Peter, Kunle Olukotun, Christopher Ré, dan Matei Zaharia. ( pracetak 2017 )
• Hutang teknis tersembunyi dalam sistem pembelajaran mesin [Paper]
  • Sculley, David, dkk. ( NIPS 2015 )
• Argumen ujung ke ujung dalam desain sistem [Makalah]
  • Saltzer, Jerome H., David P. Reed, dan David D. Clark.
• Desain Sistem untuk Pembelajaran Mesin Skala Besar [Tesis]
• Inferensi Pembelajaran Mendalam di Pusat Data Facebook: Karakterisasi, Optimasi Kinerja, dan Implikasi Perangkat Keras [Makalah]
  • Park, Jongsoo, Maxim Naumov, Protonu Basu dkk. arXiv 2018
  • Ringkasan: Makalah ini menyajikan karakterisasi model DL dan kemudian menunjukkan prinsip desain baru perangkat keras DL.
• Pandangan Berkeley tentang Tantangan Sistem untuk AI [Makalah]

Buku

• Arsitektur Komputer: Pendekatan Kuantitatif [Harus dibaca]
• Pola Pembelajaran Mesin Terdistribusi [Situs Web]
• Sistem Streaming [Buku]
• Kubernetes Beraksi (mulai membaca) [Buku]
• Sistem Pembelajaran Mesin: Desain yang berskala [Situs Web]
• Percaya pada Machine Learning [Situs Web]
• Pembelajaran Mesin Otomatis sedang Beraksi [Situs Web]

Video

• ScalaDML2020: Belajar dari para pemikir terbaik di komunitas pembelajaran mesin. [Video]
• Jeff Dean: "Mencapai Waktu Respons Cepat dalam Layanan Online Besar" Keynote - Velocity 2014 [YouTube]
• Dari Penelitian hingga Produksi dengan PyTorch [Video]
• Pengantar Layanan Mikro, Docker, dan Kubernetes [YouTube]
• Intisari ICML: Pembelajaran dari Membantu 200.000 pakar non-ML menggunakan ML [Video]
• Sistem Pembelajaran Adaptif & Multitask [Situs Web]
• Pemikiran sistem. Pembicaraan TED. [Youtube]
• Sistem yang fleksibel adalah garda depan pembelajaran mesin berikutnya. Jeff Dean [Youtube]
• Apakah Saatnya Menulis Ulang Sistem Operasi di Rust? [YouTube]
• InfoQ: AI, ML, dan Rekayasa Data [YouTube]
  • Mulailah menonton.
• Netflix: Infrastruktur Pembelajaran Mesin yang Berpusat pada Manusia [InfoQ]
• SysML 2019: [YouTube]
• ScaledML 2019: David Patterson, Ion Stoica, Dawn Song, dan seterusnya [YouTube]
• ScaledML 2018: Jeff Dean, Ion Stoica, Yangqing Jia, dan seterusnya [YouTube] [Slide]
• Era Keemasan Baru untuk Sejarah, Tantangan, dan Peluang Arsitektur Komputer. David Patterson [YouTube]
• Bagaimana Memiliki Karir yang Buruk. David Patterson (Saya penggemar beratnya) [YouTube]
• SysML 18: Perspektif dan Tantangan. Michael Jordan [Youtube]
• SysML 18: Simbiosis Sistem dan Pembelajaran Mesin. Jeff Dean [Youtube]
• Dasar-dasar AutoML: Pembelajaran Mesin Otomatis dalam Tindakan. Lagu Qingquan, Haifeng Jin, Xia Hu [YouTube]

Kursus

• Seminar CS692: Sistem untuk Pembelajaran Mesin, Pembelajaran Mesin untuk Sistem [GitHub]
• Topik dalam Jaringan: Pembelajaran Mesin untuk Jaringan dan Sistem, Musim Gugur 2019 [Situs Web Kursus]
• CS6465: Tantangan Sistem dan Teknologi Cloud yang Muncul [Cornell]
• CS294: AI Untuk Sistem dan Sistem Untuk AI. [UC Berkeley Spring] ( Rekomendasi Kuat ) [Sistem Pembelajaran Mesin (Musim Gugur 2019)]
• CSE 599W: Sistem untuk ML. [Chen Tianqi] [Universitas Washington]
• EECS 598: Sistem untuk AI (W'21). [Mosharaf Chowdhury] [Sistem untuk AI (W'21)]
• Kode tutorial tentang cara membangun Sistem Pembelajaran Mendalam Anda sendiri di 2k Lines [GitHub]
• CSE 291F: Analisis Data Tingkat Lanjut dan Sistem ML. [UCSD]
• CSci 8980: Pembelajaran Mesin dalam Sistem Komputer [University of Minnesota, Twin Cities]
• Mu Li (MxNet, Server Parameter): Pengantar Pembelajaran Mendalam [Kursus DL Terbaik menurut saya] [Buku]
• 10-605: Pembelajaran Mesin dengan Kumpulan Data Besar. [CMU]
• CS 329S: Desain Sistem Pembelajaran Mesin. [Stanford]

blog

• Memparalelkan beberapa CPU/GPU untuk mempercepat inferensi pembelajaran mendalam di edge [Blog Amazon]
• Membangun Model Visi Pembelajaran Mendalam yang Siap Produksi dan Siap Produksi dalam Hitungan Menit [Blog]
• Menerapkan Model Pembelajaran Mesin dengan Keras, FastAPI, Redis, dan Docker [Blog]
• Cara Menerapkan Model Pembelajaran Mesin -- Membuat API siap produksi menggunakan FastAPI + Uvicorn [Blog] [GitHub]
• Menerapkan Model Pembelajaran Mesin sebagai REST API [Blog]
• Pengiriman Berkelanjutan untuk Machine Learning [Blog]
• CheatSheet Kubernetes Dalam A4 [GitHub]
• Pengenalan Lembut tentang Kubernetes [Blog]
• Melatih dan Menerapkan Model Pembelajaran Mesin Dengan Antarmuka Web - Docker, PyTorch & Flask [GitHub]
• Mempelajari Kubernetes, Cara Tao Tiongkok [GitHub]
• Saluran pipa data, Luigi, Aliran Udara: semua yang perlu Anda ketahui [Blog]
• Perangkat Pembelajaran Mendalam — Gambaran Umum [Blog]
• Ringkasan CSE 599W: Sistem untuk ML [Blog berbahasa Mandarin]
• Polyaxon, Argo dan Seldon untuk Pelatihan Model, Paket dan Penerapan di Kubernetes [Blog]
• Ikhtisar berbagai pendekatan dalam menerapkan model Machine Learning (ML) dalam produksi [Blog]
• Menjadi Ilmuwan Data tidak menjadikan Anda Insinyur Perangkat Lunak [Bagian 1] Merancang Saluran Pembelajaran Mesin [Bagian 2]
• Penyajian Model di PyTorch [Blog]
• Pembelajaran mesin di Netflix [Medium]
• Materi Konferensi SciPy (slide, repo) [GitHub]
• 继Spark之后，UC Berkeley 推出新一代AI计算引擎—Ray [Blog]
• 了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？ [Zhihu]
• Pelajari Kubernetes dalam Waktu Kurang dari 3 Jam: Panduan Lengkap untuk Mengatur Kontainer [Blog] [GitHub]
• peta jalan insinyur data: Belajar dari banyak perusahaan di Silicon Valley. Netflix, Facebook, Google, Startup [GitHub]
• Penyajian TensorFlow + Docker + Tornado Panduan Pengguna [Blog]
• Menerapkan Model Pembelajaran Mesin sebagai REST API [Blog]
• Colossal-AI: Sistem Pembelajaran Mendalam Terpadu untuk Era Model Besar [Blog] [GitHub]
• Peta Jalan Insinyur Data [Blog Scaler]