AI System School

โรงเรียนระบบเอไอ

- ระบบการเรียนรู้ของเครื่อง, LLM (โมเดลภาษาขนาดใหญ่), GenAI (Generative AI)

อัปเดต:

• วิดีโอสอน [YouTube] [bilibili] [小红书]
• เรากำลังเตรียมเว็บไซต์ใหม่ [Lets Go AI] สำหรับ repo นี้!!!

เส้นทางสู่ระบบสำหรับ AI [เอกสารไวท์เปเปอร์ที่คุณต้องอ่าน]

รายการงานวิจัยที่รวบรวมไว้เกี่ยวกับระบบการเรียนรู้ของเครื่อง ลิงก์ไปยังรหัสหากมีอยู่ด้วย ขณะนี้เรามีทีมงานคอยดูแลโครงการนี้ คุณสามารถดึงคำขอได้โดยใช้เทมเพลตของเรา

ระบบสำหรับ AI (เรียงตามหมวดหมู่)

ML / DL อินฟราเรด

• การประมวลผลข้อมูล
• ระบบการฝึกอบรม
• ระบบอนุมาน
• โครงสร้างพื้นฐานการเรียนรู้ของเครื่อง

LLM อินฟราเรด

• การฝึกอบรม LLM
• การให้บริการ LLM

อินฟราเรดเฉพาะโดเมน

• ระบบวิดีโอ
• ระบบออโต้เอ็มแอล
• ขอบเอไอ
• ระบบจีเอ็นเอ็น
• ระบบการเรียนรู้แบบสหพันธ์
• ระบบการเรียนรู้การเสริมกำลังเชิงลึก

ระบบการประชุม ML/LLM

การประชุม

• OSDI
• สสส
• ซิกคอมม์
• สสส
• MLsys
• เอทีซี
• ยูโรซิส
• มิดเดิลแวร์
• โซซีซี
• TinyML

แหล่งข้อมูลทั่วไป

• สำรวจ
• หนังสือ
• วีดีโอ
• คอร์ส
• บล็อก

สำรวจ

• สู่ระบบคลาวด์อัจฉริยะและ ML ที่พร้อมใช้งานสูง [สไลด์]
• รายชื่อบทความการออกแบบระบบ วิดีโอ และแหล่งข้อมูลที่ยอดเยี่ยมสำหรับการประมวลผลแบบกระจาย AKA Big Data [GitHub]
• Awesome-Production-Machine Learning: รายการไลบรารีโอเพ่นซอร์สที่ยอดเยี่ยมที่คัดสรรมาเพื่อปรับใช้ ตรวจสอบ เวอร์ชันและปรับขนาดการเรียนรู้ของเครื่องของคุณ [GitHub]
• โอกาสและความท้าทายของตัวเร่งการเรียนรู้ของเครื่องจักรในการผลิต [กระดาษ]
  • อนันตนารายานันท์, ราชโกปาล, และคณะ. -
  • การประชุม {USENIX} ปี 2019 เรื่อง Operational Machine Learning (OpML 19) 2019.
• อย่างไร (และอย่างไร) ในการเขียนรายงานระบบที่ดี [คำแนะนำ]
• การเรียนรู้ของเครื่องประยุกต์ที่ Facebook: มุมมองโครงสร้างพื้นฐานของศูนย์ข้อมูล [กระดาษ]
  • เฮเซลวูด, คิม และคณะ ( เอชพีซีเอ 2018 )
• โครงสร้างพื้นฐานสำหรับการเรียนรู้ของเครื่องที่ใช้งานได้: โครงการ Stanford DAWN
  • เบลิส, ปีเตอร์, คุนเล โอลูโคทุน, คริสโตเฟอร์ เร และมาเต ซาฮาเรีย ( ก่อนพิมพ์ 2560 )
• หนี้ทางเทคนิคที่ซ่อนอยู่ในระบบการเรียนรู้ของเครื่อง [กระดาษ]
  • สกัลลีย์, เดวิด และคณะ ( นิพพาน 2558 )
• ข้อโต้แย้งจากต้นทางถึงปลายทางในการออกแบบระบบ [เอกสาร]
  • ซัลท์เซอร์, เจอโรม เอช., เดวิด พี. รีด และเดวิด ดี. คลาร์ก
• การออกแบบระบบสำหรับการเรียนรู้ของเครื่องขนาดใหญ่ [วิทยานิพนธ์]
• การอนุมานการเรียนรู้เชิงลึกในศูนย์ข้อมูล Facebook: การกำหนดคุณลักษณะ การเพิ่มประสิทธิภาพ และผลกระทบของฮาร์ดแวร์ [เอกสาร]
  • ปาร์ค, จงซู, แม็กซิม นอมอฟ, โปรโตนู บาซู และคณะ อาร์เอ็กซ์ 2018
  • สรุป: บทความนี้นำเสนอลักษณะเฉพาะของโมเดล DL จากนั้นจึงแสดงหลักการออกแบบใหม่ของฮาร์ดแวร์ DL
• มุมมอง Berkeley เกี่ยวกับความท้าทายของระบบสำหรับ AI [กระดาษ]

หนังสือ

• สถาปัตยกรรมคอมพิวเตอร์: แนวทางเชิงปริมาณ [ต้องอ่าน]
• รูปแบบการเรียนรู้ของเครื่องแบบกระจาย [เว็บไซต์]
• ระบบสตรีมมิ่ง [หนังสือ]
• Kubernetes in Action (เริ่มอ่าน) [หนังสือ]
• ระบบการเรียนรู้ของเครื่อง: การออกแบบที่ขยายขนาด [เว็บไซต์]
• เชื่อมั่นใน Machine Learning [เว็บไซต์]
• การเรียนรู้ของเครื่องอัตโนมัติในการดำเนินการ [เว็บไซต์]

วีดีโอ

• ScalaDML2020: เรียนรู้จากผู้ที่มีจิตใจดีที่สุดในชุมชนแมชชีนเลิร์นนิง [วิดีโอ]
• Jeff Dean: คำปราศรัยเรื่อง "การได้รับเวลาตอบสนองที่รวดเร็วในบริการออนไลน์ขนาดใหญ่" - Velocity 2014 [YouTube]
• จากการวิจัยสู่การผลิตด้วย PyTorch [วิดีโอ]
• ข้อมูลเบื้องต้นเกี่ยวกับ Microservices, Docker และ Kubernetes [YouTube]
• คำปราศรัย ICML: บทเรียนที่ได้รับจากการช่วยให้ผู้เชี่ยวชาญที่ไม่ใช่ ML จำนวน 200,000 คนใช้ ML [วิดีโอ]
• ระบบการเรียนรู้แบบปรับตัวและมัลติทาสก์ [เว็บไซต์]
• การคิดอย่างเป็นระบบ การพูดคุยแบบ TED [ยูทูป]
• ระบบที่ยืดหยุ่นคือขอบเขตถัดไปของแมชชีนเลิร์นนิง เจฟฟ์ ดีน [YouTube]
• ถึงเวลาที่จะเขียนระบบปฏิบัติการใหม่ใน Rust แล้วหรือยัง? [ยูทูป]
• InfoQ: AI, ML และวิศวกรรมข้อมูล [YouTube]
  • เริ่มรับชมได้เลย
• Netflix: โครงสร้างพื้นฐานการเรียนรู้ของเครื่องที่เน้นมนุษย์เป็นศูนย์กลาง [InfoQ]
• SysML 2019: [YouTube]
• ScaledML 2019: David Patterson, Ion Stoica, Dawn Song และอื่นๆ บน [YouTube]
• ScaledML 2018: Jeff Dean, Ion Stoica, Yangqing Jia และอื่นๆ บน [YouTube] [สไลด์]
• ยุคทองใหม่สำหรับประวัติศาสตร์สถาปัตยกรรมคอมพิวเตอร์ ความท้าทาย และโอกาส เดวิด แพตเตอร์สัน [YouTube]
• ทำอย่างไรถึงจะมีอาชีพที่ไม่ดี David Patterson (ฉันเป็นแฟนตัวยง) [YouTube]
• SysML 18: มุมมองและความท้าทาย ไมเคิล จอร์แดน [YouTube]
• SysML 18: ระบบและ Machine Learning Symbiosis เจฟฟ์ ดีน [YouTube]
• ข้อมูลพื้นฐานเกี่ยวกับ AutoML: การเรียนรู้ของเครื่องอัตโนมัติในการดำเนินการ ซ่งฉวน, ไห่เฟิง จิน, เซี่ยหู [YouTube]

คอร์ส

• สัมมนา CS692: ระบบสำหรับ Machine Learning, Machine Learning สำหรับระบบ [GitHub]
• หัวข้อในเครือข่าย: Machine Learning สำหรับเครือข่ายและระบบ ฤดูใบไม้ร่วง 2019 [เว็บไซต์หลักสูตร]
• CS6465: ความท้าทายด้านเทคโนโลยีและระบบคลาวด์ที่เกิดขึ้นใหม่ [Cornell]
• CS294: AI สำหรับระบบและระบบสำหรับ AI [UC Berkeley Spring] ( คำแนะนำที่แข็งแกร่ง ) [ระบบการเรียนรู้ของเครื่อง (ฤดูใบไม้ร่วง 2019)]
• CSE 599W: ระบบสำหรับ ML [เฉิน เทียนฉี] [มหาวิทยาลัยวอชิงตัน]
• EECS 598: ระบบสำหรับ AI (W'21) [Mosharaf Chowdhury] [ระบบสำหรับ AI (W'21)]
• รหัสการสอนเกี่ยวกับวิธีสร้างระบบการเรียนรู้เชิงลึกของคุณเองใน 2k Lines [GitHub]
• CSE 291F: การวิเคราะห์ข้อมูลขั้นสูงและระบบ ML [UCSD]
• CSci 8980: การเรียนรู้ของเครื่องในระบบคอมพิวเตอร์ [มหาวิทยาลัยมินนิโซตา เมืองแฝด]
• Mu Li (MxNet, เซิร์ฟเวอร์พารามิเตอร์): การเรียนรู้เชิงลึกเบื้องต้น [ฉันคิดว่าหลักสูตร DL ที่ดีที่สุด] [หนังสือ]
• 10-605: การเรียนรู้ของเครื่องด้วยชุดข้อมูลขนาดใหญ่ [มช.]
• CS 329S: การออกแบบระบบการเรียนรู้ของเครื่อง [สแตนฟอร์ด]

บล็อก

• การทำงานแบบขนานระหว่าง CPU/GPU หลายตัวเพื่อเร่งการอนุมานการเรียนรู้เชิงลึกที่ Edge [บล็อกของ Amazon]
• การสร้างโมเดลวิสัยทัศน์การเรียนรู้เชิงลึกที่พร้อมสำหรับการผลิตที่แข็งแกร่งในไม่กี่นาที [บล็อก]
• ปรับใช้โมเดลการเรียนรู้ของเครื่องด้วย Keras, FastAPI, Redis และ Docker [บล็อก]
• วิธีปรับใช้โมเดลการเรียนรู้ของเครื่อง -- การสร้าง API ที่พร้อมใช้งานจริงโดยใช้ FastAPI + Uvicorn [บล็อก] [GitHub]
• การปรับใช้โมเดลการเรียนรู้ของเครื่องเป็น REST API [บล็อก]
• การส่งมอบการเรียนรู้ของเครื่องอย่างต่อเนื่อง [บล็อก]
• สูตรโกง Kubernetes ใน A4 [GitHub]
• การแนะนำ Kubernetes อย่างอ่อนโยน [บล็อก]
• ฝึกฝนและปรับใช้โมเดลการเรียนรู้ของเครื่องด้วยอินเทอร์เฟซเว็บ - Docker, PyTorch & Flask [GitHub]
• การเรียนรู้ Kubernetes วิถีลัทธิเต๋าของจีน [GitHub]
• ไปป์ไลน์ข้อมูล, Luigi, Airflow: ทุกสิ่งที่คุณจำเป็นต้องรู้ [บล็อก]
• ชุดเครื่องมือการเรียนรู้เชิงลึก — ภาพรวม [บล็อก]
• บทสรุปของ CSE 599W: ระบบสำหรับ ML [บล็อกภาษาจีน]
• Polyaxon, Argo และ Seldon สำหรับการฝึกอบรมโมเดล แพ็คเกจ และการปรับใช้ใน Kubernetes [บล็อก]
• ภาพรวมของแนวทางต่างๆ ในการวางโมเดล Machine Learning (ML) ในการผลิต [บล็อก]
• การเป็น Data Scientist ไม่ได้ทำให้คุณเป็น Software Engineer [ตอนที่ 1] การสร้างสถาปัตยกรรม Machine Learning Pipeline [ตอนที่ 2]
• โมเดลที่ให้บริการใน PyTorch [บล็อก]
• การเรียนรู้ของเครื่องใน Netflix [ปานกลาง]
• วัสดุการประชุม SciPy (สไลด์, repo) [GitHub]
• 继Spark之后，UC Berkeley 推出新一代AI计算引擎——Ray [บล็อก]
• 了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？ [Zhihu]
• เรียนรู้ Kubernetes ภายใน 3 ชั่วโมง: คำแนะนำโดยละเอียดเกี่ยวกับการจัดวางคอนเทนเนอร์ [บล็อก] [GitHub]
• วิศวกรข้อมูล-แผนงาน: เรียนรู้จากบริษัทหลายแห่งใน Silicon Valley Netflix, Facebook, Google, สตาร์ทอัพ [GitHub]
• TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 [บล็อก]
• การปรับใช้โมเดลการเรียนรู้ของเครื่องเป็น REST API [บล็อก]
• Colossal-AI: ระบบการเรียนรู้เชิงลึกแบบครบวงจรสำหรับยุคโมเดลใหญ่ [บล็อก] [GitHub]
• แผนงานวิศวกรข้อมูล [บล็อก Scaler]