Basic Mathematics for Machine Learning

การเรียนรู้ขั้นพื้นฐานสำหรับการเรียนรู้

แรงจูงใจเบื้องหลังการสร้าง repo นี้คือการรู้สึกถึงความกลัวของคณิตศาสตร์และทำสิ่งที่คุณต้องการทำในการเรียนรู้ของเครื่องการเรียนรู้อย่างลึกซึ้งและสาขาอื่น ๆ ของ AI

ใน repo นี้ฉันแสดงพื้นฐานของ พีชคณิตแคลคูลัสสถิติและความน่าจะเป็น ดังนั้นลองใช้รหัสนี้ในสมุดบันทึก Python ของคุณซึ่งมีให้ในหลักสูตร EDX

ใน repo นี้คุณจะได้เรียนรู้ห้องสมุดที่จำเป็นเช่น numpy, pandas, matplotlib ...

ฉันจะอัปโหลดเนื้อหาใหม่เมื่อฉันพบว่าวัสดุที่เป็นประโยชน์เหล่านั้นคุณสามารถช่วยฉันในการเก็บ repo fresh นี้

ทำไมต้องกังวลเกี่ยวกับคณิตศาสตร์? แหล่งที่มาของหัวข้อนี้

มีสาเหตุหลายประการที่คณิตศาสตร์การเรียนรู้ของเครื่องมีความสำคัญและฉันจะเน้นบางส่วนด้านล่าง:

1. การเลือกอัลกอริทึมที่เหมาะสมซึ่งรวมถึงการพิจารณาความถูกต้องเวลาการฝึกอบรมความซับซ้อนของโมเดลจำนวนพารามิเตอร์และจำนวนคุณสมบัติ

2. การเลือกการตั้งค่าพารามิเตอร์และกลยุทธ์การตรวจสอบความถูกต้อง

3. การระบุต่ำเกินไปและการ overfitting โดยการทำความเข้าใจการแลกเปลี่ยนความแปรปรวนแบบอคติ

4. การประเมินช่วงความเชื่อมั่นที่ถูกต้องและความไม่แน่นอน

คุณต้องการคณิตศาสตร์ระดับใด แหล่งที่มาของหัวข้อนี้

พีชคณิตเชิงเส้น:

นักวิทยาศาสตร์ Skyler Speakman กล่าวเมื่อเร็ว ๆ นี้ว่า“ พีชคณิตเชิงเส้นเป็นคณิตศาสตร์ของศตวรรษที่ 21” และฉันเห็นด้วยกับคำแถลงโดยสิ้นเชิง ใน ML พีชคณิตเชิงเส้นเกิดขึ้นทุกที่ หัวข้อต่าง ๆ เช่นการวิเคราะห์องค์ประกอบหลัก (PCA), การสลายตัวของค่าเอกพจน์ (SVD), eigendecomposition ของเมทริกซ์, การสลายตัวของ LU, การสลายตัวของ QR/การแยกส่วน, เมทริกซ์สมมาตร จำเป็นสำหรับการทำความเข้าใจวิธีการเพิ่มประสิทธิภาพที่ใช้สำหรับเครื่องจักร การเรียนรู้. สิ่งที่น่าอัศจรรย์เกี่ยวกับพีชคณิตเชิงเส้นคือมีแหล่งข้อมูลออนไลน์มากมาย ฉันมักจะพูดเสมอว่าห้องเรียนแบบดั้งเดิมกำลังจะตายเนื่องจากมีทรัพยากรจำนวนมากที่มีอยู่บนอินเทอร์เน็ต หลักสูตรพีชคณิตเชิงเส้นที่ฉันโปรดปรานคือหลักสูตรที่เสนอโดย MIT CourseWare (Prof. Gilbert Strang)

ทฤษฎีความน่าจะเป็นและสถิติ:

การเรียนรู้ของเครื่องจักรและสถิติไม่ได้แตกต่างกันมาก ที่จริงแล้วบางคนเพิ่งกำหนดการเรียนรู้ของเครื่องจักรว่า 'ทำสถิติเกี่ยวกับ MAC' ทฤษฎีทางสถิติและความน่าจะเป็นพื้นฐานบางอย่างที่จำเป็นสำหรับ ML คือ Combinatorics, กฎความน่าจะเป็นและสัจพจน์, ทฤษฎีบทของ Bayes, ตัวแปรสุ่ม, ความแปรปรวนและความคาดหวัง, การแจกแจงแบบมีเงื่อนไขและข้อต่อ, การแจกแจงมาตรฐาน (Bernoulli, Binomial, Multinomial ฟังก์ชั่นการสร้างการประมาณความน่าจะเป็นสูงสุด (MLE), ก่อนและหลัง, สูงสุดหลัง การประมาณ (แผนที่) และวิธีการสุ่มตัวอย่าง

แคลคูลัสหลายตัวแปร:

หัวข้อที่จำเป็นบางอย่างรวมถึงแคลคูลัสที่แตกต่างและอินทิกรัลอนุพันธ์บางส่วนฟังก์ชั่นค่าเวกเตอร์-ค่าการไล่ระดับสีทิศทาง Hessian, Jacobian, Laplacian และ Lagrangian การกระจาย

อัลกอริทึมและการเพิ่มประสิทธิภาพที่ซับซ้อน:

นี่เป็นสิ่งสำคัญสำหรับการทำความเข้าใจประสิทธิภาพการคำนวณและความสามารถในการปรับขนาดของอัลกอริทึมการเรียนรู้ของเครื่องของเราและเพื่อใช้ประโยชน์จาก Sparsity ในชุดข้อมูลของเรา ความรู้เกี่ยวกับโครงสร้างข้อมูล (ต้นไม้ไบนารี, การแฮช, ฮีป, สแต็ค ฯลฯ ), การเขียนโปรแกรมแบบไดนามิก, อัลกอริทึมแบบสุ่มและ sublinear, กราฟ, กราฟ, การไล่ระดับสี/สุ่มและวิธีการครั้งแรก

คนอื่น:

ซึ่งประกอบด้วยหัวข้อคณิตศาสตร์อื่น ๆ ที่ไม่ครอบคลุมในสี่ประเด็นสำคัญที่อธิบายไว้ข้างต้น พวกเขารวมถึงการวิเคราะห์ที่แท้จริงและซับซ้อน (ชุดและลำดับ, โทโพโลยี, ช่องว่างเมตริก, ฟังก์ชั่นที่มีค่าเดียวและต่อเนื่อง, ขีด จำกัด , เคอร์เนล cauchy, การแปลงฟูริเยร์), ทฤษฎีข้อมูล (เอนโทรปี, ข้อมูลที่เพิ่มขึ้น), ช่องว่างฟังก์ชั่น