Hukum Murphy untuk Pembelajaran Mesin & Jaringan Syaraf Tiruan
Dengan semangat "Apa pun yang bisa salah akan jadi salah", undang-undang ini mencerminkan keunikan dan tantangan dalam bekerja dengan ML dan Neural Networks di dunia nyata. Hal ini berasal dari masalah praktis yang kami hadapi saat model kami dimasukkan ke tahap produksi.
Hukum
- Hukum Aplikasi Kritis : Semakin kritis suatu aplikasi, semakin besar kemungkinan jaringan saraf gagal melakukan generalisasi.
- Hukum Kompleksitas Berlebihan : Kompleksitas jaringan saraf akan selalu melebihi data yang tersedia.
- Hukum Penerapan Dini : Model jaringan saraf yang membutuhkan waktu berminggu-minggu untuk dilatih akan menemukan bug dalam beberapa menit setelah penerapan.
- Kebalikan Hukum Interpretabilitas : Model yang paling akurat akan menjadi yang paling sedikit dapat diinterpretasikan.
- Hukum Inkonsistensi Hyperparameter : Hyperparameter yang berfungsi paling baik pada proyek terakhir Anda akan menjadi yang terburuk untuk proyek Anda saat ini.
- Hukum Kebingungan Berlapis : Semakin banyak lapisan yang Anda tambahkan, semakin sedikit pemahaman Anda.
- Hukum Pengawasan Validasi : Akurasi 99% pada set validasi Anda biasanya berarti Anda lupa menyertakan kelas data penting.
- Hukum Arsitektur Buta : Jika Anda tidak memahami arsitekturnya, menambahkan lebih banyak lapisan tidak akan membantu.
- Hukum Keusangan Model : Saat Anda menerapkan model mutakhir Anda, sebuah makalah baru akan keluar dan menjadikannya usang.
- Hukum Keyakinan yang Salah Tempat : Keyakinan jaringan saraf terhadap prediksinya berbanding terbalik dengan keakuratannya pada saat-saat paling kritis.
- Hukum Terkesiap Terakhir GPU : GPU akan mogok beberapa menit sebelum akhir sesi pelatihan selama berminggu-minggu.
- Hukum Tweak Acak : Semakin sering Anda mengubah jaringan saraf, semakin dekat jaringan tersebut menjadi penghasil angka acak.
- Penipuan Hukum Durasi Pelatihan : Model yang membutuhkan waktu berhari-hari untuk dilatih akan dikalahkan oleh model yang lebih sederhana yang membutuhkan waktu beberapa menit.
- Hukum Keterlambatan Dokumentasi : Dokumentasi untuk kerangka jaringan saraf terbaru akan selalu tertinggal satu versi.
- Ironi Hukum Kompleksitas Model : Model Anda yang paling kompleks akan mencapai performa yang serupa dengan regresi linier pada data yang sama.
- Hukum Hyperparameter Melihat ke Belakang : Hyperparameter terbaik selalu ditemukan setelah Anda berhenti mencari.
- Hukum Kecemasan Reproduksi : Saat Anda tidak dapat meniru hasil Anda adalah ketika atasan Anda memintanya.
- Hukum Masukan Tak Terduga : Setiap jaringan saraf memiliki serangkaian masukan khusus yang akan membuatnya berperilaku tidak terduga, dan Anda hanya akan menemukannya dalam produksi.
- Hukum Kesalahan Sederhana : Tidak peduli seberapa canggih modelnya, kesalahannya akan selalu tampak sangat sederhana bagi manusia.
- Hukum Kedalaman : Semakin dalam jaringan, semakin sulit mengatasi masalah gradien hilang hingga penerapan.
- Hukum Pengulangan : RNN Anda akan mengingat semuanya, kecuali satu pola urutan yang penting.
- Hukum Memori Berpagar : Saat Anda memutuskan LSTM telah memecahkan masalah urutan Anda, data Anda akan berkembang untuk membuktikan bahwa Anda salah.
- Hukum Dua Arah : Ketika BiLSTM mulai masuk akal, rangkaian Anda akan meminta perhatian di tempat lain.
- Hukum Konvolusi : Fitur paling penting akan selalu berada di luar bidang reseptif CNN Anda.
- Hukum Penerimaan Lokal : Setelah dengan susah payah mengoptimalkan ukuran kernel CNN Anda, perubahan dalam resolusi input akan membuatnya tidak relevan.
- Hukum Perhatian : Model Anda akan memperhatikan semuanya secara berurutan kecuali bagian yang paling relevan.
- Hukum Perhatian Diri : Saat Transformer gagal, ia akan mendapat masukan yang paling tidak Anda duga.
- Hukum Pembelajaran Transfer : Semakin spesifik tugas Anda, model yang telah dilatih sebelumnya akan semakin sulit ditransfer.
- Hukum Penguatan : Agen Anda akan menguasai setiap strategi, kecuali strategi yang memaksimalkan imbalan di dunia nyata.
- Hukum Dinamika Lingkungan : Saat model RL Anda tampak sempurna, lingkungan tiba-tiba berubah menjadi tidak stasioner.
- Hukum Model Besar : Semakin besar modelnya, semakin memalukan kesalahan paling sederhananya.
- Hukum Parametrisasi Berlebihan : Model Anda yang paling banyak dipasang akan digeneralisasikan dengan sempurna selama pengujian tetapi gagal total di dunia nyata.
- Hukum Aliran Gradien : Lapisan yang paling membutuhkan gradien adalah lapisan yang akan menghilangkan gradien tersebut.
- Hukum Adaptasi Modalitas : Saat Anda menyempurnakan CNN untuk data non-gambar, Anda akan menemukan kumpulan data yang kinerja ANN sederhananya lebih baik.
- Hukum Arsitektur Dinamis : Semakin dinamis jaringan Anda, semakin sulit menjelaskan kegagalan mendadaknya.
- Law of Adversarial Robustness : Serangan musuh yang tidak Anda persiapkan akan menjadi serangan pertama yang Anda temui.
- Hukum Multimodalitas : Setiap kali Anda menggabungkan tipe data, jaringan akan unggul dalam satu tipe data dan gagal total dalam tipe data lainnya.
- Hukum Ketersebaran : Jaringan Anda yang paling dipangkas akan kehilangan satu koneksi yang penting.
- Hukum Plastisitas Neural : Hari setelah Anda menggunakan kembali jaringan saraf adalah saat jaringan tersebut akan merindukan tugas aslinya.
- Hukum Ilusi yang Diawasi : Dalam pembelajaran yang diawasi, semakin tepat model Anda cocok dengan data pelatihan, semakin yakin model tersebut memahami dunia—sampai model tersebut memenuhi data dunia nyata.
? Kontribusi
Jangan ragu untuk mengirimkan PR jika Anda menemukan "hukum" lain dalam pengalaman Anda atau jika Anda memiliki saran atau perbaikan. Mari kita kembangkan daftar ini bersama-sama dan tambahkan sedikit humor ke dalam perjuangan ML kita sehari-hari.
? Lisensi
Repositori ini dilisensikan di bawah Lisensi MIT.
Ucapan Terima Kasih
- Terinspirasi oleh Hukum Murphy dan kebijaksanaan kolektif (dan penderitaan) para praktisi Machine Learning di mana pun.
- Terima kasih khusus kepada komunitas ML atas berbagi pengalaman dan wawasan.
- Terinspirasi oleh kumpulan hukum Murphy di blog Angelo State University.
