Законы Мерфи для машинного обучения и нейронных сетей
В духе «Все, что может пойти не так, пойдет не так», эти законы отражают особенности и проблемы работы с машинным обучением и нейронными сетями в реальном мире. Они основаны на практических проблемах, с которыми мы сталкиваемся, когда наши модели отправляются в производство.
Законы
- Закон критического применения : чем более критично приложение, тем больше вероятность того, что нейронная сеть не сможет обобщить.
- Закон чрезмерной сложности : сложность нейронной сети всегда будет превышать доступные данные.
- Закон преждевременного развертывания : в модели нейронной сети, на обучение которой уходят недели, ошибка будет обнаружена в течение нескольких минут после развертывания.
- Обратный закон интерпретируемости : наиболее точная модель будет наименее интерпретируемой.
- Закон несоответствия гиперпараметров : гиперпараметры, которые лучше всего работали в вашем последнем проекте, будут худшими для вашего текущего проекта.
- Закон многослойной путаницы : чем больше слоев вы добавляете, тем меньше вы понимаете.
- Закон надзора за проверкой : точность 99% вашего набора проверки обычно означает, что вы забыли включить критический класс данных.
- Закон слепой архитектуры : если вы не понимаете архитектуру, добавление дополнительных слоев не поможет.
- Закон устаревания модели : в тот момент, когда вы развернете свою современную модель, выйдет новая статья, которая сделает ее устаревшей.
- Закон неуместной уверенности : уверенность нейронной сети в своем прогнозе обратно пропорциональна ее точности в наиболее критические моменты.
- Закон последнего вздоха графического процессора : графический процессор выйдет из строя за несколько минут до окончания недельной тренировки.
- Закон случайной настройки : чем больше вы настраиваете нейронную сеть, тем ближе она становится к генератору случайных чисел.
- Обман продолжительности обучения : модель, на обучение которой уходили несколько дней, будет лучше более простой модели, на обучение которой уходили минуты.
- Закон отставания документации : документация для новейшей среды нейронных сетей всегда будет отставать на одну версию.
- Закон сложности модели. Ирония : ваша самая сложная модель будет работать так же, как и линейная регрессия на тех же данных.
- Закон гиперпараметра. Оглядываясь назад : лучшие гиперпараметры всегда находятся после того, как вы прекращаете поиск.
- Закон беспокойства по поводу воспроизводства . В тот момент, когда вы не можете повторить свои результаты, это происходит тогда, когда ваш начальник просит их.
- Закон неожиданных входных данных : каждая нейронная сеть имеет специальный набор входных данных, которые заставляют ее вести себя неожиданно, и вы обнаружите их только в процессе эксплуатации.
- Закон простых ошибок : какой бы сложной ни была модель, ее ошибки всегда будут казаться людям до глупости простыми.
- Закон глубины : чем глубже сеть, тем неуловимее проблема исчезновения градиента до момента развертывания.
- Закон повторения : ваша RNN запомнит все, кроме одного критического шаблона последовательности.
- Закон закрытой памяти : в тот момент, когда вы решите, что LSTM решили ваши проблемы с последовательностями, ваши данные будут развиваться, чтобы доказать вашу неправоту.
- Закон двунаправленности : когда BiLSTM обретает смысл, ваши последовательности потребуют внимания в другом месте.
- Закон свертки : наиболее важная функция всегда будет находиться за пределами восприимчивого поля вашей CNN.
- Закон локального приема : после кропотливой оптимизации размера ядра вашей CNN изменение входного разрешения сделает его неактуальным.
- Закон внимания : ваша модель будет следить за всем в последовательности, кроме самой важной части.
- Закон самовнимания : единственный раз, когда Трансформатор выйдет из строя, это произойдет на том входе, которого вы меньше всего ожидали.
- Закон трансферного обучения : чем конкретнее ваша задача, тем менее поддающейся передаче будет предварительно обученная модель.
- Закон подкрепления : ваш агент овладеет любой стратегией, кроме той, которая максимизирует вознаграждение в реальном мире.
- Закон динамики окружающей среды : как только ваша модель RL покажется идеальной, среда внезапно станет нестационарной.
- Закон больших моделей : чем больше модель, тем более неловкой является ее простейшая ошибка.
- Закон чрезмерной параметризации : ваша наиболее переоснащенная модель будет прекрасно обобщать во время тестирования, но с треском провалится в реальном мире.
- Закон градиентного потока : градиент исчезнет в том слое, где вам больше всего нужен градиент.
- Закон модальной адаптации : в тот момент, когда вы настроите CNN для данных, не связанных с изображениями, вы обнаружите набор данных, в котором простая ИНС превосходит его.
- Закон динамической архитектуры : чем динамичнее ваша сеть, тем труднее будет объяснить ее внезапные сбои.
- Закон состязательной устойчивости : враждебная атака, к которой вы не подготовились, будет первой, с которой вы столкнетесь.
- Закон мультимодальности : всякий раз, когда вы комбинируете типы данных, сеть преуспевает в одном и явно терпит неудачу в другом.
- Закон разреженности : в вашей самой обрезанной сети будет пропущено одно критичное соединение.
- Закон нейронной пластичности : на следующий день после того, как вы перепрофилируете нейронную сеть, она будет стремиться к своей первоначальной задаче.
- Закон контролируемой иллюзии : при контролируемом обучении, чем точнее ваша модель соответствует обучающим данным, тем больше она верит, что понимает мир — до тех пор, пока не будет соответствовать реальным данным.
? Взносы
Не стесняйтесь отправлять PR, если вы столкнулись с другим «законом» в своем опыте или если у вас есть какие-либо предложения или улучшения. Давайте вместе расширим этот список и добавим немного юмора в нашу повседневную борьбу с ОД.
? Лицензия
Этот репозиторий лицензируется по лицензии MIT.
Благодарности
- Вдохновлен законом Мерфи и коллективной мудростью (и болью) практиков машинного обучения во всем мире.
- Особая благодарность сообществу ML за обмен опытом и идеями.
- Вдохновлен коллекцией законов Мерфи в блоге Государственного университета Анджело.
