Структурированный блокнот   
 Машинное обучение (Machine Learning, обучающиеся алгоритмы) →  Обучение с учителем (Supervised learning) →  Общие принципы →  

Проблема "переобучения": регуляризация (weight decay) и dropout

Добавляем к функции ошибки среднюю сумму квадратов значений в матрице (но не суммируем слагаемые, отвечающие за сдвиг) с коэффициентом lambda. Такая добавка заставляет модель выбирать меньшие коэффициенты, что приводит к тому, что она во-первых, склонна как бы отключать часть нейронов, во-вторых в работающих нейронах меньшие значения обычно находятся ближе к линейной зоне, таким образом общий классификатор становится более простым. В целом, можно сказать, что нормализация заставляет модель работать хуже, чего мы и хотим добиться, чтобы она не переобучалась.
Dropout. Другой подход "ухудшить" модель. На выбранных слоях мы при каждом шаге обучения случайным образом зануляем часть входных данных (при этом пропорционально увеличиваем значения на других входах, т.е. если мы занулили 50% входов, то значения на оставшихся 50% мы умножаем на 2). За счёт dropout модель будет склонна раскидывать веса по разным нейронам, что похоже на действие регуляризирующего слагаемого. Плюсом dropout является то, что он хорошо работает и для сильно разного масштаба весов в нейронах. Минусом dropout является то, что он нарушает правило, что функция ошибки на каждой итерации должна уменьшаться (хотя в среднем на большом числе итераций всё же должна уменьшаться).
Поиск по записям: только в текущем разделе.