Вариация стохастического обучения, когда нам необходимо обучаться на огромном объёме данных, которые постоянно поступают. При этом у нас а) нет вычислительных ресурсов каждый раз заново постоянно обучаться на всём массиве данных (от начала и до вновь поступивших), либо б) не хватает ресурсов для хранения всех данных. В этом случае можно постоянно обучаться на новых данных, таким образом всё время находя оптимум, который всё лучше соответствует свежим данным. Регулируя шаг обучения можно настраивать насколько сильно будет влияние новых данных, а насколько сильно он будет сохранять результаты старого обучения.
