1) Сначала нужно добиться хороших результатов на обучающей выборке. Значит ваш алгоритм достаточно вариативен, чтобы выучиться на ваших данных. 2) Далее смотрим на качество на проверочной выборке. Если качество там сильно хуже, то работаем над регуляризацией и/или увеличением объёма данных. 3) Далее проверяем улучшение на пользователях. Убеждаясь, что улучшение растит пользовательские метрики. Может быть полезно поставить этот пункт на первое место, проверив, что ухудшение той метрики, что мы оптимизируем ML ухудшает пользовательские метрики. Если это не так, то может быть нужно изначально выбрать другую метрику для оптимизацию ML алгоритмом.
