Если нужно оптимизировать сразу несколько параметров
Например, для классификатора мы хотим улучшать accuracy и precision, то может возникнуть вопрос, какой из обученных классификаторов лучше. Или мы измеряем качество формулы для нескольких регионов, и должны выбрать, какая формула в итоге лучше. Общий принцип: нужно научиться свести всё к одному числу.
В случае с accuracy и precision -- это, например, может быть F-мера. В случае разных регионов это может быть взвешенное среднее их качества. Так же есть подход с пороговым значением, например, мы говорим, что precision должен быть не хуже 0.9, и дальше стремимся максимизировать accuracy. В простейшем случае можно просто отбрасывать варианты, с precision больше порога, но можно домножать ошибку (или делить accuracy) на функцию, которая равна 1, когда precision ниже порога, и резко растёт выше -- при автоматическом переборе параметров, это подскажет переборщику, какой из вариантов лучше.
Ещё подход, если мы хотим правильно классифицировать фотографии котиков, но точно не хотим, чтобы вместо котиков попадал шокирующий контент. Вместо того чтобы делать отдельную метрику по доле шокирующего контента и как-то подмешивать его к основной метрике, можно сделать иначе: поменять функцию ошибки так, чтобы ошибочное определение шокирующего контента, как котика давало повышенную ошибку (в 10 или в 100 раз или ещё больше). Таким образом при обучении модель учиться особенно избегать ошибок такого рода.
