https://arxiv.org/pdf/1710.05941v1.pdf Похожа ReLU, но имеет непрерывные производные и небольшую немонотонную зону при отрицательных x. Утверждается, что показывает себя лучше ReLU. Формула y = x * sigmoid(beta * x) sigmoid - от 0 в минус бесконечности до 1 в плюс бесконечности. beta - константа, которая может подбираться в процессе обучения
