Структурированный блокнот
Машинное обучение (Machine Learning, обучающиеся алгоритмы)
→
Обучение с учителем (Supervised learning)
→
Нейронные сети (neuron network)
→
Функции активации
→
SwiGLU
Развитие идеи Swish и GLU
Формула SwiGLU(x) = x * sigmoid(beta * x) + (1 - sigmoid(beta * x)) * (Wx + b)
Можно получать разные наклоны слева и справа, а параметром beta задавать размер зоны перехода
Поиск по записям:
только в текущем разделе.
