Назва |
Графік |
Рівняння |
Похідна (по x) |
Область |
Порядок гладкості |
Монотонність |
Монотонність похідної |
Наближення до Тотожної функції в початку координат |
Тотожна |
|
|
|
|
|
Так |
Так |
Так |
Двійковий крок |
|
|
|
|
|
Так |
Ні |
Ні |
Логістична (a.k.a. Сігмоїда або М'який крок) |
|
|
|
|
|
Так |
Ні |
Ні |
TanH |
|
|
|
|
|
Так |
Ні |
Так |
ArcTan |
|
|
|
|
|
Так |
Ні |
Так |
Softsign[10][11] |
|
|
|
|
|
Так |
Ні |
Так |
Inverse square root unit (ISRU)[12] |
|
|
|
|
|
Так |
Ні |
Так |
Випрямлена лінійна (Rectified linear unit, ReLU)[13] |
|
|
|
|
|
Так |
Так |
Ні |
Leaky rectified linear unit (Leaky ReLU)[14] |
|
|
|
|
|
Так |
Так |
Ні |
Parameteric rectified linear unit (PReLU)[15] |
|
|
|
|
|
Так ↔ |
Так |
Так ↔ |
Randomized leaky rectified linear unit (RReLU)[16] |
|
|
|
|
|
Так |
Так |
Ні |
Exponential linear unit (ELU)[17] |
|
|
|
|
|
Так ↔ |
Так ↔ |
Так ↔ |
Scaled exponential linear unit (SELU)[18] |
|
з та |
|
|
|
Так |
Ні |
Ні |
S-shaped rectified linear activation unit (SReLU)[19] |
|
are parameters. |
|
|
|
Ні |
Ні |
Ні |
Inverse square root linear unit (ISRLU)[12] |
|
|
|
|
|
Так |
Так |
Так |
Adaptive piecewise linear (APL)[20] |
|
|
|
|
|
Ні |
Ні |
Ні |
SoftPlus[21] |
|
|
|
|
|
Так |
Так |
Ні |
Bent identity |
|
|
|
|
|
Так |
Так |
Так |
Sigmoid-weighted linear unit (SiLU)[22] (a.k.a. Swish[23]) |
|
|
|
|
|
Ні |
Ні |
Ні |
SoftExponential[24] |
|
|
|
|
|
Так |
Так |
Так ↔ |
Синусоїда[25] |
|
|
|
|
|
Ні |
Ні |
Так |
Sinc |
|
|
|
|
|
Ні |
Ні |
Ні |
Гауссіан |
|
|
|
|
|
Ні |
Ні |
Ні |