S型函数

S型函数（英语：sigmoid function，或称乙状函数）是一种函数，因其函数图像形状像字母S得名。其形状曲线至少有2个焦点，也叫“二焦点曲线函数”。S型函数是有界、可微的实函数，在实数范围内均有取值，且导数恒为非负^[1]，有且只有一个拐点。S型函数和S型曲线指的是同一事物。

S型函数的曲线图形

S型函数在复数域的分布图形

逻辑斯谛函数是一种常见的S型函数，其公式如下：^[1]

${\displaystyle S(t)={\frac {1}{1+e^{-t}}}.}$

其级数展开为：

${\displaystyle s:=1/2+{\frac {1}{4}}t-{\frac {1}{48}}t^{3}+{\frac {1}{480}}t^{5}-{\frac {17}{80640}}t^{7}+{\frac {31}{1451520}}t^{9}-{\frac {691}{319334400}}t^{11}+O(t^{12})}$

其他S型函数案例见下。在一些学科领域，特别是人工神经网络中，S型函数通常特指逻辑斯谛函数。

常见的S型函数

一些S型函数的比较，图中的函数皆以原点斜率为1的方式归一化。

• 逻辑斯谛函数

${\displaystyle f(x)={\frac {1}{1+e^{-x}}}}$

• 双曲正切函数（等价于逻辑斯谛函数的平移与缩放）

${\displaystyle f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$

• 反正切函数

${\displaystyle f(x)=\arctan x}$

• 古德曼函数

${\displaystyle f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=2\arctan \left(\tanh \left({\frac {x}{2}}\right)\right)}$

• 误差函数

${\displaystyle f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$

• 广义逻辑斯谛函数（英语：Generalised logistic function）

${\displaystyle f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0}$

• 平滑阶跃函数（英语：Smoothstep）

${\displaystyle f(x)={\begin{cases}\displaystyle {\frac {\int _{0}^{x}{\bigl (}1-u^{2}{\bigr )}^{N}\ du}{\int _{0}^{1}{{\bigl (}1-u^{2}{\bigr )}^{N}\ du}}},&|x|\leq 1\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1}$

• 一些代数函数, 例如

${\displaystyle f(x)={\frac {x}{\sqrt {1+x^{2}}}}}$

所有连续非负的凸形函数的积分都是S型函数，因此许多常见概率分布的累积分布函数会是S型函数。一个常见的例子是误差函数，它是正态分布的累积分布函数。

参考文献

1. Han, Jun; Morag, Claudio. The influence of the sigmoid function parameters on the speed of backpropagation learning. Mira, José; Sandoval, Francisco (编). From Natural to Artificial Neural Computation. Lecture Notes in Computer Science 930. 1995: 195–201. ISBN 978-3-540-59497-0. doi:10.1007/3-540-59497-3_175.

• Mitchell, Tom M. Machine Learning. WCB–McGraw–Hill. 1997. ISBN 0-07-042807-7.. In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
• Humphrys, Mark. Continuous output, the sigmoid function. [2015-02-01]. （原始内容存档于2015-02-02）. Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.

参见

• 单位阶跃函数
• 逻辑斯谛回归
• 分对数（英语：Logit）
• 线性整流函数
• Softmax函数
• 韦伯分布
• 费米-狄拉克统计