Loading AI tools
定義為其參數的積極部分的激活函數 来自维基百科,自由的百科全书
整流线性单位函数(Rectified Linear Unit, ReLU),又称修正线性单元,是一种人工神经网络中常用的激励函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
此条目可参照外语维基百科相应条目来扩充。 |
比较常用的线性整流函数有斜坡函数 ,以及带泄露整流函数(Leaky ReLU),其中 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理[1],并且由于在实践中通常有着比其他常用激励函数(譬如逻辑函数)更好的效果,而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域[1]。
通常意义下,线性整流函数指代数学中的斜坡函数,即
而在神经网络中,线性整流作为神经元的激活函数,定义了该神经元在线性变换 之后的非线性输出结果。换言之,对于进入神经元的来自上一层神经网络的输入向量 ,使用线性整流激活函数的神经元会输出
至下一层神经元或作为整个神经网络的输出(取决现神经元在网络结构中所处位置)。
线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种,譬如带泄露线性整流(Leaky ReLU)[2], 带泄露随机线性整流(Randomized Leaky ReLU)[3],以及噪声线性整流(Noisy ReLU)[4].
在输入值 为负的时候,带泄露线性整流函数(Leaky ReLU)的梯度为一个常数 ,而不是0。在输入值为正的时候,带泄露线性整流函数和普通斜坡函数保持一致。换言之,
在深度学习中,如果设定 为一个可通过反向传播算法(Backpropagation)学习的变量,那么带泄露线性整流又被称为参数线性整流(Parametric ReLU)[5]。
带泄露随机线性整流(Randomized Leaky ReLU, RReLU)最早是在Kaggle全美数据科学大赛(NDSB)中被首先提出并使用的。相比于普通带泄露线性整流函数,带泄露随机线性整流在负输入值段的函数梯度 是一个取自连续性均匀分布 概率模型的随机变量,即
其中 且 。
噪声线性整流(Noisy ReLU)是修正线性单元在考虑高斯噪声的基础上进行改进的变种激活函数。对于神经元的输入值 ,噪声线性整流加上了一定程度的正态分布的不确定性,即
其中随机变量 。目前,噪声线性整流函数在受限玻尔兹曼机(Restricted Boltzmann Machine)在计算机图形学的应用中取得了比较好的成果[4]。
相比于传统的神经网络激活函数,诸如逻辑函数(Logistic sigmoid)和tanh等双曲函数,线性整流函数有着以下几方面的优势:
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.