Gated recurrent unit

input以及output gates。 2014年，Kyunghyun Cho et al.发明了门控循环单元（英语：Gated recurrent unit）（GRU）。 2016年，谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亞馬遜公司也用LSTM生产产品，例如：iPhone、Amazon

7倍. Seq2seq将输入序列转换为输出序列。它通过利用循环神经网络（递归神经网络）或更常用的LSTM GRU（英语：Gated recurrent unit）网络来避免梯度消失问题。当前项的内容总来源于前一步的输出。Seq2seq主要由一个编码器和一个解码器组成。 编码器将输入转换为一个隐藏状态向量，其中包含输入项的内容。

循环神经网络（Recurrent neural network：RNN）是神經網絡的一種。单纯的RNN因为无法处理随着递归，权重指数级爆炸或梯度消失问题，难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。 时间循环神经网络可以描述动态时间行为，因为和前馈神经网络（feedforward

Crawl）等大型语料库进行训练，并可以针对特定任务进行微调。 在Transformer模型之前，大多数最先进的NLP系统都依赖于诸如LSTM、门控循环单元（英语：Gated recurrent unit）（GRU）等门控RNN模型，并在此基础上增加了注意力机制。Transformer正是在注意力机制的基础上构建的，但其没有使用RN

整流線性單位函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激勵函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。 比较常用的线性整流函数有斜坡函数 f ( x ) = max ( 0 , x )