中文
Sign in
AI tools
聊天
热门问题
时间线
Loading AI tools
全部
文章
字典
引用
地图
fine-tuning (machine learning)
来自维基百科,自由的百科全书
Found in articles
GPT-1
“半监督”方法,包含两个阶段:无监督的生成式“预训练”阶段,使用目标函数来设置初始参数;以及有监督的判别式“微调(英语:
fine
-
tuning
(
machine
learning
))”阶段,将这些参数在目标任务上进行微调。 与之前基于注意力增强的循环神经网络(RNN)技术相比,GPT采用的Tran
微调 (深度学习)
微调(又称大模型微调,英語:
fine
-
tuning
)是深度学习中迁移学习的一种方法,其中预训练模型的权重会在新数据上进行训练。微调可以在整个神经网络上执行,也可以仅在其部分层上执行,此时未进行微调的层会被“冻结”(在反向传播步骤中不更新)。模型还可以通过“适配器”进行增强,适配器的参数远少于原始模
基于转换器的生成式预训练模型
型的方法。该方法包括两个阶段:无监督的生成式“预训练”阶段,使用目标函数来设置初始参数;以及有监督的判别式“微调(英语:
fine
-
tuning
(
machine
learning
))”阶段,将这些参数在目标任务上进行微调。 OpenAI于2020年7月发布了GPT-3的首个版本。其中包括三个模型,
卷积神经网络
类器。微调一般用来调整softmax分类器的分类数。例如原网络可以分类出2种图像,需要增加1个新的分类从而使网络可以分类出3种图像。微调(
fine
-
tuning
)可以留用之前训练的大多数参数,从而达到快速训练收敛的效果。例如保留各个卷积层,只重构卷积层后的全连接层与softmax层即可。 LeNet
BERT
[cs.CL]. Howard, Jeremy; Ruder, Sebastian. Universal Language Model
Fine
-
tuning
for Text Classification. 2018-01-18. arXiv:1801.06146v5 [cs.CL]. Nayak