Loading AI tools
来自维基百科,自由的百科全书
提升方法(Boosting)是一种机器学习中的集成学习元启发算法,主要用来减小监督式学习中偏差并且也减小方差[1],以及一系列将弱学习器转换为强学习器的机器学习算法[2]。面对的问题是迈可·肯斯(Michael Kearns)和莱斯利·瓦利安特(Leslie Valiant)提出的:[3]一组“弱学习者”的集合能否生成一个“强学习者”?弱学习者一般是指一个分类器,它的结果只比随机分类好一点点;强学习者指分类器的结果非常接近真值。
Robert Schapire在1990年的一篇论文中[4]对肯斯和瓦利安特的问题的肯定回答在机器学习和统计方面产生了重大影响,最显着的是导致了提升方法的发展[5] 。
大多数提升算法包括由迭代使用弱学习分类器组成,并将其结果加入一个最终的成强学习分类器。加入的过程中,通常根据它们的分类准确率给予不同的权重。加和弱学习者之后,数据通常会被重新加权,来强化对之前分类错误数据点的分类。
一个经典的提升算法例子是AdaBoost。一些最近的例子包括LPBoost、TotalBoost、BrownBoost、MadaBoost及LogitBoost。许多提升方法可以在AnyBoost框架下解释为在函数空间利用一个凸的误差函数作梯度下降。
2008年,谷歌的菲利普·隆(Phillip Long)与哥伦比亚大学的罗可·A·瑟维迪欧(Rocco A. Servedio)发表论文指出这些方法是有缺陷的:在训练集有错误的标记的情况下,一些提升算法虽会尝试提升这种样本点的正确率,但却无法产生一个正确率大于1/2的模型。[6]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.