当学习器去预测其未遇到过的输入的结果时，会做一些假设（Mitchell, 1980）。而学习演算法中的归纳偏置（Inductive bias）则是这些假设的集合。
 |
机器学习试图去建造一个可以学习的演算法，用来预测某个目标的结果。要达到此目的，要给于学习演算法一些训练样本，样本说明输入与输出之间的预期关系。然后假设学习器在预测中逼近正确的结果，其中包括在训练中未出现的样本。既然未知状况可以是任意的结果，若没有其它额外的假设，这任务就无法解决。这种关于目标函数的必要假设就称为归纳偏置（Mitchell, 1980; desJardins and Gordon, 1995）。
一个典型的归纳偏置例子是奥卡姆剃刀，它假设最简单而又一致的假设是最佳的。这里的一致是指学习器的假设会对所有样本产生正确的结果。
归纳偏置比较正式的定义是基于数学上的逻辑。这里，归纳偏置是一个与训练样本一起的逻辑式子，其逻辑上会蕴涵学习器所产生的假设。然而在实际应用中，这种严谨形式常常无法适用。在有些情况下，学习器的归纳偏置可能只是一个很粗糙的描述（如在人工神经网路中），甚至更加简单。
归纳偏置的种类
以下是机器学习中常见的归纳偏置列表：
- 最大条件独立性（conditional independence）：如果假说能转成贝叶斯模型架构，则试著使用最大化条件独立性。这是用于朴素贝叶斯分类器（Naive Bayes classifier）的偏置。
- 最小交叉验证误差：当试图在假说中做选择时，挑选那个具有最低交叉验证误差的假说，虽然交叉验证看起来可能无关偏置，但天下没有免费的午餐理论显示交叉验证已是偏置的。
- 最大边界：当要在两个类别间画一道分界线时，试图去最大化边界的宽度。这是用于支持向量机的偏置。这个假设是不同的类别是由宽界线来区分。
- 最小描述长度（Minimum description length）：当构成一个假设时，试图去最小化其假设的描述长度。假设越简单，越可能为真的。见奥卡姆剃刀。
- 最少特征数（Minimum features）：除非有充分的证据显示一个特征是有效用的，否则它应当被删除。这是特征选择（feature selection）算法背后所使用的假设。
- 最近邻居：假设在特征空间（feature space）中一小区域内大部分的样本是同属一类。给一个未知类别的样本，猜测它与它最紧接的大部分邻居是同属一类。这是用于最近邻居法的偏置。这个假设是相近的样本应倾向同属于一类别。
偏置变换
虽然大部分的学习演算法使用固定的偏置，但有些算法在获得更多数据时可以变换它们的偏置。这不会取消偏置，因为偏置变换的过程本身就是一种偏置。
另见
- Bias
- 认知偏误
- 天下没有免费的午餐
参考文献
desJardins, M., and Gordon, D.F. (1995). Evaluation and selection of biases in machine learning （页面存档备份，存于互联网档案馆）. Machine Learning Journal, 5:1--17, 1995.
Mitchell, T.M. (1980). The need for biases in learning generalizations （页面存档备份，存于互联网档案馆）. CBM-TR 5-110, Rutgers University, New Brunswick, NJ.
Utgoff, P.E. (1984). Shift of bias for inductive concept learning. Doctoral dissertation, Department of Computer Science, Rutgers University, New Brunswick, NJ.
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
