歸納偏置（英語：Inductive bias），指的是學習演算法中，當學習器去預測其未遇到過的輸入結果時，所做的一些假設的集合（Mitchell, 1980）。
機器學習試圖去建造一個可以學習的演算法，用來預測某個目標的結果。要達到此目的，要給於學習演算法一些訓練樣本，樣本說明輸入與輸出之間的預期關係。然後假設學習器在預測中逼近正確的結果，其中包括在訓練中未出現的樣本。既然未知狀況可以是任意的結果，若沒有其它額外的假設，這任務就無法解決。這種關於目標函數的必要假設就稱為歸納偏置（Mitchell, 1980; desJardins and Gordon, 1995）。
一個典型的歸納偏置例子是奧卡姆剃刀，它假設最簡單而又一致的假設是最佳的。這裏的一致是指學習器的假設會對所有樣本產生正確的結果。
歸納偏置比較正式的定義是基於數學上的邏輯。這裏，歸納偏置是一個與訓練樣本一起的邏輯式子，其邏輯上會蘊涵學習器所產生的假設。然而在實際應用中，這種嚴謹形式常常無法適用。在有些情況下，學習器的歸納偏置可能只是一個很粗糙的描述（如在人工神經網絡中），甚至更加簡單。
歸納偏置的種類
以下是機器學習中常見的歸納偏置列表：
- 最大條件獨立性（conditional independence）：如果假說能轉成貝葉斯模型架構，則試着使用最大化條件獨立性。這是用於樸素貝葉斯分類器（Naive Bayes classifier）的偏置。
- 最小交叉驗證誤差：當試圖在假說中做選擇時，挑選那個具有最低交叉驗證誤差的假說，雖然交叉驗證看起來可能無關偏置，但天下沒有免費的午餐理論顯示交叉驗證已是偏置的。
- 最大邊界：當要在兩個類別間畫一道分界線時，試圖去最大化邊界的寬度。這是用於支持向量機的偏置。這個假設是不同的類別是由寬界線來區分。
- 最小描述長度（Minimum description length）：當構成一個假設時，試圖去最小化其假設的描述長度。假設越簡單，越可能為真的。見奧卡姆剃刀。
- 最少特徵數（Minimum features）：除非有充分的證據顯示一個特徵是有效用的，否則它應當被刪除。這是特徵選擇（feature selection）算法背後所使用的假設。
- 最近鄰居：假設在特徵空間（feature space）中一小區域內大部分的樣本是同屬一類。給一個未知類別的樣本，猜測它與它最緊接的大部分鄰居是同屬一類。這是用於最近鄰居法的偏置。這個假設是相近的樣本應傾向同屬於一類別。
偏置變換
雖然大部分的學習演算法使用固定的偏置，但有些算法在獲得更多數據時可以變換它們的偏置。這不會取消偏置，因為偏置變換的過程本身就是一種偏置。
另見
- 認知偏誤
- 天下沒有免費的午餐
參考文獻
desJardins, M., and Gordon, D.F. (1995). Evaluation and selection of biases in machine learning （頁面存檔備份，存於互聯網檔案館）. Machine Learning Journal, 5:1--17, 1995.
Mitchell, T.M. (1980). The need for biases in learning generalizations （頁面存檔備份，存於互聯網檔案館）. CBM-TR 5-110, Rutgers University, New Brunswick, NJ.
Utgoff, P.E. (1984). Shift of bias for inductive concept learning. Doctoral dissertation, Department of Computer Science, Rutgers University, New Brunswick, NJ.
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
