統計學習理論 (英語:Statistical learning theory ),一種機器學習 的架構,根據統計學 與泛函分析 (Functional Analysis)而建立。統計學習理論基於資料(data),找出預測性函數,之後解決問題。支持向量機 (Support Vector Machine)的理論基礎來自於統計學習理論。
令
X
{\displaystyle X}
為所有可能的輸入組成的向量空間,
Y
{\displaystyle Y}
為所有可能的輸出組成的向量空間。統計學習理論認為,積空間
Z
=
X
×
Y
{\displaystyle Z=X\times Y}
上存在某個未知的概率分布
p
(
z
)
=
p
(
x
→
,
y
)
{\displaystyle p(z)=p({\vec {x}},y)}
。訓練集由這個概率分布中的
n
{\displaystyle n}
個樣例構成,並用
S
=
{
(
x
→
1
,
y
1
)
,
…
,
(
x
→
n
,
y
n
)
}
=
{
z
→
1
,
…
,
z
→
n
}
{\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}
表示。每個
x
→
i
{\displaystyle {\vec {x}}_{i}}
都是訓練數據的一個輸入向量, 而
y
i
{\displaystyle y_{i}}
則是對應的輸出向量。
損失函數的選擇是機器學習算法所選的函數
f
S
{\displaystyle f_{S}}
中的決定性因素。 損失函數也影響著算法的收斂速率。損失函數的凸性也十分重要。[ 1]
根據問題是回歸問題還是分類問題,我們可以使用不同的損失函數。
回歸問題中最常用的損失函數是平方損失函數(也被稱為L2-範數 )。類似的損失函數也被用在普通最小二乘回歸 。其形式是:
V
(
f
(
x
→
)
,
y
)
=
(
y
−
f
(
x
→
)
)
2
{\displaystyle V(f({\vec {x}}),y)=(y-f({\vec {x}}))^{2}}
另一個常見的損失函數是絕對值範數(L1-範數 ):
V
(
f
(
x
→
)
,
y
)
=
|
y
−
f
(
x
→
)
|
{\displaystyle V(f({\vec {x}}),y)=|y-f({\vec {x}})|}
某種程度上說0-1指示函數 是分類問題中最自然的損失函數。它在預測結果與真實結果相同時取0,相異時取1。對於
Y
=
{
−
1
,
1
}
{\displaystyle Y=\{-1,1\}}
的二分類問題,這可以表示為:
V
(
f
(
x
→
)
,
y
)
=
θ
(
−
y
f
(
x
→
)
)
{\displaystyle V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))}
其中
θ
{\displaystyle \theta }
為單位階躍函數 。
這張圖片給出了機器學習中過擬合的例子。圖中紅點表示訓練數據,綠色曲線表示真實的函數關係,而藍色曲線為習得的過度擬合了的函數。 機器學習的一大常見問題是過擬合 。由於機器學習是一個預測問題,其目標並不是找到一個與(之前觀測到的)數據最擬合的的函數,而是尋找一個能對未來的輸入作出最精確預測的函數。經驗風險最小化 有過擬合的風險:找到的函數完美地匹配現有數據但並不能很好地預測未來的輸出。
過擬合的常見表現是不穩定的解:訓練數據的一個小的擾動會導致學到的函數的巨大波動。可以證明,如果解的穩定性可以得到保證,那麼其可推廣性和一致性也同樣能得到保證。[ 2] [ 3] 正則化 可以解決過擬合的問題並增加解的穩定性。
正則化可以通過限制假設空間
H
{\displaystyle {\mathcal {H}}}
來完成。一個常見的例子是把
H
{\displaystyle {\mathcal {H}}}
限制為線性函數:這可以被看成是把問題簡化為標準設計的線性回歸 。
H
{\displaystyle {\mathcal {H}}}
也可以被限制為
p
{\displaystyle p}
次多項式,指數函數,或L1 上的有界函數。對假設空間的限制能防止過擬合的原因是,潛在的函數的形式得到了限制,因此防止了那些能給出任意接近於0的經驗風險的複雜函數。
一個正則化的樣例是吉洪諾夫正則化 ,即最小化如下損失函數
1
n
∑
i
=
1
n
V
(
f
(
x
→
i
)
,
y
i
)
+
γ
‖
f
‖
H
2
{\displaystyle {\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})+\gamma \|f\|_{\mathcal {H}}^{2}}
其中正則化參數
γ
{\displaystyle \gamma }
為一個固定的正參數。吉洪諾夫正則化保證了解的存在性、唯一性和穩定性。[ 4]
Rosasco, L., Vito, E.D., Caponnetto, A., Fiana, M., and Verri A. 2004. Neural computation Vol 16, pp 1063-1076
Mukherjee, S., Niyogi, P. Poggio, T., and Rifkin, R. 2006. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Advances in Computational Mathematics . Vol 25, pp 161-193.
Tomaso Poggio, Lorenzo Rosasco, et al. Statistical Learning Theory and Applications , 2012, Class 2 (頁面存檔備份 ,存於網際網路檔案館 )