統計學習理論

統計學習理論（英語：Statistical learning theory），一種機器學習的架構，根據統計學與泛函分析（Functional Analysis）而建立。統計學習理論基於資料（data），找出預測性函數，之後解決問題。支持向量機（Support Vector Machine）的理論基礎來自於統計學習理論。

形式定義

令${\displaystyle X}$為所有可能的輸入組成的向量空間， ${\displaystyle Y}$為所有可能的輸出組成的向量空間。統計學習理論認為，積空間${\displaystyle Z=X\times Y}$上存在某個未知的概率分佈${\displaystyle p(z)=p({\vec {x}},y)}$。訓練集由這個概率分佈中的${\displaystyle n}$個樣例構成，並用${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}$表示。每個${\displaystyle {\vec {x}}_{i}}$都是訓練數據的一個輸入向量， 而${\displaystyle y_{i}}$則是對應的輸出向量。

損失函數

損失函數的選擇是機器學習算法所選的函數${\displaystyle f_{S}}$中的決定性因素。 損失函數也影響着算法的收斂速率。損失函數的凸性也十分重要。^[1]

根據問題是回歸問題還是分類問題，我們可以使用不同的損失函數。

回歸問題

回歸問題中最常用的損失函數是平方損失函數（也被稱為L2-範數)。類似的損失函數也被用在普通最小二乘回歸。其形式是：

${\displaystyle V(f({\vec {x}}),y)=(y-f({\vec {x}}))^{2}}$

另一個常見的損失函數是絕對值範數（L1-範數）：

${\displaystyle V(f({\vec {x}}),y)=|y-f({\vec {x}})|}$

分類問題

主條目：統計分類

某種程度上說0-1指示函數是分類問題中最自然的損失函數。它在預測結果與真實結果相同時取0，相異時取1。對於${\displaystyle Y=\{-1,1\}}$的二分類問題，這可以表示為：

${\displaystyle V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))}$

其中${\displaystyle \theta }$為單位階躍函數。

正則化

這張圖片給出了機器學習中過擬合的例子。圖中紅點表示訓練數據，綠色曲線表示真實的函數關係，而藍色曲線為習得的過度擬合了的函數。

機器學習的一大常見問題是過擬合。由於機器學習是一個預測問題，其目標並不是找到一個與（之前觀測到的）數據最擬合的的函數，而是尋找一個能對未來的輸入作出最精確預測的函數。經驗風險最小化有過擬合的風險：找到的函數完美地匹配現有數據但並不能很好地預測未來的輸出。

過擬合的常見表現是不穩定的解：訓練數據的一個小的擾動會導致學到的函數的巨大波動。可以證明，如果解的穩定性可以得到保證，那麼其可推廣性和一致性也同樣能得到保證。^[2][3] 正則化可以解決過擬合的問題並增加解的穩定性。

正則化可以通過限制假設空間${\displaystyle {\mathcal {H}}}$來完成。一個常見的例子是把${\displaystyle {\mathcal {H}}}$限制為線性函數：這可以被看成是把問題簡化為標準設計的線性回歸。${\displaystyle {\mathcal {H}}}$也可以被限制為${\displaystyle p}$次多項式，指數函數，或L1上的有界函數。對假設空間的限制能防止過擬合的原因是，潛在的函數的形式得到了限制，因此防止了那些能給出任意接近於0的經驗風險的複雜函數。

一個正則化的樣例是吉洪諾夫正則化，即最小化如下損失函數

${\displaystyle {\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})+\gamma \|f\|_{\mathcal {H}}^{2}}$

其中正則化參數${\displaystyle \gamma }$為一個固定的正參數。吉洪諾夫正則化保證了解的存在性、唯一性和穩定性。^[4]

1. Rosasco, L., Vito, E.D., Caponnetto, A., Fiana, M., and Verri A. 2004. Neural computation Vol 16, pp 1063-1076
2. Vapnik, V.N. and Chervonenkis, A.Y. 1971. On the uniform convergence of relative frequencies of events to their probabilities. Theory of Probability and its Applications Vol 16, pp 264-280.
3. Mukherjee, S., Niyogi, P. Poggio, T., and Rifkin, R. 2006. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Advances in Computational Mathematics. Vol 25, pp 161-193.
4. Tomaso Poggio, Lorenzo Rosasco, et al. Statistical Learning Theory and Applications, 2012, Class 2 （頁面存檔備份，存於互聯網檔案館）