損失函數

在最優化，統計學，計量經濟學，決策論，機器學習和計算神經科學的領域中，損失函數或成本函數是指一種將一個事件（在一個樣本空間中的一個元素）映射到一個表達與其事件相關的經濟成本或機會成本的實數上的一種函數，藉此直觀表示的一些"成本"與事件的關聯。一個最佳化問題的目標是將損失函數最小化。^[1]一個目標函數通常為一個損失函數的本身或者為其負值。當一個目標函數為損失函數的負值時，目標函數的值尋求最大化。

在統計學中，損失函數的作用是估計參數。

例子

平方損失函數

平方損失函數十分常見，比如用在最小二乘法中。它在數學上通常比其他損失函數更容易進行處理，這是因為它具有方差的性質，以及對稱性：高於目標值的誤差產生的損失與低於目標值同樣大小的誤差產生的損失相等。假設目標值為t，那麼平方損失函數為

${\displaystyle \lambda (x)=C(t-x)^{2}\;}$

其中C為某個常數，它的值與決定無關，並且可以通過設為1來略去。

0-1損失函數

在統計學與決策論中，一個常見的損失函數是0-1損失函數

${\displaystyle L({\hat {y}},y)=I({\hat {y}}\neq y),\,}$

其中${\displaystyle I}$是指示函數。

參見

• 分類問題之損失函數

參考文獻

1. 5 Regression Loss Functions All Machine Learners Should Know. Heartbeat. 2018-06-05 [2018-10-23].