Loading AI tools
ウィキペディアから
偏りと分散やバイアス-バリアンスのトレードオフ（かたよりとぶんさんのトレードオフ、英: bias–variance tradeoff）とは、統計学と機械学習において、パラメータの推定においてバイアス（偏り）を減らすと標本間のバリアンス（分散）が増え、同時にその逆も成立する、という予測モデルの特徴のことである。
バイアス-バリアンスのジレンマ（bias–variance dilemma）やバイアス-バリアンスの問題（bias–variance problem）とは、誤差の原因であるバイアスとバリアンスの両方を同時に減らそうとする際の対立の事であり、教師あり学習のアルゴリズムが訓練データの内容を超えて汎化する際の課題となる。
バイアス-バリアンス分解（bias–variance decomposition）とは、汎化誤差の期待値をバイアス＋バリアンス＋ノイズの3つの和に分解することである。
バイアス-バリアンスのトレードオフは、全ての教師あり学習で生じる。人間の学習において、人間がヒューリスティクスを使用することの有効性の説明にも使用されている[1]。
統計学では通常 bias は偏り、variance は分散と翻訳するが、この文脈ではバイアスとバリアンスとカタカナで表記されることが多い。書籍『パターン認識と機械学習』の翻訳者はバイアス-バリアンスと訳し[2]、書籍『統計的学習の基礎』の翻訳者はバイアス-分散と訳した[3]。
データとして入力 があり、出力は とする。真の関数 が存在し、 は平均0分散 のノイズである。
真の関数 を可能な限り近似した を推定したいとする。可能な限りの意味として、ここでは二乗誤差 を訓練データだけでなく、全てのデータにおいて最小化したいとする。ここで はノイズ を含んでいるので、原理上、完璧に推定することは不可能である。
訓練データから を推定する教師あり学習のアルゴリズムは無数にあるが、どのアルゴリズムであっても、二乗誤差の期待値は以下のように分解できる。
二乗誤差のバイアス-バリアンス分解は以下のように導出できる[4][5]。 および と簡略に表記する。分散の定義より、
これを式変形すると下記になる。
f は決定論的なので、
と より
より
と は独立なので、以下のように式変形できる。
次元削減や特徴選択はモデルを簡単にすることによりバリアンスを減らせる。訓練データを増やすこともバリアンスを減らせる。特徴量を追加することはバイアスを減らす傾向にあるが、バリアンスの追加が犠牲となる。
学習アルゴリズムはバイアスとバリアンスのバランスを調整するパラメータがあることが多い。以下はその例。
バイアス-バリアンスのトレードオフを解決する1つの方法は、混合モデルとアンサンブル学習である[9][10]。例えば、ブースティングでは複数の弱学習器（バイアスが大きい）を組み合わせることでバイアスを下げることができ、バギングでは強学習器を組み合わせることでバリアンスを減らせる。
バイアス-バリアンスのジレンマは機械学習の文脈で広く議論されているが、人間の認知の文脈でも検討されていて、Gerd Gigerenzer 等による学習ヒューリスティクスの研究がある。経験がまばらであまり特徴付けられていない状況で、高バイアス低バリアンスのヒューリスティクスにて、このジレンマを解決して、人間の脳は学習していると主張している。バイアスが小さすぎる学習手法は、新しい状況への汎化能力が乏しく、世界の真の状態を不適切に推定する、という事実を反映している。これらのヒューリスティクスは相対的に簡単であるが、多くの状況に対してより良い推定をもたらす。[1]
Stuart Geman 等は[7]、一般物体認識をゼロから学習することは不可能であり、ある種の"固い配線"があり、それを経験により調整する形が必要であるということを、バイアス-バリアンスのジレンマは意味していると主張している。なぜなら、高バリアンスを避けるために、自由すぎるモデルは非現実的なほどの大量の訓練データを必要とするからである。
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
![{\displaystyle \operatorname {E} {\Big [}{\big (}y-{\hat {f}}(x){\big )}^{2}{\Big ]}={\Big (}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}{\Big )}^{2}+\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}+\sigma ^{2}}](http://wikimedia.org/api/rest_v1/media/math/render/svg/1ed49c2d01b2d8caf814d76c26fb4dc25eb9ad7f)
![{\displaystyle \operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} {\big [}{\hat {f}}(x){\big ]}-f(x)}](http://wikimedia.org/api/rest_v1/media/math/render/svg/f144c0051f87e26c173ff1d5ffc59b6be7b2aed8)
![{\displaystyle \operatorname {Var} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} [{\hat {f}}(x)^{2}]-\operatorname {E} [{\hat {f}}(x)]^{2}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/188af36d2886e32d056d97c6c8aa9f927993eb2e)
![{\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-{\Big (}\operatorname {E} [X]{\Big )}^{2}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/d297a102ff965a2b1f0c5cf7fd46d3fc2ae639d8)
![{\displaystyle \operatorname {E} [X^{2}]=\operatorname {Var} [X]+{\Big (}\operatorname {E} [X]{\Big )}^{2}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/3cc35b8c4a5bfb7ac920b37b441b02732006cee0)
![{\displaystyle \operatorname {E} [f]=f.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/e4cc9a0668ccec054ec20f2d518495ea0aa46e61)
![{\displaystyle \operatorname {E} [\varepsilon ]=0}](http://wikimedia.org/api/rest_v1/media/math/render/svg/a9494698413723204253e82aaff8b02684a64ed6)
![{\displaystyle \operatorname {E} [y]=\operatorname {E} [f+\varepsilon ]=\operatorname {E} [f]=f.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/fd5be0da3a9300d8822afa6080b3d404cf33bb18)
![{\displaystyle \operatorname {Var} [\varepsilon ]=\sigma ^{2}}](http://wikimedia.org/api/rest_v1/media/math/render/svg/64834b10023bb4c6e3218b83e95113470b67267f)
![{\displaystyle \operatorname {Var} [y]=\operatorname {E} [(y-\operatorname {E} [y])^{2}]=\operatorname {E} [(y-f)^{2}]=\operatorname {E} [(f+\varepsilon -f)^{2}]=\operatorname {E} [\varepsilon ^{2}]=\operatorname {Var} [\varepsilon ]+{\Big (}\operatorname {E} [\varepsilon ]{\Big )}^{2}=\sigma ^{2}}](http://wikimedia.org/api/rest_v1/media/math/render/svg/111d4e2a1f0cd14a12813f36439000529b94b52d)
![{\displaystyle {\begin{aligned}\operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}})^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}}+\operatorname {E} [{\hat {f}}]-\operatorname {E} [{\hat {f}}])^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])^{2}{\big ]}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])\varepsilon {\big ]}+2\operatorname {E} {\big [}\varepsilon (\operatorname {E} [{\hat {f}}]-{\hat {f}}){\big ]}+2\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})(f-\operatorname {E} [{\hat {f}}]){\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2(f-\operatorname {E} [{\hat {f}}])\operatorname {E} [\varepsilon ]+2\operatorname {E} [\varepsilon ]\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}+2\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}(f-\operatorname {E} [{\hat {f}}])\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\end{aligned}}}](http://wikimedia.org/api/rest_v1/media/math/render/svg/8c9708ee63cacf05f3bdbba9170fd8c687eecd03)
