在統計學 中，簡單線性迴歸 是指僅具有單一的自變量 的線性迴歸 [ 1] [ 2] [ 3] [ 4] [ 5] 截距 與斜率 以推論應變量 在特定自變量為條件下的均值 。
奧肯法則 在宏觀經濟學 是簡單線性迴歸的實例。圖中應變量 （經濟增長率）被推論為與自變量 （失業率變動）存在負向的線性關係。普通最小平方法 是常見用於尋求簡單線性迴歸式的方法，目的是得到能使殘差平方和 最小的迴歸式。其它方法，諸如最小絕對偏差 泰爾－森估算 （所有樣本點兩兩配對的斜率中位數做為整體斜率）等，亦可應用於簡單線性迴歸的命題。戴明迴歸
以最小平方法處理簡單線性迴歸，則求得的斜率β x y 皮爾森積動差相關系數 與二者的標準偏差 比值的乘積，
β
^
=
r
x
,
y
s
y
s
x
{\displaystyle {\hat {\beta }}=r_{x,y}{\frac {s_{y}}{s_{x}}}}
而再考慮截距α (x y
以下皆以普通最小平方法求解簡單線性迴歸式。考慮以下的數學模型 函數
y
=
α
+
β
x
{\displaystyle y=\alpha +\beta x}
是一條斜率 為β y軸截距 為α 誤差 εi
y
i
=
α
+
β
x
i
+
ε
i
,
i
=
1
,
…
,
n
{\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i},i=1,\ldots ,n}
以表示第
i
{\displaystyle i}
計算迴歸式的目標是根據資料計算估計值
α
^
{\displaystyle {\hat {\alpha }}}
β
^
{\displaystyle {\hat {\beta }}}
α β 最小平方法 進行計算，「最佳」係指能使殘差平方和
ε
^
i
=
y
i
−
α
−
β
x
i
{\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}}
Q
Q
(
α
,
β
)
=
∑
i
=
1
n
ε
^
i
2
=
∑
i
=
1
n
(
y
i
−
α
−
β
x
i
)
2
{\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}}
此解為
α
^
{\displaystyle {\hat {\alpha }}}
β
^
{\displaystyle {\hat {\beta }}}
[ 6]
α
^
=
y
¯
−
(
β
^
x
¯
)
,
β
^
=
∑
i
=
1
n
(
x
i
−
x
¯
)
(
y
i
−
y
¯
)
∑
i
=
1
n
(
x
i
−
x
¯
)
2
=
s
x
,
y
s
x
2
=
r
x
y
s
y
s
x
{\textstyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-({\hat {\beta }}\,{\bar {x}}),\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\&={\frac {s_{x,y}}{s_{x}^{2}}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}}\end{aligned}}}
其中
x
¯
{\displaystyle {\bar {x}}}
y
¯
{\displaystyle {\bar {y}}}
x i y i 計數平均數 ，r xy x y 皮爾森積動差相關系數 ，s x sy x y 樣本標準偏差 ，
s
x
2
{\displaystyle s_{x}^{2}}
s
x
,
y
{\displaystyle s_{x,y}}
x 樣本方差 及x y 樣本協方差 。將
α
^
{\displaystyle {\hat {\alpha }}}
β
^
{\displaystyle {\hat {\beta }}}
y
^
=
α
^
+
β
^
x
{\displaystyle {\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x}
可得
y
^
−
y
¯
s
y
=
r
x
y
x
−
x
¯
s
x
{\displaystyle {\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}
此式呈現了r xy 標準化 後的迴歸斜率。由於r xy -1 1 趨中迴歸
以
x
y
¯
{\displaystyle {\overline {xy}}}
x y
x
y
¯
=
1
n
∑
i
=
1
n
x
i
y
i
{\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}}
可使r xy
r
x
y
=
x
y
¯
−
x
¯
y
¯
(
x
2
¯
−
x
¯
2
)
(
y
2
¯
−
y
¯
2
)
{\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}}
簡單線性迴歸的判定系數 即為二變量間皮爾森積動差相關系數 的平方：
R
2
=
r
x
y
2
{\displaystyle R^{2}=r_{xy}^{2}}
Kenney, J. F. and Keeping, E. S. (1962) "Linear Regression and Correlation." Ch. 15 in Mathematics of Statistics , Pt. 1, 3rd ed. Princeton, NJ: Van Nostrand, pp. 252–285
