線性迴歸

在統計學中，線性迴歸（英語：linear regression）是利用稱為線性迴歸方程式的最小平方函數對一個或多個自變數和應變數之間關係進行建模的一種迴歸分析。這種函數是一個或多個稱為迴歸係數的模型參數的線性組合。只有一個自變數的情況稱為簡單迴歸，大於一個自變數情況的叫做多元迴歸（multivariable linear regression）。^[1]

在線性迴歸中，數據使用線性預測函數來建模，並且未知的模型參數也是通過數據來估計。這些模型被叫做線性模型。^[2]最常用的線性迴歸建模是給定X值的y的條件均值是X的仿射函數。不太一般的情況，線性迴歸模型可以是一個中位數或一些其他的給定X的條件下y的條件分布的分位數作為X的線性函數表示。像所有形式的迴歸分析一樣，線性迴歸也把焦點放在給定X值的y的條件機率分布，而不是X和y的聯合機率分布（多元分析領域）。

線性迴歸是迴歸分析中第一種經過嚴格研究並在實際應用中廣泛使用的類型。^[3]這是因為線性依賴於其未知參數的模型比非線性依賴於其未知參數的模型更容易擬合，而且產生的估計的統計特性也更容易確定。

線性迴歸有很多實際用途。分為以下兩大類：

1. 如果目標是預測或者映射，線性迴歸可以用來對觀測數據集的和X的值擬合出一個預測模型。當完成這樣一個模型以後，對於一個新增的X值，在沒有給定與它相配對的y的情況下，可以用這個擬合過的模型預測出一個y值。
2. 給定一個變量y和一些變量${\displaystyle X_{1}}$,...,${\displaystyle X_{p}}$，這些變量有可能與y相關，線性迴歸分析可以用來量化y與Xj之間相關性的強度，評估出與y不相關的${\displaystyle X_{j}}$，並識別出哪些${\displaystyle X_{j}}$的子集包含了關於y的冗餘資訊。

線性迴歸模型經常用最小平方逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化「擬合缺陷」在一些其他規範里（比如最小絕對誤差迴歸），或者在橋迴歸中最小化最小平方損失函數的懲罰。相反，最小平方逼近可以用來擬合那些非線性的模型。因此，儘管「最小平方法」和「線性模型」是緊密相連的，但他們是不能劃等號的。

線性迴歸的「迴歸」指的是迴歸到平均值（英語：regression toward the mean）。

簡介

帶有一個自變數的線性迴歸

理論模型

給一個隨機樣本${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$，一個線性迴歸模型假設迴歸子${\displaystyle Y_{i}}$和迴歸量${\displaystyle X_{i1},\ldots ,X_{ip}}$之間的關係是除了X的影響以外，還有其他的變數存在。我們加入一個誤差項${\displaystyle \varepsilon _{i}}$（也是一個隨機變量）來捕獲除了${\displaystyle X_{i1},\ldots ,X_{ip}}$之外任何對${\displaystyle Y_{i}}$的影響。所以一個多變量線性迴歸模型表示為以下的形式：

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\varepsilon _{i},\qquad i=1,\ldots ,n}$

其他的模型可能被認定成非線性模型。一個線性迴歸模型不需要是自變數的線性函數。線性在這裡表示${\displaystyle Y_{i}}$的條件均值在參數${\displaystyle \beta }$裡是線性的。例如：模型${\displaystyle Y_{i}=\beta _{1}X_{i}+\beta _{2}X_{i}^{2}+\varepsilon _{i}}$在${\displaystyle \beta _{1}}$和${\displaystyle \beta _{2}}$裡是線性的，但在${\displaystyle X_{i}^{2}}$裡是非線性的，它是${\displaystyle X_{i}}$的非線性函數。

數據和估計

區分隨機變量和這些變量的觀察值是很重要的。通常來說，觀察值或數據（以小寫字母表記）包括了n個值 ${\displaystyle (y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n}$.

我們有${\displaystyle p+1}$個參數${\displaystyle \beta _{0},\ldots ,\beta _{p}}$需要決定，為了估計這些參數，使用矩陣表記是很有用的。

${\displaystyle Y=X\beta +\varepsilon \,}$

其中Y是一個包括了觀察值${\displaystyle Y_{1},\ldots ,Y_{n}}$的列向量，${\displaystyle \varepsilon }$包括了未觀測的隨機成份${\displaystyle \varepsilon _{1},\ldots ,\varepsilon _{n}}$以及迴歸量的觀察值矩陣${\displaystyle X}$：

${\displaystyle X={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{pmatrix}}}$

X通常包括一個常數項。

如果X列之間存在線性相依，那麽參數向量${\displaystyle \beta }$就不能以最小平方法估計除非${\displaystyle \beta }$被限制，比如要求它的一些元素之和為0。

古典假設

• 樣本是在母體之中隨機抽取出來的。
• 因變量Y在實直線上是連續的，
• 殘差項是獨立且相同分布的(iid)，也就是說，殘差是獨立隨機的，且服從高斯分布。

這些假設意味著殘差項不依賴自變數的值，所以${\displaystyle \varepsilon _{i}}$和自變數X（預測變量）之間是相互獨立的。

在這些假設下，建立一個顯式線性迴歸作為條件預期模型的簡單線性迴歸，可以表示為：

${\displaystyle {\mbox{E}}(Y_{i}\mid X_{i}=x_{i})=\alpha +\beta x_{i}\,}$

最小平方法分析

主條目：最小平方法

最小平方法估計

迴歸分析的最初目的是估計模型的參數以便達到對數據的最佳擬合。在決定一個最佳擬合的不同標準之中，最小平方法是非常優越的。這種估計可以表示為：

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y\,}$

迴歸推論

對於每一個${\displaystyle i=1,\ldots ,n}$，我們用${\displaystyle \sigma ^{2}}$代表誤差項${\displaystyle \varepsilon }$的變異數。一個不偏誤的估計是：

${\displaystyle {\hat {\sigma }}^{2}={\frac {S}{n-p}},}$

其中${\displaystyle S:=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}$是誤差平方和（殘差平方和）。估計值和實際值之間的關係是：

${\displaystyle {\hat {\sigma }}^{2}\cdot {\frac {n-p}{\sigma ^{2}}}\sim \chi _{n-p}^{2}}$

其中${\displaystyle \chi _{n-p}^{2}}$服從卡方分布，自由度是${\displaystyle n-p}$

對普通方程式的解可以寫為：

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X^{T}X)^{-1}X^{T}y} .}$

這表示估計項是因變量的線性組合。進一步地說，如果所觀察的誤差服從常態分布。參數的估計值將服從聯合常態分布。在當前的假設之下，估計的參數向量是精確分布的。

${\displaystyle {\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X^{T}X)^{-1})}$

其中${\displaystyle N(\cdot )}$表示多變量常態分布。

參數估計值的標準差是：

${\displaystyle {\hat {\sigma }}_{j}={\sqrt {{\frac {S}{n-p}}\left[\mathbf {(X^{T}X)} ^{-1}\right]_{jj}}}.}$

參數${\displaystyle \beta _{j}}$的${\displaystyle 100(1-\alpha )\%}$信賴區間可以用以下式子來計算：

${\displaystyle {\hat {\beta }}_{j}\pm t_{{\frac {\alpha }{2}},n-p}{\hat {\sigma }}_{j}.}$

誤差項可以表示為：

${\displaystyle \mathbf {{\hat {r}}=y-X{\hat {\boldsymbol {\beta }}}=y-X(X^{T}X)^{-1}X^{T}y} .\,}$

單變量線性迴歸

單變量線性迴歸，又稱簡單線性迴歸（simple linear regression, SLR），是最簡單但用途很廣的迴歸模型。其迴歸式為：

${\displaystyle Y=\alpha +\beta X+\varepsilon }$

為了從一組樣本${\displaystyle (y_{i},x_{i})}$（其中${\displaystyle i=1,\ 2,\ldots ,n}$）之中估計最合適（誤差最小）的${\displaystyle \alpha }$和${\displaystyle \beta }$，通常採用最小平方法，其計算目標為最小化殘差平方和：

${\displaystyle \sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}}$

使用微分法求極值：將上式分別對${\displaystyle \alpha }$和${\displaystyle \beta }$做一階偏微分，並令其等於0：

${\displaystyle \left\{{\begin{array}{lcl}n\ \alpha +\sum \limits _{i=1}^{n}x_{i}\ \beta =\sum \limits _{i=1}^{n}y_{i}\\\sum \limits _{i=1}^{n}x_{i}\ \alpha +\sum \limits _{i=1}^{n}x_{i}^{2}\ \beta =\sum \limits _{i=1}^{n}x_{i}y_{i}\end{array}}\right.}$

此二元一次線性方程組可用克萊姆法則求解，得解${\displaystyle {\hat {\alpha }},\ {\hat {\beta }}}$：

${\displaystyle {\hat {\beta }}={\frac {n\sum \limits _{i=1}^{n}x_{i}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {{\text{cov}}(X,Y)}{{\text{var}}(X)}}\,}$

${\displaystyle {\hat {\alpha }}={\frac {\sum \limits _{i=1}^{n}x_{i}^{2}\sum \limits _{i=1}^{n}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}x_{i}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}={\bar {y}}-{\bar {x}}{\hat {\beta }}}$

${\displaystyle S=\sum \limits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}=\sum \limits _{i=1}^{n}y_{i}^{2}-{\frac {n(\sum \limits _{i=1}^{n}x_{i}y_{i})^{2}+(\sum \limits _{i=1}^{n}y_{i})^{2}\sum \limits _{i=1}^{n}x_{i}^{2}-2\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}y_{i}\sum \limits _{i=1}^{n}x_{i}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}}$

${\displaystyle {\hat {\sigma }}^{2}={\frac {S}{n-2}}.}$

共變異數矩陣是：

${\displaystyle {\frac {1}{n\sum _{i=1}^{n}x_{i}^{2}-\left(\sum _{i=1}^{n}x_{i}\right)^{2}}}{\begin{pmatrix}\sum x_{i}^{2}&-\sum x_{i}\\-\sum x_{i}&n\end{pmatrix}}}$

平均響應信賴區間為：

${\displaystyle y_{d}=(\alpha +{\hat {\beta }}x_{d})\pm t_{{\frac {\alpha }{2}},n-2}{\hat {\sigma }}{\sqrt {{\frac {1}{n}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}}$

預報響應信賴區間為：

${\displaystyle y_{d}=(\alpha +{\hat {\beta }}x_{d})\pm t_{{\frac {\alpha }{2}},n-2}{\hat {\sigma }}{\sqrt {1+{\frac {1}{n}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}}$

變異數分析

在變異數分析（ANOVA）中，總平方和分解為兩個或更多部分。

總平方和SST (sum of squares for total) 是：

${\displaystyle {\text{SST}}=\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}$　，其中：　${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i}y_{i}}$

同等地：

${\displaystyle {\text{SST}}=\sum _{i=1}^{n}y_{i}^{2}-{\frac {1}{n}}\left(\sum _{i}y_{i}\right)^{2}}$

迴歸平方和SSReg (sum of squares for regression。也可寫做模型平方和，SSM，sum of squares for model) 是：

${\displaystyle {\text{SSReg}}=\sum \left({\hat {y}}_{i}-{\bar {y}}\right)^{2}={\hat {\boldsymbol {\beta }}}^{T}\mathbf {X} ^{T}\mathbf {y} -{\frac {1}{n}}\left(\mathbf {y^{T}uu^{T}y} \right),}$

殘差平方和SSE (sum of squares for error) 是：

${\displaystyle {\text{SSE}}=\sum _{i}{\left({y_{i}-{\hat {y}}_{i}}\right)^{2}}=\mathbf {y^{T}y-{\hat {\boldsymbol {\beta }}}^{T}X^{T}y} .}$

總平方和SST又可寫做SSReg和SSE的和：

${\displaystyle {\text{SST}}=\sum _{i}\left(y_{i}-{\bar {y}}\right)^{2}=\mathbf {y^{T}y} -{\frac {1}{n}}\left(\mathbf {y^{T}uu^{T}y} \right)={\text{SSReg}}+{\text{SSE}}.}$

迴歸係數R²是：

${\displaystyle R^{2}={\frac {\text{SSReg}}{\text{SST}}}=1-{\frac {\text{SSE}}{\text{SST}}}.}$

其他方法

廣義最小平方法

廣義最小平方法可以用在當觀測誤差具有異質變異數或者自我相關的情況下。

母體最小平方法

母體最小平方法用於當自變數有誤時。

廣義線性模式

廣義線性模式應用在當誤差分布函數不是常態分布時。比如指數分布，伽瑪分布，逆高斯分布，卜瓦松分布，二項式分布等。

穩健迴歸

將平均絕對誤差最小化，不同於在線性迴歸中是將均方誤差最小化。

線性迴歸的應用

趨勢線

一條趨勢線代表著時間序列數據的長期走勢。它告訴我們一組特定數據（如GDP、石油價格和股票價格）是否在一段時期內增長或下降。雖然我們可以用肉眼觀察數據點在坐標系的位置大體畫出趨勢線，更恰當的方法是利用線性迴歸計算出趨勢線的位置和斜率。

流行病學

有關吸菸對死亡率和發病率影響的早期證據來自採用了迴歸分析的觀察性研究。為了在分析觀測數據時減少偽相關，除最感興趣的變量之外,通常研究人員還會在他們的迴歸模型里包括一些額外變量。例如，假設有一個迴歸模型，在這個迴歸模型中吸菸行為是我們最感興趣的獨立變量，其相關變量是經數年觀察得到的吸菸者壽命。研究人員可能將社會經濟地位當成一個額外的獨立變量，已確保任何經觀察所得的吸菸對壽命的影響不是由於教育或收入差異引起的。然而，我們不可能把所有可能混淆結果的變量都加入到實證分析中。例如，某種不存在的基因可能會增加人死亡的機率，還會讓人的吸菸量增加。因此，比起採用觀察數據的迴歸分析得出的結論，隨機對照試驗常能產生更令人信服的因果關係證據。當可控實驗不可行時，迴歸分析的衍生，如工具變量迴歸，可嘗試用來估計觀測數據的因果關係。

金融

資本資產定價模型利用線性迴歸以及Beta係數的概念分析和計算投資的系統風險。這是從聯繫投資回報和所有風險性資產回報的模型Beta係數直接得出的。

經濟學

線性迴歸是經濟學的主要實證工具。例如，它是用來預測消費支出，^[4]固定投資支出，存貨投資，一國出口產品的購買，^[5]進口支出，^[5]要求持有流動性資產，^[6]勞動力需求、^[7]勞動力供給。^[7]

參考文獻