在统计学 中,一个概率样本 的置信区间 (英語:confidence interval ,CI ),是对产生这个样本的总体 的参数分布 (parametric distribution )中的某一个未知母數 值,以区间 形式给出的估计。相对于点估计 (point estimation )用一个 样本统计量 来估计 参数值,置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合 (confidence set )概念是置信区间在多维分析的推广[ 1] 。
置信区间在频率学派中间使用,其在贝叶斯统计 中的对应概念是可信区间 (credible interval )。两者建立在不同的概念基础上的,贝叶斯统计将分布的位置参数视为随机变量 ,并对给定观测到的数据之后未知参数的后验分布进行描述,故无论对随机样本还是已观测数据,构造出来的可信区间,其可信水平都是 一个合法的概率[ 2] ;而置信区间的置信水平,只在考虑随机样本时可以被理解为一个概率。
定义置信区间最清晰的方式是从一个随机样本 出发。考虑一个一维随机变量
X
{\displaystyle {\cal {X}}}
服从分布
F
{\displaystyle {\cal {F}}}
,又假设
θ
{\displaystyle \theta }
是
F
{\displaystyle {\cal {F}}}
的参数之一。假设我们的数据采集计划将要独立地抽样
n
{\displaystyle n}
次,得到一个随机样本
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
,注意这里所有的
X
i
{\displaystyle X_{i}}
都是随机的,我们是在讨论一个尚未被观测的数据集。如果存在统计量 (统计量定义为样本
X
=
{
X
1
,
…
,
X
n
}
{\displaystyle X=\{X_{1},\ldots ,X_{n}\}}
的一个函数,且不得依赖于任何未知参数)
u
(
X
1
,
…
,
X
n
)
,
v
(
X
1
,
…
,
X
n
)
{\displaystyle u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})}
满足
u
(
X
1
,
…
,
X
n
)
<
v
(
X
1
,
…
,
X
n
)
{\displaystyle u(X_{1},\ldots ,X_{n})<v(X_{1},\ldots ,X_{n})}
使得:
P
(
θ
∈
(
u
(
X
1
,
…
,
X
n
)
,
v
(
X
1
,
…
,
X
n
)
)
)
=
1
−
α
{\displaystyle \mathbb {P} \left(\theta \in \left(u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})\right)\right)=1-\alpha }
则称
(
u
(
X
1
,
…
,
X
n
)
,
v
(
X
1
,
…
,
X
n
)
)
{\displaystyle \left(u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})\right)}
为一个用于估计参数
θ
{\displaystyle \theta }
的
1
−
α
{\displaystyle 1-\alpha }
置信区间,其中的,
1
−
α
{\displaystyle 1-\alpha }
称为置信水平 ,
α
{\displaystyle \alpha }
在假设检验 中也称为显著性水平 。
接续随机样本版本的定义,现在,对于随机变量
X
{\displaystyle {\cal {X}}}
的一个已经观测到的样本
{
x
1
,
…
,
x
n
}
{\displaystyle \{x_{1},\ldots ,x_{n}\}}
,注意这里用小写x表记的
x
i
{\displaystyle x_{i}}
都是已经观测到的数字,没有随机性了,定义基于数据的
1
−
α
{\displaystyle 1-\alpha }
置信区间为:
(
u
(
x
1
,
…
,
x
n
)
,
v
(
x
1
,
…
,
x
n
)
)
{\displaystyle \left(u(x_{1},\ldots ,x_{n}),v(x_{1},\ldots ,x_{n})\right)}
注意,置信区间可以是单尾或者双尾的,单尾的置信区间中设定
u
=
−
∞
{\displaystyle u=-\infty }
或者
v
=
+
∞
{\displaystyle v=+\infty }
,具体前者还是后者取决于所构造的置信区间的方向。
初学者常犯一个概念性错误,是将基于观测到的数据所同样构造的置信区间的置信水平,误认为是它包含真实未知参数的真实值的概率。正确的理解是:置信水平只有在描述这个同样构造置信区间的过程 (或称方法 )的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间,其两个端点已经不再具有随机性,因此,类似的构造的间隔将会包含真正的值的比例在所有值中,其包含未知参数的真实值的概率是0或者1 ,但我们不能知道 是前者还是后者[ 3] 。
1
−
α
{\displaystyle 1-\alpha }
水平的双尾 正态置信区间为:
(
x
¯
±
t
n
−
1
;
α
/
2
s
n
)
{\displaystyle \left({\bar {x}}\pm t_{n-1;\alpha /2}{\frac {s}{\sqrt {n}}}\right)}
從常態分佈產生的50個樣本中得出的50個信賴區間
信賴區間及信心水準常被誤解,出版的研究也顯示出既使是專業的科學家也常做出錯誤的詮釋。[ 4] [ 5] [ 6] [ 7] [ 8] [ 9]
以95%的信賴區間來說,建構出一個信賴區間,不代表分佈的參數有95%的機率會落在該信賴區間內(也就是說該區間有95%的機率涵蓋了分佈參數)。 [ 10] 依照嚴格的頻率學派詮釋,一旦信賴區間被建構完全,此區間不是涵蓋了參數就是沒涵蓋參數,已經沒有機率可言。95%機率指的是建構信賴區間步驟的可靠性,不是針對一個特定的區間。[ 11] 內曼 本人(信賴區間的原始提倡者)在他的原始論文提出此點:[ 12] 「在上面的敘述中可以注意到,機率是指統計學家在未來關心的估計問題。事實上,我已多次說明,正確結果的頻率會趨向於α 。考慮到一個樣本已被抽取,[特定端點]也已被計算完成。我們能說在這個特定的例子裡真值[落到端點中]的機率等於α 嗎?答案明顯是否定的。參數是未知的常數,無法做出對其值的機率敘述……」
Deborah Mayo針對此點進一步說道:[ 13] 「無論如何必須強調,在看到[資料的]數值後,Neyman–Pearson理論從不允許做出以下結論,特定產生的信賴區間涵蓋了真值的機率或信心為(1 − α )100%。Seidenfeld的評論似乎源於一種(並非不尋常的)期望,Neyman–Pearson信賴區間能提供他們無法合理提供的,也就是未知參數落入特定區間的機率大小、信心高低或支持程度的測度。隨著Savage (1962)之後,參數落入特定區間的機率可能是指最終精密度的測度。最終精密度的測度令人嚮往而且信賴區間又常被(錯誤地)解釋成可提供此測度,然而此解釋是不被保證的。無可否認的,『信賴』二字助長了此誤解。」
95%信賴區間不代表有95%的樣本資料落在此信賴區間。
信賴區間不是樣本參數的可能值的確定範圍,雖然它常被啟發為可能值的範圍。
從一個實驗中算出的一個95%信賴區間,不代表從不同實驗得到的樣本參數有95%落在該區間中 [ 8]
一般来说,置信区间的构造需要先找到一个枢轴变量 (pivotal quantity ,或称pivot ),其表达式依赖于样本以及待估计的未知参数(但不能 依赖于总体的其它未知参数),其分布不依赖于 任何未知参数。
下面以上述例2为例,说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本
X
1
,
…
,
X
n
{\displaystyle {X_{1},\ldots ,X_{n}}}
,可以证明(此证明对初学者并不容易)如下统计量互相独立 :
X
¯
=
1
n
∑
i
=
1
n
X
i
{\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}
和
S
2
=
∑
i
=
1
n
(
X
i
−
X
¯
)
2
n
−
1
{\displaystyle S^{2}={\frac {\sum _{i=1}^{n}\left(X_{i}-{\bar {X}}\right)^{2}}{n-1}}}
它们的分布是:
X
¯
−
μ
σ
/
n
∼
N
(
0
,
1
)
{\displaystyle {\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}\sim N(0,1)}
和
(
n
−
1
)
S
2
σ
2
∼
χ
n
−
1
2
{\displaystyle (n-1){\frac {S^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}}
所以根据t分布 的定义,有
t
=
X
¯
−
μ
S
/
n
∼
t
n
−
1
{\displaystyle t={\frac {{\bar {X}}-\mu }{S/{\sqrt {n}}}}\sim t_{n-1}}
于是反解如下等式左边括号中的不等式
P
(
−
t
n
−
1
;
α
/
2
<
t
=
X
¯
−
μ
S
n
<
t
n
−
1
;
α
/
2
)
=
1
−
α
{\displaystyle \mathbb {P} \left(-t_{n-1;\alpha /2}<t={\frac {{\bar {X}}-\mu }{S{\sqrt {n}}}}<t_{n-1;\alpha /2}\right)=1-\alpha }
就得到了例2中双尾置信区间的表达式。
Brittany Terese Fasy; Fabrizio Lecci; Alessandro Rinaldo; Larry Wasserman; Sivaraman Balakrishnan; Aarti Singh. Confidence sets for persistence diagrams. The Annals of Statistics. 2014, 42 (6): 2301–2339.
Box, George EP; Tiao, George C. Bayesian inference in statistical analysis. John Wiley & Sons. 2011.
Hoekstra, R., R. D. Morey, J. N. Rouder, and E-J. Wagenmakers, 2014. Robust misinterpretation of confidence intervals. Psychonomic Bulletin Review, in press. [1] (页面存档备份 ,存于互联网档案馆 )
Greenland, Sander; Senn, Stephen J.; Rothman, Kenneth J.; Carlin, John B.; Poole, Charles; Goodman, Steven N.; Altman, Douglas G. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations . European Journal of Epidemiology. April 2016, 31 (4): 337–350. ISSN 0393-2990 . PMC 4877414 . PMID 27209009 . doi:10.1007/s10654-016-0149-3 .
羅納德·費雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)
弗罗因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)
伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge
齐平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.
杰克·基弗 (1977) "Conditional Confidence Statements and Confidence Estimators (with discussion)" Journal of the American Statistical Association, 72, 789–827.
泽西·内曼 (1937) "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)
G.K.罗宾逊 (1975) "Some Counterexamples to the Theory of Confidence Intervals." Biometrika, 62, 155–161.