吉布斯採樣

吉布斯採樣（英語：Gibbs sampling）是統計學中用於馬爾科夫蒙特卡洛（MCMC）的一種算法，用於在難以直接採樣時從某一多變量概率分布中近似抽取樣本序列。該序列可用於近似聯合分布、部分變量的邊緣分布或計算積分（如某一變量的期望值）。某些變量可能為已知變量，故對這些變量並不需要採樣。

吉布斯採樣常用於統計推斷（尤其是貝葉斯推斷）之中。這是一種隨機化算法，與最大期望算法等統計推斷中的確定性算法相區別。與其他MCMC算法一樣，吉布斯採樣從馬爾科夫鏈中抽取樣本，可以看作是Metropolis–Hastings算法的特例。

該算法的名稱源於約西亞·威拉德·吉布斯，由斯圖爾特·傑曼（英語：Stuart Geman）與唐納德·傑曼（英語：Donald Geman）兄弟於1984年提出。^[1]

演算法

吉布斯採樣適用於條件分布比邊緣分布更容易採樣的多變量分布。假設我們需要從聯合分布 ${\displaystyle p(x_{1},\dots ,x_{n})}$中抽取${\displaystyle \mathbf {X} =(x_{1},\dots ,x_{n})}$的${\displaystyle \left.k\right.}$個樣本。記第${\displaystyle i}$個樣本為${\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}$。吉布斯採樣的過程則為：

1. 確定初始值${\displaystyle \mathbf {X} ^{(1)}}$。
2. 假設已得到樣本${\displaystyle \mathbf {X} ^{(i)}}$，記下一個樣本為${\displaystyle \mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)}$。於是可將其看作一個向量，對其中某一分量${\displaystyle x_{j}^{(i+1)}}$，可通過在其他分量已知的條件下該分量的概率分布來抽取該分量。對於此條件概率，我們使用樣本${\displaystyle \mathbf {X} ^{(i+1)}}$中已得到的分量${\displaystyle x_{1}^{(i+1)}}$到${\displaystyle x_{j-1}^{(i+1)}}$以及上一樣本${\displaystyle \mathbf {X} ^{(i)}}$中的分量${\displaystyle x_{j+1}^{(i)}}$到${\displaystyle x_{n}^{(i)}}$，即${\displaystyle p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)}$。
3. 重複上述過程${\displaystyle k}$次。

在採樣完成後，我們可以用這些樣本來近似所有變量的聯合分布。如果僅考慮其中部分變量，則可以得到這些變量的邊緣分布。此外，我們還可以對所有樣本求某一變量的平均值來估計該變量的期望。

參見

• 圖模式
• 馬爾可夫鏈
• 馬爾可夫邏輯網絡

參考文獻

1. Geman, S.; Geman, D. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1984, 6 (6): 721–741. doi:10.1109/TPAMI.1984.4767596.

• Bishop, Christopher M., Pattern Recognition and Machine Learning, Springer, 2006, ISBN 0-387-31073-8
• Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley ISBN 978-0-470-04609-8
• Casella, G.; George, E. I. Explaining the Gibbs Sampler. The American Statistician. 1992, 46 (3): 167. JSTOR 2685208. doi:10.2307/2685208.
• Gelfand, Alan E.; Smith, Adrian F. M., Sampling-Based Approaches to Calculating Marginal Densities, Journal of the American Statistical Association, 1990, 85 (410): 398–409, JSTOR 2289776, MR 1141740, doi:10.2307/2289776
• Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
• Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
• Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.