生成模型

在概率統計理論中，生成模型是指能夠隨機生成觀測數據的模型，尤其是在給定某些隱含參數的條件下。它給觀測值和標註數據序列指定一個聯合概率分布。在機器學習中，生成模型可以用來直接對數據建模（例如根據某個變量的概率密度函數進行數據採樣），也可以用來建立變量間的條件概率分布。條件概率分布可以由生成模型根據貝葉斯定理形成。

香農（1948）給出了有一個英語雙詞頻率表生成句子的例子。可以生成如「representing and speedily is an good」這種句子。一開始並不能生成正確的英文句子，但隨著詞頻表由雙詞擴大為三詞甚至多詞，生成的句子也就慢慢的成型了。

生成模型的定義與判別模型相對應：生成模型是所有變量的全概率模型，而判別模型是在給定觀測變量值前提下目標變量條件概率模型。因此生成模型能夠用於模擬（即生成）模型中任意變量的分布情況，而判別模型只能根據觀測變量得到目標變量的採樣。判別模型不對觀測變量的分布建模，因此它不能夠表達觀測變量與目標變量之間更複雜的關係。因此，生成模型更適用於無監督的任務，如分類和聚類。

典型的生成模型包括：

• 高斯混合模型和其他混合模型
• 隱馬爾可夫模型
• 隨機上下文無關文法
• 樸素貝葉斯分類器
• AODE分類器
• 潛在狄利克雷分配模型
• 受限玻爾茲曼機

如果觀測數據是由生成模型中採樣的，那麼最大化數據似然概率是一個常見的方法。但是，大部分統計模型只是近似於真實分布，如果任務的目標是在已知一部分變量的值的條件下，對另一部分變量的推斷，那麼可以認為這種模型近似造成了一些對於當前任務來說不必要的假設。在這種情況下，使用判別模型對條件概率函數建模可能更準確，儘管具體的應用細節會最終決定哪種方法更為適用。

參見

• 判別模型
• 生成式人工智慧