基于流的生成模型

基于流的生成模型（英语：flow-based generative model）是机器学习中的一类生成模型，利用归一化流（normalizing flow）显式建模概率分布。^[1][2][3]这是一种使用概率密度变量变换法将简单分布转换为复杂分布的统计方法。

直接建模似然函数具有很多优点。例如，可以直接计算得到负对数似然并将其作为损失函数最小化。此外，通过从初始分布中采样并应用流变换可以生成新的样本。

相比之下，变分自编码器、生成对抗网络等其他生成模型无法显式地表示似然函数。

方法

归一化流图示

考虑随机变量${\displaystyle z_{1}}$和${\displaystyle z_{0}}$，其中${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$。对于${\displaystyle i=1,...,K}$，定义一系列由${\displaystyle z_{0}}$变换得到的随机变量${\displaystyle z_{i}=f_{i}(z_{i-1})}$。其中函数${\displaystyle f_{1},...,f_{K}}$满足可逆性，即存在反函数${\displaystyle f_{i}^{-1}}$。最终输出变量${\displaystyle z_{K}}$用于对目标分布进行建模。

${\displaystyle z_{K}}$的对数似然为（参见下方推导过程）：

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

为了高效计算对数似然，函数${\displaystyle f_{1},...,f_{K}}$应既易于求逆，也易于计算其雅可比矩阵的行列式。在实践中，这些函数通常使用深度神经网络建模，并通过训练以最小化目标分布数据样本的负对数似然。这些架构一般设计为只需神经网络的正向传播即可完成逆运算与雅可比行列式的计算，例如NICE^[4]、RealNVP^[5]、Glow^[6]等。

对数似然的推导

考虑${\displaystyle z_{1}}$与${\displaystyle z_{0}}$，两者之间满足${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$。通过概率密度变量变换公式，${\displaystyle z_{1}}$的分布为：

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

其中${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$是${\displaystyle f_{1}^{-1}}$的雅可比矩阵的行列式。

由反函数定理可以得到

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

使用行列式性质${\displaystyle \det(A^{-1})=\det(A)^{-1}}$（其中${\displaystyle A}$是可逆矩阵），则有：

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

对上式取对数后得到对数似然：

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

对于任意${\displaystyle z_{i}}$和${\displaystyle z_{i-1}}$都能得到类似结论。最终由递归关系可以得到：

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

训练方法

与训练其他一些深度学习模型类似，归一化流的目标是最小化模型的似然分布与目标分布之间的KL散度。将模型的似然分布记为${\displaystyle p_{\theta }}$，要学习的目标分布记为${\displaystyle p^{*}}$，则（正向）KL散度为：

${\displaystyle D_{KL}[p^{*}(x)||p_{\theta }(x)]=-\mathbb {E} _{p^{*}(x)}[\log(p_{\theta }(x))]+\mathbb {E} _{p^{*}(x)}[\log(p^{*}(x))]}$

上式右边第二项表示目标分布的熵，与模型参数${\displaystyle \theta }$无关，因此在优化时可以忽略，留下需要最小化的项是目标分布下的负对数似然的期望。由于此项难以直接计算，可以通过重要性采样的蒙特卡洛方法来近似。若已从目标分布${\displaystyle p^{*}(x)}$中独立采样得到的数据集${\displaystyle \{x_{i}\}_{i=1:N}}$从的样本，则该项可近似估计为：

${\displaystyle -{\hat {\mathbb {E} }}_{p^{*}(x)}[\log(p_{\theta }(x))]=-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

因此，可以将学习目标

${\displaystyle {\underset {\theta }{\operatorname {arg\,min} }}\ D_{KL}[p^{*}(x)||p_{\theta }(x)]}$

替换为

${\displaystyle {\underset {\theta }{\operatorname {arg\,max} }}\ \sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

换句话说，最小化KL相度相当于最大化模型在观测样本下的似然。^[7]

训练归一化流的伪代码如下：^[8]

• 输入：数据集${\displaystyle x_{1:n}}$，归一化流模型${\displaystyle f_{\theta }(\cdot ),p_{0}}$
• 求解：通过梯度下降法最化${\displaystyle \max _{\theta }\sum _{j}\ln p_{\theta }(x_{j})}$
• 输出：优化后的参数${\displaystyle {\hat {\theta }}}$

变体

平面流

平面流（planar flow）是最早的归一化流方法。^[9]给定某个激活函数${\displaystyle h}$，以及具有适当维度的参数${\displaystyle \theta =(u,w,b)}$，可以定义$${\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}$$一般而言，逆映射${\displaystyle f_{\theta }^{-1}}$没有解析解。

相应的雅可比行列式为${\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}$ 。

为保证其处处可逆，行列式必须在整个定义域内非零。例如当${\displaystyle h=\tanh }$、${\displaystyle \langle u,w\rangle >-1}$时可以满足可逆性要求。

非线性独立成分估计（NICE）

非线性独立成分估计（nonlinear independent components estimation，简称NICE）假设${\displaystyle x,z\in \mathbb {R} ^{2n}}$是偶数维变量，并将其从中间分成两部分。^[10]此时归一化流的定义为

${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$

其中${\displaystyle m_{\theta }}$是任何带有权重${\displaystyle \theta }$的神经网络。

其逆映射${\displaystyle f_{\theta }^{-1}}$为${\displaystyle z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})}$，雅可比行列式为1，即该归一化流动是体积保持（volume-preserving）的。

当${\displaystyle n=1}$时，这一映身可以视为沿${\displaystyle x_{2}}$方向的一种曲线剪切。

实值非体积保持（Real NVP）

实值非体积保持（real non-volume preserving，简称Real NVP）是NICE模型的一种推广，定义为：^[11]

${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$

其逆映射是${\displaystyle z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))}$，相应的雅可比行列式为${\displaystyle \prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}}$。当${\displaystyle s_{\theta }=0}$时，退化为NICE模型。由于Real NVP映射将向量${\displaystyle x}$的两部分分开处理，通常需要在每一层后添加一个置换操作${\displaystyle (x_{1},x_{2})\mapsto (x_{2},x_{1})}$。

生成流（Glow）

生成流（generative flow，简称Glow）模型^[12]中每层由三个部分组成：

• 通道方向的仿射变换$${\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}$$相应的雅可比行列式为${\displaystyle \prod _{c}s_{c}^{HW}}$ 。
• 可逆1x1卷积$${\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}}$$相应的雅可比行列式为${\displaystyle \det(K)^{HW}}$，其中${\displaystyle K}$是任意可逆矩阵。
• Real NVP部分，其雅可比行列式如前所述。

生成流通过引入可逆1x1卷积，改进了Real NVP中仅仅置换前后两部分的方式，而是对所有层的通道进行总体上的置换。

掩码自回归流（MAF）

掩码自回归流（masked autoregresssive flow，简称MAF）基于自回归模型，其定义了一个分布在${\displaystyle \mathbb {R} ^{n}}$上的随机过程^[13]：

${\displaystyle {\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}}$

其中${\displaystyle \mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R} }$和${\displaystyle \sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )}$是定义自回归模型的固定函数。

使用重参数化技巧（英语：Reparameterization trick），该自回归模型可以被推广为归一化流：

${\displaystyle {\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}}$

令${\displaystyle z\sim N(0,I_{n})}$ 可以重新得到自回归模型。

正向映射由于是顺序性的因而会很慢，但反向映射因为可以并列而会比较很快。

相应的雅可比矩阵是下对角矩阵，其行列式为${\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}$ 。

通过反转${\displaystyle f_{\theta }}$和${\displaystyle f_{\theta }^{-1}}$这两个映射，可以得到逆自回归流 (inverse autoregressive flow，简称IAF)。与MAF相反，IAF的正向映射较快、反向映射较慢。^[14]

连续归一化流（CNF）

除了通过函数组合来构建流的方法，另一种方法是将流表示为连续时间动力学，得到连续归一化流（continuous normalizing flow，简称CNF）。^[15][16]设${\displaystyle z_{0}}$为具有分布${\displaystyle p(z_{0})}$的潜变量，使用以下流函数将此潜变量映射到数据空间：

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt}$

其中${\displaystyle f}$是任意函数，可以使用神经网络等进行建模。其反函数为：^[17]

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt}$

于是可以得到${\displaystyle x}$的对数似然：^[18]

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt}$

由于上式中的迹仅取决于雅可比矩阵${\displaystyle \partial _{z_{t}}f}$的对角线，这意味着对雅可比矩阵的形式没有任何限制。^[19]这与先前的离散归一化模型不同，后者将雅可比矩阵设计为上对角或下对角形式，以便更高效地计算其行列式。

其中的迹可以使用“哈钦森技巧”（Hutchinson's trick）来估计^[20][21]：给定任意矩阵${\displaystyle W\in \mathbb {R} ^{n\times n}}$以及满足${\displaystyle E[uu^{T}]=I}$的任意随机向量${\displaystyle u\in \mathbb {R} ^{n}}$，可以得到${\displaystyle E[u^{T}Wu]=tr(W)}$ 。

通常，随机向量${\displaystyle u}$可以从正态分布${\displaystyle N(0,I)}$ 或拉德马赫分布（英语：Rademacher）${\displaystyle \{\pm n^{-1/2}\}^{n}}$中进行采样。

当${\displaystyle f}$由神经网络实现时，需要使用神经常微分方程^[22]。实际上，CNF最早是与神经常微分方程在同一篇论文中提出的。

CNF主要存在两个缺陷：一是连续流必须是同胚的，从而保持方向性和环境同痕（英语：Ambient isotopy）（例如，不可能通过空间连续变形将左手翻转为右手，也不可能将球面外翻或解开一个结），二是学习到的流${\displaystyle f}$可能会由于退化而表现不佳（有无数个可能的${\displaystyle f}$都能解决同一问题)。

通过增加额外的维度，CNF可以获得足够的自由度来反转方向并突破环境同痕（类似于可以在三维空间中翻转一个多边形，或在四维空间中解开一个结），从而得到“增强神经常微分方程”。^[23]

通过结合流形的惠特尼嵌入定理（英语：Whitney embedding theorem）和神经网络的通用近似定理，能够证明${\displaystyle \mathbb {R} ^{n}}$的任何同胚可以由${\displaystyle \mathbb {R} ^{2n+1}}$上的神经常微分方程近似。^[24]

还可以为流${\displaystyle f}$引入正则化损失，例如基于最优传输理论的正则化损失：^[25]

${\displaystyle \lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt}$

其中${\displaystyle \lambda _{K},\lambda _{J}>0}$是超参数。第一项惩罚模型随时间变化流场的振荡，第二项则惩罚模型随空间变化流场的振荡。这两项共同引导模型生成在空间和时间上平滑的流。

缺点

尽管归一化流在估计高维概率密度函数方面取得了成功，但其设计仍然存在一些缺陷。首先，归一化流的潜空间并不是一个低维空间，因此基于流的模型默认情况下不支持数据压缩，需要很大的计算量。不过，仍有办法可以用它们进行图像压缩。^[26]

此外，基于流的模型在估计分布外样本（即非训练集分布中抽取的样本）的似然值时通常表现不佳。^[27]学者提出了一些假设来解释这一现象，其中包括典型集假设^[28]、模型训练中的估计问题^[29]或由于数据分布熵引起的基础性问题^[30] 。

归一化流最有趣的特性之一是其学习到的双射映射的可逆性。这一特性通过模型设计中的约束得以保证，从而确保理论上的可逆性。逆映射对确保变量变换定理的适用性、雅可比行列式的计算以及模型采样都至关重要。然而在实践中，由于数值不精确性，这种可逆性可能被破坏，进而导致逆映射爆炸。^[31]

应用

基于流的生成模型已应用于多种场景，例如：

• 音频生成^[32]
• 图像生成^[33]
• 分子图生成^[34]
• 点云建模^[35]
• 视频生成^[36]
• 有损图像压缩^[37]
• 异常检测^[38]

参考文献

1. Tabak, Esteban G.; Vanden-Eijnden, Eric. Density estimation by dual ascent of the log-likelihood. Communications in Mathematical Sciences. 2010, 8 (1): 217–233. doi:10.4310/CMS.2010.v8.n1.a11.
2. Tabak, Esteban G.; Turner, Cristina V. A family of nonparametric density estimation algorithms. Communications on Pure and Applied Mathematics. 2012, 66 (2): 145–164. S2CID 17820269. doi:10.1002/cpa.21423. hdl:11336/8930 .
3. Papamakarios, George; Nalisnick, Eric; Jimenez Rezende, Danilo; Mohamed, Shakir; Bakshminarayanan, Balaji. Normalizing flows for probabilistic modeling and inference. Journal of Machine Learning Research. 2021, 22 (1): 2617–2680. arXiv:1912.02762 .
4. Dinh, Laurent; Krueger, David. NICE: Non-linear Independent Components Estimation. arXiv:1410.8516  [cs.LG].
5. Dinh, Laurent; Sohl-Dickstein, Jascha. Density estimation using Real NVP. arXiv:1605.08803  [cs.LG].
6. Kingma, Diederik P.; Dhariwal, Prafulla. Glow: Generative Flow with Invertible 1x1 Convolutions. arXiv:1807.03039  [stat.ML].
7. Papamakarios, George; Nalisnick, Eric; Rezende, Danilo Jimenez; Shakir, Mohamed; Balaji, Lakshminarayanan. Normalizing Flows for Probabilistic Modeling and Inference. Journal of Machine Learning Research. March 2021, 22 (57): 1–64. arXiv:1912.02762 .
8. Kobyzev, Ivan; Prince, Simon J.D.; Brubaker, Marcus A. Normalizing Flows: An Introduction and Review of Current Methods. IEEE Transactions on Pattern Analysis and Machine Intelligence. November 2021, 43 (11): 3964–3979. ISSN 1939-3539. PMID 32396070. S2CID 208910764. arXiv:1908.09257 . doi:10.1109/TPAMI.2020.2992934.
9. Danilo Jimenez Rezende; Mohamed, Shakir. Variational Inference with Normalizing Flows. arXiv:1505.05770  [stat.ML].
10. Dinh, Laurent; Krueger, David. NICE: Non-linear Independent Components Estimation. arXiv:1410.8516  [cs.LG].
11. Dinh, Laurent; Sohl-Dickstein, Jascha. Density estimation using Real NVP. arXiv:1605.08803  [cs.LG].
12. Kingma, Diederik P.; Dhariwal, Prafulla. Glow: Generative Flow with Invertible 1x1 Convolutions. arXiv:1807.03039  [stat.ML].
13. Papamakarios, George; Pavlakou, Theo; Murray, Iain. Masked Autoregressive Flow for Density Estimation. Advances in Neural Information Processing Systems (Curran Associates, Inc.). 2017, 30. arXiv:1705.07057 .
14. Kingma, Durk P; Salimans, Tim; Jozefowicz, Rafal; Chen, Xi; Sutskever, Ilya; Welling, Max. Improved Variational Inference with Inverse Autoregressive Flow. Advances in Neural Information Processing Systems (Curran Associates, Inc.). 2016, 29. arXiv:1606.04934 .
15. Grathwohl, Will; Chen, Ricky T. Q. FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models. arXiv:1810.01367  [cs.LG].
16. Lipman, Yaron; Chen, Ricky T. Q. Flow Matching for Generative Modeling. 2022-10-01. arXiv:2210.02747  [cs.LG].
17. Grathwohl, Will; Chen, Ricky T. Q. FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models. arXiv:1810.01367  [cs.LG].
18. Grathwohl, Will; Chen, Ricky T. Q. FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models. arXiv:1810.01367  [cs.LG].
19. Grathwohl, Will; Chen, Ricky T. Q. FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models. 2018-10-22. arXiv:1810.01367  [cs.LG].
20. Finlay, Chris; Jacobsen, Joern-Henrik; Nurbekyan, Levon; Oberman, Adam. How to Train Your Neural ODE: the World of Jacobian and Kinetic Regularization. International Conference on Machine Learning (PMLR). 2020-11-21: 3154–3164. arXiv:2002.02798  （英语）.
21. Hutchinson, M.F. A Stochastic Estimator of the Trace of the Influence Matrix for Laplacian Smoothing Splines. Communications in Statistics - Simulation and Computation. January 1989, 18 (3): 1059–1076. ISSN 0361-0918. doi:10.1080/03610918908812806 （英语）.
22. Chen, Ricky T. Q.; Rubanova, Yulia; Bettencourt, Jesse; Duvenaud, David K. Neural Ordinary Differential Equations (PDF). Bengio, S.; Wallach, H.; Larochelle, H.; Grauman, K.; Cesa-Bianchi, N.; Garnett, R. (编). Advances in Neural Information Processing Systems 31. Curran Associates, Inc. 2018. arXiv:1806.07366 .
23. Dupont, Emilien; Doucet, Arnaud; Teh, Yee Whye. Augmented Neural ODEs. Advances in Neural Information Processing Systems (Curran Associates, Inc.). 2019, 32.
24. Zhang, Han; Gao, Xi. Approximation Capabilities of Neural ODEs and Invertible Residual Networks. 2019-07-30. arXiv:1907.12998  [cs.LG] （英语）.
25. Finlay, Chris; Jacobsen, Joern-Henrik; Nurbekyan, Levon; Oberman, Adam. How to Train Your Neural ODE: the World of Jacobian and Kinetic Regularization. International Conference on Machine Learning (PMLR). 2020-11-21: 3154–3164. arXiv:2002.02798  （英语）.
26. Helminger, Leonhard; Djelouah, Abdelaziz. Lossy Image Compression with Normalizing Flows. arXiv:2008.10486  [cs.CV].
27. Nalisnick, Eric; Matsukawa, Teh. Do Deep Generative Models Know What They Don't Know?. arXiv:1810.09136v3  [stat.ML].
28. Nalisnick, Eric; Matsukawa, Teh. Detecting Out-of-Distribution Inputs to Deep Generative Models Using Typicality. arXiv:1906.02994  [stat.ML].
29. Zhang, Lily; Goldstein, Mark; Ranganath, Rajesh. Understanding Failures in Out-of-Distribution Detection with Deep Generative Models. Proceedings of Machine Learning Research. 2021, 139: 12427–12436. PMC 9295254 . PMID 35860036.
30. Caterini, Anthony L.; Loaiza-Ganem, Gabriel. Entropic Issues in Likelihood-Based OOD Detection. 2022. arXiv:2109.10794  [stat.ML].
31. Behrmann, Jens; Vicol, Paul. Understanding and Mitigating Exploding Inverses in Invertible Neural Networks. arXiv:2006.09347  [cs.LG].
32. Ping, Wei; Peng, Kainan. WaveFlow: A Compact Flow-based Model for Raw Audio. arXiv:1912.01219  [cs.SD].
33. Kingma, Diederik P.; Dhariwal, Prafulla. Glow: Generative Flow with Invertible 1x1 Convolutions. arXiv:1807.03039  [stat.ML].
34. Shi, Chence; Xu, Minkai. GraphAF: A Flow-based Autoregressive Model for Molecular Graph Generation. arXiv:2001.09382  [cs.LG].
35. Yang, Guandao; Huang, Xun. PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows. arXiv:1906.12320  [cs.CV].
36. Kumar, Manoj; Babaeizadeh, Mohammad. VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation. arXiv:1903.01434  [cs.CV].
37. Helminger, Leonhard; Djelouah, Abdelaziz. Lossy Image Compression with Normalizing Flows. arXiv:2008.10486  [cs.CV].
38. Rudolph, Marco; Wandt, Bastian. Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows. arXiv:2008.12577  [cs.CV].