U-Net

U-Net是弗赖堡大学计算机科学系为生物医学图像分割开发的卷积神经网络。^[1]其基于完全卷积网络^[2]，并在结构上加以修改与扩展，使得它可以用更少的训练图像产生更精确的分割。在现代GPU上，分割一张512×512的图像需要的时间不到一秒。

U-Net架构已经在扩散模型中采用，用于迭代式图像去噪音^[3]。这种技术位于很多现代图像生成模型的底层，比如DALL-E、Midjourney和Stable Diffusion。

描述

U-Net的结构源于Long、Shelhamer和Darrell提出的所谓“全卷积网络”。^[2]

其主要思想是通过连续的层来补充通常的收缩网络，其中的汇集作业（Pooling Operation）代为升采样操作。这些层成功增加了输出的分辨率。接着，一个连续的卷积层可以根据这些信息，组合成一个精确的输出。^[1]

U-Net的一个重要改变是，升采样部分有大量特征通道，这使得网络可以将上下文信息传播到更高的分辨率层。因此，扩展路径或多或少地同收缩部分对称，并产生一个U形结构。该网络只使用每个卷积的有效部分，没有任何全连接层。^[2]缺失的环境可通过镜像翻转输入图像来预测图像边界区域的像素，这种平铺策略在网络应用于大图像时非常重要，否则分辨率将受到GPU内存的限制。

历史

U-Net首先由Olaf Ronneberger、Philipp Fischer、Thomas Brox于2015年在论文《U-Net：应用于生物医学图像分割的卷积网络》中提出。 ^[1]U-Net是Evan Shelhamer、Jonathan Long、Trevor Darrell (2014)提出的FCN（Fully Convolutional Networks完全卷积网络）的演进。^[2]

网络架构

U-Net网络由一个收缩路径（contracting path）和一个扩展路径（expansive path）组成，使其具有U形结构。收缩路径是一张典型的卷积网络，包括卷积的重复应用，每个卷积之后都有一个线性整流函数单元（ReLU）和一个最大汇集作业（max pooling operation）。在收缩过程中，空间与特征信息一减一增。扩张路径通过连续的上卷积和与来自收缩路径的高分辨率特征相连接来组合特征与空间信息。^[4]

U-Net结构示例，用于为256×256的RGB图像产生k个256×256遮罩。

应用

U-Net在生物医学图像分割中有大量应用，如脑图像分割（''BRATS''^[5]）、肝图像分割（"siliver07"^[6]）和蛋白质结合点预测等等。^[7]U-Net的变体也被应用于医学图像重建。^[8]下面是U-Net的部分变体及其应用：

1. 基于U-Net的像素回归及其在泛锐化上的应用：；^[9]
2. 3D U-Net：从稀疏标注学习密集体积分割；^[10]
3. TernausNet：在ImageNet上预先训练的用于图像分割的带VGG11编码器U-Net；^[11]
4. 估计荧光染色的图到图翻译； ^[12]
5. 蛋白质结构活性位点预测。^[7]