GauGAN详解与实现
- 0. 前言
- 1. pix2pixHD 简介
- 2. 空间自适应归一化
- 2.1 独热编码分割蒙版
- 2.2 实现 SPADE
- 2.3 将 SPADE 插入残差块
- 3. 完成GauGAN
- 3.1 GauGAN 生成器
- 3.2 GauGAN 判别器
- 3.3 特征匹配损失
- 3.4 铰链损失 (Hinge loss)
0. 前言
在本节中，我们将研究可用于交互式生成和编辑图像的生成对抗网络 (Generative Adversarial Network, GAN)，GauGAN，由 Nvidia 在 2019 年提出，在将语义分割蒙版转换为真实的风景照片方面表现出色。
我们将从零开始实现 GauGAN，首先从空间自适应归一化技术开始，还将了解 hinge 损失，并将构建完整的 GauGAN 模型。
1. pix2pixHD 简介
GauGAN 使用 pix2pixHD 作为基础，并为其添加了新功能。pix2pixHD 是 pix2pix 的升级版本，可以生成高清 (HD) 图像。下图显示了 pix2pixHD 生成器的体系结构：