Instance Normalization-FlyAI

Instance Normalization

自然语言处理机器学习

最后更新 2021-07-05 11:33 阅读 1706

最后更新 2021-07-05 11:33

阅读 1706

自然语言处理机器学习

# Instance Normalization

对于图像风格迁移这类注重每个像素的任务来说，每个样本的像素点的信息都是非常重要的，对于像`{% post_link deeplearning/normalization/batch_normalization batch normalization %}`这种每个批量的所有样本都做归一化的算法来说就不太适用了，因为`BN`计算归一化统计量时考虑了一个批量中所有图片的内容，从而造成了每个样本独特细节的丢失。而对于`{% post_link deeplearning/normalization/layer_normalization layer normalization %}`这类需要考虑一个样本所有通道的算法来说可能忽略了不同通道的差异，也不太适用于图像风格迁移这类应用。`Instance Normalization(IN)`是一种更适合对单个像素有更高要求的场景的归一化算法。`IN`算法计算归一化统计量时考虑单个样本，单个通道的所有元素。

## IN 和 BN

关于BN的算法公式：
$$
\mu_{i}=\frac{1}{H W T} \sum_{t=1}^{T} \sum_{l=1}^{W} \sum_{m=1}^{H} x_{t i l m} \quad \sigma_{i}^{2}=\frac{1}{H W T} \sum_{t=1}^{T} \sum_{l=1}^{W} \sum_{m=1}^{H}\left(x_{t i l m}-\mu_{i}\right)^{2} \quad y_{t i j k}=\frac{x_{t i j k}-\mu_{i}}{\sqrt{\sigma_{i}^{2}+\epsilon}} \tag{1}
$$
而在`IN`中，由于`IN`在计算归一化统计量时并没有像`BN`那样跨样本、单通道，也没有像`LN`那样单样本、跨通道。它取单通道，单样本上的数据进行计算，如下图最右侧所示，所以对比`BN`的公式，它只需要去掉`batch`的维度求和即可：
$$
\mu_{t i}=\frac{1}{H W} \sum_{l=1}^{W} \sum_{m=1}^{H} x_{t i l m} \quad \sigma_{t i}^{2}=\frac{1}{H W} \sum_{l=1}^{W} \sum_{m=1}^{H}\left(x_{t i l m}-\mu_{t i}\right)^{2} \quad y_{t i j k}=\frac{x_{t i j k}-\mu_{t i}}{\sqrt{\sigma_{t i}^{2}+\epsilon}} \tag{2}
$$

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/posts/instance_normalization_and_group_normalization/image-20200731222057465.png)

对于`BN`中的$\beta$和$\gamma$，`IN`中也存在这两个参数。

## 代码

```python
def Instancenorm(x, gamma, beta):

# x_shape:[B, C, H, W]
    results = 0.
    eps = 1e-5

x_mean = np.mean(x, axis=(2, 3), keepdims=True)
    x_var = np.var(x, axis=(2, 3), keepdims=True0)
    x_normalized = (x - x_mean) / np.sqrt(x_var + eps)
    results = gamma * x_normalized + beta
    return results
```

## 总结

`IN`是一个非常简单的算法，尤其适用于批量较小且单独考虑每个像素点的场景中，因为其计算归一化统计量时没有混合批量和通道之间的数据，对于这种场景下的应用，可以考虑使用IN。在图像这类应用中，每个通道上的值是比较大的，因此也能够取得比较合适的归一化统计量。但是有两个场景不建议使用`IN`:

1. `MLP`或者`RNN`中：因为在`MLP`或者`RNN`中，每个通道上只有一个数据，这时会自然不能使用`IN`；
2. `Feature Map`比较小时：因为此时`IN`的采样数据非常少，得到的归一化统计量将不再具有代表性。

# Group Normalization

`Group Normalization(GN)`是何恺明提出的一种归一化策略，它是介于`{% post_link deeplearning/normalization/batch_normalization batch normalization %}`和`{% post_link deeplearning/normalization/layer_normalization layer normalization %}`之间的一种折中方案，如下图最右，它通过将**通道**数据分成几组计算归一化统计量，因此`GN`也是和批量大小无关的算法，因此可以用在`batch size`比较小的环境中。作者在论文中指出`GN`要比`LN`和`IN`的效果要好。

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/posts/instance_normalization_and_group_normalization/image-20200731215441080.png)

## GN算法

和之前所有归一化算法相同，`GN`也是根据该层的输入数据计算均值和方差，然后使用这两个值更新输入数据：
$$
\mu_{i}=\frac{1}{m} \sum_{k \in \mathcal{S} i} x_{k} \quad \sigma_{i}=\sqrt{\frac{1}{m} \sum_{k \in \mathcal{S}_{i}}\left(x_{k}-\mu_{i}\right)^{2}+\epsilon} \quad \hat{x}_{i}=\frac{1}{\sigma_{i}}\left(x_{i}-\mu_{i}\right) \tag{3}
$$
对于归一化方法`(BN,LN,IN,GN)`均可以使用上面式子进行概括，区别它们的是$S_i$的计算方式的不同：

对于`BN`来说，它是取不同`batch`的同一个`channel`上的所有值：
$$
\mathcal{S}_{i}=\left\{k \mid k_{C}=i_{C}\right\} \tag{4}
$$
对于`LN`来说，则是从同一个`batch`的不同的`channel`上取所有的值：
$$
\mathcal{S}_{i}=\left\{k \mid k_{N}=i_{N}\right\} \tag{5}
$$
对于`IN`来说，它既不跨`batch`，也不跨`channel`:
$$
\mathcal{S}_{i}=\left\{k \mid k_{N}=i_{N}, k_{C}=i_{C}\right\} \tag{6}
$$
对于`GN`来说，`GN`将`Channel`分成若干组，只使用组内的数据计算均值和方差。通常组数`G`是一个超参数：
$$
\mathcal{S}_{i}=\left\{k \mid k_{N}=i_{N},\left\lfloor\frac{k_{C}}{C / G}\right\rfloor=\left\lfloor\frac{i_{C}}{C / G}\right\rfloor\right\} \tag{7}
$$
可以看出，当`GN`的组数为1时，此时`GN`和`LN`等价；当`GN`的组数为通道数时，`GN`和`IN`等价。`GN`和其它算法一样也可以添加参数$\gamma$和$\beta$来保证网络的容量。

## 代码

```python
def GroupNorm(x, gamma, beta, G=16):

# x_shape:[B, C, H, W]
    results = 0.
    eps = 1e-5
    x = np.reshape(x, (x.shape[0], G, x.shape[1]/16, x.shape[2], x.shape[3]))

x_mean = np.mean(x, axis=(2, 3, 4), keepdims=True)
    x_var = np.var(x, axis=(2, 3, 4), keepdims=True0)
    x_normalized = (x - x_mean) / np.sqrt(x_var + eps)
    results = gamma * x_normalized + beta
    return results
```

## 总结

`GN`比`LN`效果好的原因是`GN`比`LN`的限制更少，因为`LN`假设了一个层的所有通道的数据共享一个均值和方差。而`IN`则丢失了探索通道之间依赖性的能力。

# 参考

1. [模型优化之Group Normalization](https://zhuanlan.zhihu.com/p/56613508)
2. [模型优化之Instance Normalization](https://zhuanlan.zhihu.com/p/56542480)

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/943

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除