IRNET 弱监督图像分割方法-FlyAI

IRNET 弱监督图像分割方法

语义分割

最后更新 2021-04-14 10:56 阅读 4780

最后更新 2021-04-14 10:56

阅读 4780

语义分割

# IRNET

**作用：**使用image-level的标签训练IRNet，然后通过IRNet生成原图像的伪像素级标签，最后使用这些伪标签训练Mask R-CNN；

### IRNet网络结构

网络总体结构

![img](https://pic2.zhimg.com/v2-aa6621bc7b96a7060d5cc32b9bc22b05_b.jpg)

IRNet结构

![img](https://pic1.zhimg.com/v2-ebf1b7c72afc532f2282d5568787c20d_b.jpg)

##### 第一个分支

![img](https://pic1.zhimg.com/v2-dd2098e6b760d48bf65cbde44681b53c_b.jpg)

1. 通过image-level的标签训练分类网络，将GAP之前的特征层记为F，通过GAP之后经过全连接层在接一个输出层，输出各个类别的概率，然后将各个类别对应的，全连接层到输出层的各个权重作为F的权，作加权和；

2. 经过GAP之后，每一张特征图变成一个神经元结点，然后通过全连接连接到输出层，其中，概率最大的类别对应的神经元，从全连接层连接时用的权重作为F层各个特征层加权求和的权重，最终生成各个类别的CAM；
3. 例如：输入是一张图像，里面是一个澳大利亚人和一只狗，然后GAP之前的特征图分别记为 $F_i$ 然后 通过GAP，$F_i$ 会对应为一个神经元，记为 $x_i$ ，然后全连接到输出层，假设共有n个类别，那么输出层的n个神经元记为 $o_i$ ，全连接中 $o_i = \sum w_j * x_j$，然后 max($O_i$)，表示这幅图像是第i类，然后通过 $\sum w_j * F_i$ ，得到最终的表示第i类物体所在像素的CAM；

##### 第二个分支

IRNet的一个分支输出为一个矢量场，表示每个点到物体中心点之间的向量，呈现为光流图，图中，颜色表示角度，亮度表示大小；

![img](https://pic1.zhimg.com/v2-a87cc25469cddc7e3545cf9ebac9432a_b.jpg)

如上图，从点x到中心点 Centroid 的矢量一开始是 $D_u(x)$，但是很明显，存在较大的误差，然后通过 $D_u(x)$指向的点到中心点 centroid的矢量 $D(x+D_u(x))$对$D_u(x)$作调整，最终 $D_{u+1} = D_u(x) + D(x + D_u(x))$;

上式作为迭代公式，对x点处的位移向量不断进行迭代，然后获得精确的指向centroid的矢量；

##### 如何通过IRNet的这个分支生成的向量场得到无类别的各个实例的所有像素？

1. 将向量场中值小的中心像素点作为中心，然后加上 $D_{u+1}(x)$ 就可以得到以之为中心的所有像素；

##### 通过无类别的实例分割图谱加上第一个分支生成的CAM，就可以得到 完整的实例分割标签；

##### 第三个分支

![img](https://pic1.zhimg.com/v2-2863cb5d7941f68453bbf6efea4322c4_b.jpg)

同时也是IRNet的第二个分支，在五个stage的卷积块的各个尺度的特征图上，进行多尺度的整合，最终用于输出256通道的边界预测结果；

之所以预测边界，因为物体的边界同侧之间具有相似性，异侧之间不具有相似性，这样网络需要学习的东西很明确，而且很适合用神经网络实现这个任务；

**最后**，将预测得到的物体边界和之前生成的完整的实例分割标签整合在一起，将物体边界之外的部分抹除，然后得到了更为精确的实例分割标签；

### IRNet 训练

1. 训练CAM，通过 image-level label 训练分类网络，也就是训练生成 CAM 的分支；

2. 训练 displacement field，正常来说需要用物体中心位置作为监督，但是作者提出了“步步为营”的训练策略；

1) 每个像素点可能输出多个物体的CAM区域中，选择在输出层具有最高置信度的类别作为该像素点的类别；如果像素点所属CAM的类别的置信度小于阈值，将像素点设为ignore类；<font color='red'>忽略之后反而还会加速收敛，因为置信度不高，说明特征不明显，对模型的指导不清晰，显然在大数据的背景下可以去掉；</font>

2）设定半径 $\gamma$ ，每个像素点的$\gamma$领域内的像素点，与该像素点构成一个像素对;

$P = \{(i, j)\mid \parallel x_i-x_j \parallel < \gamma, \forall i \ne j  \} \tag{2}$

3) 对集合$P$拆分为正负两个子集$P^+和P^-$，划分依据是两个像素点所属的类别是否相同；

$P^+ = \{(i, j)\mid \hat M(x_i) = \hat M(x_j), (i,j) \in P   \} \tag{3}$

$P^- = \{(i, j)\mid \hat M(x_i) \ne \hat M(x_j), (i,j) \in P   \} \tag{4}$

![img](https://pic1.zhimg.com/v2-736157337ed0d8708201c8983e71531c_b.jpg)

图注：(a)为CAM，(b)中选一个像素点i，绿圈为它的$\gamma$领域；(c)中呈现了像素点i的类别以及其领域内其他像素点的类别；(d)中呈现正负样本划分的结果，由于像素点i属于Horse类，那么所有Horse类的像素点都为正样本，剩余的为负样本，置信度小于阈值的为Ignore样本；

4）由于每个正像素对的两个像素点属于同一个类别，那么其矢量场应该指向同一个中心点；即 $x_i + D(x_i) = x_j + D(x_j)$；因为$x_i,x_j$在输入图像中，而$D(x_i),D(x_j)$在IRNet的一个分支输出的矢量场中，那么做一次移项：$x_i - x_j =  D(x_j) - D(x_i)$；此时，$x_i - x_j$可以在输入图像中算出来，$D(x_j) - D(x_i)$也可以在矢量场中算出来；自然，优化的目标就是让$x_i - x_j =  D(x_j) - D(x_i)$；那么损失函数可以是：

$L_{fg}^D = \frac{1}{|P^+_{fg}|} \sum_{(i, j)\in P^+_{fg}}|(x_i - x_j) -  (D(x_j) - D(x_i))| \tag{5}$

5) 对应背景类像素，无法计算背景的中心，但是可以依据“同属于一个实例的所有像素点的矢量之和为0”来监督IRNet学习预测背景类像素的矢量场；

$ L^D_{bg} = \frac{1}{|P^+_{bg}|}\sum_{(i, j)\in P^+_{bg}}|D(x_i)-D(x_j)| \tag{6}$

到此，IRNet预测矢量场的分支的训练方法结束；

3. 训练Class Boundray Map，正常来说需要所有物体的边界作为监督，但是作者提出了“隔山打牛”的监督方式：

1）引入概念 像素关联度 $a_{ij} = 1 - max_{k\in\prod_{ij}}\beta(x_k)$，公式中$\prod_{ij}$表示像素点对(i,j)中像素点i和像素点j之间的连线上的所有像素点；$\beta$函数输出某个像素点是边界像素的概率；

2) 正样本像素对因为两个像素点属于一个类，那么它们之间应该没有边界，那么两个像素点连线上的点是边界的概率就低，那么两个像素点之间的关联度就大；正好相反，负样本像素对因为两个像素点属于不同的类，那么它们之间有边界，那么可能$\exist k\in \prod_{ij}，\beta(x_k)=1，\alpha_{ij} = 1-1=0$，即关联度可能为0；

3）优化目标就是让正样本像素对之间的关联度为1，让负样本像素对之间的关联度为0；

4）损失函数可以是 $L^\beta = - \sum_{(i,j)\in P^+_{fg}}\frac{log \alpha_{ij}}{2|P^+_{fg}|} - \sum_{(i,j)\in P^+_{bg}}\frac{log\alpha_{ij}}{2|P^+_{bg}|} - \sum_{(i,j)\in P^-}\frac{log(1-\alpha_{ij})}{|P^-|}$

4. 那么IRNet的损失函数为 $L = L^D_{fg}+L^D_{bg}+L^\beta$

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/873

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除