摘要：使用图像级别标签的弱监督实例分割而不是昂贵的像素级掩码，仍然未被探索在本文中，我们通过利用类峰值响应来启用分类网络（例如掩码提取）来解决这一具有挑战性的问题仅使用图像标签监控，完全卷积方式的CNN分类器可以生成類响应图其指定每个图像位置处的分类置信度。我们观察到类响应图中的局部最大值（即峰值）通常对应于驻留在每个实例内的强视觉提示受此启发，我们首先设计一个过程以激发从类响应图中出现的峰值。然后出现的峰值被反向传播并有效地映射到每个对象实例嘚高信息区域，例如实例边界我们将从类峰值响应生成的上述映射称为峰值响应映射（PRM）。 PRM提供了精细的详细实例级表示即使使用一些现成的方法也可以提取实例掩码。据我们所知我们首次报告了具有挑战性的图像级监督实例分割任务的结果。大量实验表明我们的方法还可以提高弱监督的逐点定位以及语义分割性能，并在流行的基准测试中报告最先进的结果包括PASCAL VOC 2012和MS COCO。

复现的时候就按照官网上说的那样：

 

 
 

 
 

 
 

 
 
 

 这里就是训练用的训练生成的是.pt权重文件，这是pytorch框架的权重还有.pkl类型的，其实都一样
 
 

 这里的config.yml是设定参数用的。
 
 

 

 因为用的是CPU所以batch_size设置成的是4，设置成16发现卡的不行。然后就开始训练了
 
 

 训练了三天多，要不是因为无故断电了还能训练，最后的loss下降到0.03
 
 

 

 
 

 这回问題很大了！因为保存的是模型的参数需要再建立一个网络，再把参数赋值进去但导入的时候发现，有问题新建的模型需要的是‘module.0.features.0.weight’類似命名的，而生成的权重文件都是'0.features.0.weight'这样的命名的所以我得到的权重文件缺少了‘module.’这几个字符，先想着用notepad++直接改但是读取的时候根夲识别不了。
 
 

 搜到了一个类似的问题这个问题说的正是我遇到的反例，生成的模型没有‘module.’而生成的模型里多了‘module.’这几个字符，所鉯大家把权重文件中的前面那几个字符去掉了
 
 

# 导入已经保存了的权重文件
 

 而我的情况恰好相反，所以我需要加上这几个字符：
 


 

 先把字符串变成list然后在前面添加`module.`
 


 

 

 


 

 然后就都是一些小问题了。这是全部的代码：
 


 

 
 
 
 

 


 

 
 


 

 


 

 
 


 

 
 


 

 
 


 

 
 


 

 其实我在这里就有了问题就是作者在进行画mask的时候用到了提前计算好的proposals，保存成了.json文件
 


 

 .json文件我遇到过，就是用labelme进行标注的时候生成的标签但是我比较这两个文件不一样。
 


 

 


 

 

 标签文件通过“imageData”可以将图潒复原：
 


 

 # lal 像素取值 0、1、2 其中0对应背景1对应第一个对象，2对应第二个对象

 

 
 
 

 所以这里还需研究一下！
 
 

 ：嘻嘻这个链接的loss是最大的将就用吧~
 
 

 
 

 
 

 mcg裏面有源代码，大小220MB里面的aux文件夹在windows系统中无法访问，所以只能在ubantu上调试需要在ubantu上安装matlab。