语义分割之U-Net和FusionNet

FusionNet是U-Net的改进

1：文字回答：简述医学分割面临的主要挑战

1）数据量少。一些挑战赛只提供不到100例的数据

2）图片尺寸大。单张图片尺寸大、分辨率高，对模型的处理速度有一定要求。

3）要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高。

4）多模态。以ISLES脑梗竞赛为例，起官方提供了CBF, MTT, CBV, TMAX, CTP等多种模态的数据。

2：文字回答：简述医学分割的特点

医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更准确的诊断。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。

处理对象：各种不同成像机理的医学影像，主要有X-射线成像（X-CT）、核磁共振成像（MRI）、核医学成像（NMI）和超声波成像（UI）、电子显微镜成像（EM）。

应用思路：首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，然后进行三维重建和三维显示，可以辅助医生对病变体及病变体及其他感兴趣区域进行定性甚至定量分析，从而大大提高医疗诊断的准确性和可靠性。

3：代码实现：用U-Net实现对CamVid数据集的分割，并在模型定义的前向传播过程中，将每一个变量的尺寸用注释的形式写出来

4. 论文总结

医学图片分割指标：

Rand error(兰德指数)：两个数据聚类的相似性评价方法，改造之后用来衡量分割性能。给定一张图片，有n个像素点，同时有两个分割X和Y（实际和预测）。a: 两个分割同属于一个聚类的像素点数量; b:两个分割中都不属于一个聚类的像素点数量

Rand指数：RI用来衡量相似度，越高越好。和误差相反，兰德误差：RE=1-RI

Warping error: 主要用来衡量分割目标的拓扑形状效果，给定候选标注T（预测值）和参考标注L（实际值）的warping error可以认为是L对于T最好的汉明距离。

                                                                                           

U-Net：

本文贡献：提出了一个网络和训练策略，使用数据增强，以便有效的使用可使用的带标签的样本。以很少的图片实现了端到端训练。处理速度较快

网络结构：网络由两部分组成，是一个完全对称的U型结构。一个收缩路径来获取全局信息，一个对称的扩张路径以精确定位。可以更好的融合图片特征。在上采样部分包含大量特征通道，使网络能够将全局信息传播到更高的分辨率层。

　　　　采用了镜像输入图片的方式补全缺失内容。

　　　　设计了加权损失函数，对接触的细胞在loss损失函数中给予较大的权重

1.本文为了预测图像的边界区域，对输入图片的边界用镜像扩展。

2.对于大型图片，由于有限的GPU资源，训练策略非常重要。

3. 因为用来训练的图片非常少，所以对可用的训练图像应用弹性变形来扩充数据，这也可以让网络学到这种变形不变性，而不需要对这些数据进行标注。这在医学图像分割中非常重要，因为变形是组织中最常见的变化，这种方法可以有效的模拟真实变形。实现方法是：使用随机位移向量在一个粗略的3x3网格上生成平滑变形。位移是随机从有10像素标准差的高斯分布中采样的。每一个像素唯一通过二次插值计算得出。在收缩路径的末端的dropout层实现了进一步的隐式数据增强。

 

FusionNet:

本文贡献：提出FusionNet用于自动分割连接组学中的神经元结构

主要方法：引入基于求和的跳跃连接，允许更深入的网络结构以实现更精确的分割

网络结构：每个上采样出来的特征图还和降采样的时相同尺寸的特征图进行skip连接。每个残差块都有两个卷积块，这有两个好处：1）这些卷积块作为输入特征图和残差块之间的桥梁，因为之前层特征图的数量可能和残差块特征图的数量不一样。2）还有一个作用是保证网络的对称性。

 裁剪和网络结构可以借鉴