一种MR脑肿瘤图像实例分割方法、装置、设备及存储介质

一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质
技术领域
1.本发明属于计算机视觉技术领域，具体地涉及一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质。


背景技术：

2.磁共振成像(mri，magnetic resonance imaging)是一种非侵入式成像技术，允许对器官或肿瘤的介观特征进行无创性表征。mri技术可提供良好的空间解剖信息，具有良好的软组织对比度检测能力，无需重建就可获得任意方位的断层扫描，所获取的多序列多模态成像可为明确病变性质提供丰富的影像信息，帮助医生和研究人员理解大脑疾病的病理生理学，辅助影像诊断、预后和肿瘤治疗。在临床环境中，病灶精准检测与分割对患者病情评估和治疗方案制定有重要意义。
3.然而，mr脑肿瘤图像存在如下客观因素：(1)脑部组织结构的复杂性，即mri脑影像中既有正常组织，如脑皮层、脑脊液、白质和灰质等，也有病变组织，如增强肿瘤、非增强肿瘤、水肿以及肿瘤内部的坏死区域等，部分组织结构成像相似性高，对比度低，导致不易区分；(2)多尺度，即肿瘤形状大小各异以及在不同时期形状大小多变；(3)空间位置不固定，即肿瘤区域不固定，存在个体差异；(4)多目标，即多个目标或含有多个子结构，容易漏检；(5)类别不平衡，即病灶区域的特征信息在mr图像中占比较小。
4.上述因素导致面向mr脑肿瘤精准分割仍面临很大挑战，目前很多主流的分割算法功能较为单一，只能对上述因素中的某一个问题进行改善，通用性较差。如有人利用u-net或其改进的网络结构在医学图像的不同组织器官或病灶进行分割，通过含有跳跃连接的编码—解码结构的网络结构，有效地提升分割精度。针对脑胶质瘤多子区域的分割问题，还有人利用多任务网络将多子结构分割问题集成到同一个网络，并通过课程学习的方式逐次实现多任务分支的训练。还有人在保持精度的情况下通过轻量化来提高脑肿瘤的分割效率。当肿瘤相距较远时，大多数模型只能分割出其中一部分目标，缺乏全局视野，易出现漏检情况。主流模型在多尺度肿瘤检测上效果不理想，图像中尺寸较小的肿瘤存在较高的漏检率，对于尺度较大的肿瘤则难以较好的实现完整分割。由此针对mr脑肿瘤图像存在的客观复杂性，有必要设计一个能改善性能且通用性较好的分割模型及分割方案。
5.由于在卷积神经网络(convolutional neural network,cnn)上可通过堆叠多个卷积层、池化层和全连接层以及将图像与核特征参数进行卷积，形成具有强鲁棒性和自适应性的特征学习模型，因此相对于人工分割和传统分割方法，将cnn应用在脑肿瘤分割的最大优势可在于能够提取脑部mri图像中肿瘤复杂特征。cnn的特征检测层通过对训练数据的学习，避免了显式的特征抽取，隐式地从训练数据中进行学习，能够大幅度提高脑肿瘤图像分割精度。因此有人开始尝试把cnn卷积神经网络用于脑肿瘤分割，如pereira等基于cnn设计了自动分割mri脑肿瘤的方法。
6.进一步的，还有人在cnn技术的基础上提出了rcnn神经网络，即将卷积神经网络应用于目标检测，利用选择搜索(selective search)区域推荐方法从图像中提取推荐区域
(region proposals，rp)，实现图像特征自动提取，最终进行目标分类和目标定位。然而由于每个推荐区域都需要经过cnn网络进行提取特征，造成大量的特征文件存储空间和运行时间的消耗。为此又有人做了改进，提出spp-net，即在特征提取阶段，在全连接层前面加入一个空间金字塔结构，适应各种不同尺寸的特征图；通过空间金字塔池化提取固定的特征向量，对整张图进行一次特征提取，提高了运算速度且减少了存储空间，并首次提出了共享卷积。但是这种方法也存在如下缺点：分类器使用svm，不能端到端训练；进行分阶段训练，训练步骤复杂，为此又有人使用softmax去代替svm进行多分类的预测，从而实现了端到端的训练。但是这种新改进方法也有缺点：推荐区域的提取还是通过选择搜索，并且只能在cpu中运行这个算法，所以这个阶段浪费了大量时间。
7.为了解决推荐区域生成步骤消耗大量计算资源,导致检测速度过慢的问题，又有人提出faster rcnn，即用rpn((region proposal network)网络代替选择搜索去生成推荐区域，该区域推荐网络与检测网络共享整张图的卷积特征，使得区域推荐基本不消耗任何计算时间。然而faster rcnn存在的问题是当下采样conv4层的输出到达rpn层后，rpn使用单个高层特征图(single feature map)进行物体的分类和边框bounding box(简写bbox)的回归。如果只使用一个尺度的特征图，可能这层特征的语义表达不强，但如果选择后面层，虽然语义表达强了，但其位置信息可能就不够充分了，小物体本身具有的像素信息较少，在下采样的过程中很容易被丢失。
8.为了处理这种物体大小差异明显的检测问题，经典的方法是利用图像金字塔的方式进行多尺度变化增强，但这样会带来极大的计算量。为此还有人提出了特征金字塔的网络结构(feature pyramid networks,fpn)，其以特征金字塔为基础结构，对每一层级的特征图分别进行预测,解决目标检测在处理多尺度变化问题，同时付出较小的时间代价。同时还有人开发出集目标检测(object detection)和实例分割(instance segmentation)为一体的网络模型——mask rcnn。可在faster-rcnn的基础上，加入了全连接的分割子网，可在原目标检测任务基础上增加分割任务。mask rcnn即可以定位小目标也能对目标进行分割，本质上是一个实例分割，实例分割不仅要做像素级别的分类，还要将同一类别不同个体分出来。相较于语义分割(semanticsegmentation)，对分割算法提出了更高的要求，实例分割对同类物体有着更为精细的分割。然而，由于最高层级特征和较低层级特征之间的路径很长，增加了mask rcnn访问准确定位信息的难度。
9.目前，两阶段检测和实例分割模型，如mask rcnn，由三个部分组成：骨干backbone网络、颈部neck网络和头部head网络，其中，neck网络的经典优化方法有fpn、panet和bifpn等。考虑网络的低层特征，由于采样次数较少，含有更多的目标位置信息，但语义信息少，不利于目标识别；高层特征中含有更多的语义信息，但目标定位不准确。为了解决这些问题，mask rcnn的neck采用特征金字塔网络fpn，即通过bottom-up方式增加融合高低层特征使网络适应不同尺度的图片，对多尺度的特征图进行独立预测，提高小尺寸目标的检测和分割效果；为此有人基于fpn增加了自底而上路径增强bottom-up path augmentation，可在分割中增加低层信息的利用率；也有人在neck网络中采用加权双向特征金字塔网络bifpn级联，该bifpn与panet相比,增加了跨层链接，可对图像特征进行深度融合，提高分割精度，但同时降低了分割效率。
10.因此上述fpn、panet和bifpn三种优化方式各有优缺点，其中，fpn优化方式虽然分
割效率高，但是分割精度不够；panet优化方式是在分割精度和效率上寻找平衡；bifpn优化方式虽然分割精度高，但分割效率低。由此如何基于mask rcnn网络模型，提出一种具有更高分割精度和效率的mr脑肿瘤图像实例分割方案，是本领域技术人员亟需研究的课题。


技术实现要素：

11.为了解决现有mr脑肿瘤实例分割技术所存在分割精度和效率有限的问题，本发明目的在于提供一种新型的mr脑肿瘤图像实例分割方法、装置、计算机设备及计算机可读存储介质。
12.第一方面，本发明提供了一种mr脑肿瘤图像实例分割方法，包括：
13.获取脑肿瘤公开数据训练集，其中，所述脑肿瘤公开数据训练集包含有多个mr脑肿瘤图像样本；
14.针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像；
15.将所有的所述样本图像送入集目标检测和实例分割于一体的mask rcnn网络模型进行训练，得到训练完毕的mr脑肿瘤图像实例分割模型，其中，所述mask rcnn网络模型由骨干backbone网络、颈部neck网络和头部head网络构成，所述backbone网络采用残差网络，所述neck网络采用特征金字塔网络fpn，所述head网络包括有预测框分类网络、边框bbox回归网络和mask分支网络；
16.所述残差网络用于在输入样本图像后，输出与该样本图像对应的六个第一特征图；
17.所述特征金字塔网络fpn的自顶而下通路top-down pathway设计为：在从第三预测层p3至第七预测层p7的各个预测层中分别引入第一卷积注意力模块，以便采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，其中，i为自然数且有i∈[3，7]；
[0018]
所述残差网络还用于经过不同的降采样次数，使得所述第一细化新特征图fi″
在经过1*1降维处理和2倍上采样处理后，与由下一预测层输出的且经过1*1降维处理的另一第一细化新特征图f
″
i-1
进行单位加融合，然后通过对单位加融合结果进行3*3卷积处理，得到第二特征图p
″
i-1
；
[0019]
在所述特征金字塔网络fpn中增加自底而上路径增强bottom-uppathaugmentation，并设计为：先在所述各个预测层中分别引入第二卷积注意力模块，以便也采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入第二特征图p
″
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，再自底而上地进行如下迭代处理得到用于预测框分类、边框bbox回归和mask分支生成的新第二细化新特征图：对低层的所述第二细化新特征图ni″
进行一个步长为2的3*3卷积处理和下采样处理，然后将处理结果与横向连接传递过来的且高层的第二特征图p
″
i+1
进行单位加融合，最后通过对单位加融合结果进行3*3卷积处理，得到新第二细化新特征图n
″
i+1
；
[0020]
将待处理mr图像导入所述mr脑肿瘤图像实例分割模型，输出实例分割结果。
[0021]
基于上述发明内容，提供了一种基于注意力机制的mr脑肿瘤实例分割方案，即在
现有mask rcnn实例分割模型和特征金字塔网络fpn的基础上，在fpn上增加了一条自底而上路径增强bottom-up path augmentation，然后在fpn的自顶而下通路top-down pathway的上采样路径和bottom-up path augmentation的下采样路径中分别引入卷积层注意力机制cbam，可以更好改善肿瘤形状大小因为个体差异和时间变化而产生的改变问题，同时融合低分辨率特征图和高分辨率特征图，可以有效提高小目标的检测效果，降低小尺寸肿瘤的漏检率，为肿瘤的早筛提供帮助，以及由于是在fpn基础上增加自底向上的增强路径，可以利用低层特征的精准定位信息，以及由于是在增强路径上再引入注意力机制cbam，可形成对肿瘤特征图的更优关注系数，从而更好地保持肿瘤在高维非线性空间的特征信息，使得对目标的空间位置更敏感，提高多目标检测和分割的有效性。同时本技术方案可兼顾分割效率和分割精度，并且通过实验分析证明在分割精度上高于panet，而与三级级联bifpn相比，虽然在精度方面持平，但在效率上比bifpn更高，时间代价更少，进而不但在分割性能上有提升且具有较好的通用性。此外，由于cbam是轻量级的通用模块，因此可以忽略该模块的开销，使得分割效率所受影响不大，进而确保了在模型性能提升的同时，保持了算法的高效率；以及由于是集目标检测和实例分割为一体，并且bbox对区域划分和类别判断较为准确，使得输出类别的概率对临床意义有较高的参考价值，因此相对于纯语义分割，更有利于处理多目标和小目标的检测与分割，也使得mr脑肿瘤的实例分割模型具有良好的通用性。
[0022]
在一个可能的设计中，所述脑肿瘤公开数据训练集采用脑肿瘤公开数据集brats2018中的训练子集，其中，所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本分别有如下4种模态：t1模态、t2模态、t1ec模态和flair模态。
[0023]
在一个可能的设计中，针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像，包括：将mr脑肿瘤图像样本标准化，使其具有零均值与单位标准差。
[0024]
在一个可能的设计中，针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像，还包括：
[0025]
对标准化后的mr脑肿瘤图像样本进行如下方式的数据增扩处理：在各个通道上进行随机强度偏移处理，以及在三轴数据上进行随机旋转处理、镜像翻转处理、弹性形变处理和/或缩放处理。
[0026]
在一个可能的设计中，所述残差网络采用包含有七组卷积层的resnet101网络结构；
[0027]
在所述resnet101网络结构中，第一组卷积层的大小是64*7*7且后接最大值池化层；
[0028]
在所述resnet101网络结构中，第二组卷积层包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为64*1*1、64*3*3和256*1*1；
[0029]
在所述resnet101网络结构中，第三组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为128*1*1、128*3*3和512*1*1；
[0030]
在所述resnet101网络结构中，第四组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为256*1*1、256*3*3和1024*1*1；
[0031]
在所述resnet101网络结构中，第五组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为512*1*1、512*3*3和2048*1*1；
[0032]
在所述resnet101网络结构中，第六组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为1024*1*1、1024*3*3和4096*1*1；
[0033]
在所述resnet101网络结构中，第七组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为2048*1*1、2048*3*3和8192*1*1。
[0034]
在一个可能的设计中，在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，包括：
[0035]
将第一特征图fi送入所述第一卷积注意力模块中的通道注意力子模块，以便利用学习方式获取在通道注意力维度上的第一权重系数
[0036][0037]
式中，σ()表示归一化函数sigmoid()且用于根据神经网络的传播回馈不断更新权重系数以便指导模型对来自低层的肿瘤特征进行选择，avgpool()表示平均池化函数，maxpool()表示最大池化函数，mlp()表示多层感知器，表示对所述第一特征图fi进行平均池化后得到的特征图，表示对所述第一特征图fi进行最大池化后得到的特征图，w0和w1表示所述多层感知器mlp()的权重且有w0∈r
c/r
×c和w1∈rc×
c/r
，r表示实数，c/r表示所述多层感知器mlp()的第一层神经元个数，r表示预设减少率，c表示所述多层感知器mlp()的第二层神经元个数，所述多层感知器mlp()的激活函数采用线性整流函数relu；
[0038]
对所述第一权重系数和所述第一特征图fi进行单位乘处理，得到第一新特征图fi′
；
[0039]
将所述第一新特征图fi′
送入所述第一卷积注意力模块中的空间注意力子模块，以便获取在空间注意力维度上的第二权重系数
[0040][0041]
式中，conv
7*7
()表示滤波器大小为7*7的卷积运算，表示对所述第一新特征图fi′
进行平均池化后得到的特征图且有进行平均池化后得到的特征图且有表示对所述第一新特征图fi′
进行最大池化后得到的特征图且有
[0042]
对所述第二权重系数和所述第一新特征图fi′
进行卷积操作处理，得到与所述第i个第一特征图fi对应的第一细化新特征图fi″
。
[0043]
在一个可能的设计中，在输入第二特征图p
″
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，包括：
[0044]
将第二特征图p
″
i-1
送入所述第二卷积注意力模块中的通道注意力子模块，以便利用学习方式获取在通道注意力维度上的第三权重系数
[0045]
对所述第三权重系数和所述第二特征图p
″
i-1
进行单位乘处理，得到第二新特征图p
′
i-1
；
[0046]
将所述第二新特征图p
′
i-1
送入所述第二卷积注意力模块中的空间注意力子模块，以便获取在空间注意力维度上的第四权重系数
[0047]
对所述第四权重系数和所述第二新特征图p
′
i-1
进行卷积操作处理，得到与所述第二特征图p
″
i-1
对应的第二细化新特征图ni″
。
[0048]
第二方面，本发明提供了一种mr脑肿瘤图像实例分割装置，包括有依次通信连接的训练集获取单元、预处理单元、模型训练单元和模型应用单元；
[0049]
所述训练集获取单元，用于获取脑肿瘤公开数据训练集，其中，所述脑肿瘤公开数据训练集包含有多个mr脑肿瘤图像样本；
[0050]
所述预处理单元，用于针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像；
[0051]
所述模型训练单元，用于将所有的所述样本图像送入集目标检测和实例分割于一体的mask rcnn网络模型进行训练，得到训练完毕的mr脑肿瘤图像实例分割模型，其中，所述mask rcnn网络模型由骨干backbone网络、颈部neck网络和头部head网络构成，所述backbone网络采用残差网络，所述neck网络采用特征金字塔网络fpn，所述head网络包括有预测框分类网络、边框bbox回归网络和mask分支网络；
[0052]
所述残差网络用于在输入样本图像后，输出与该样本图像对应的六个第一特征图；
[0053]
所述特征金字塔网络fpn的自顶而下通路top-down pathway设计为：在从第三预测层p3至第七预测层p7的各个预测层中分别引入第一卷积注意力模块，以便采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，其中，i为自然数且有i∈[3，7]；
[0054]
所述残差网络还用于经过不同的降采样次数，使得所述第一细化新特征图fi″
在经过1*1降维处理和2倍上采样处理后，与由下一预测层输出的且经过1*1降维处理的另一第一细化新特征图f
″
i-1
进行单位加融合，然后通过对单位加融合结果进行3*3卷积处理，得到第二特征图p
″
i-1
；
[0055]
在所述特征金字塔网络fpn中增加自底而上路径增强bottom-up path augmentation，并设计为：先在所述各个预测层中分别引入第二卷积注意力模块，以便也采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入第二特征图p
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，再自底而上地进行如下迭代处理得到用于预测框分类、边框bbox回归和mask分支生成的新第二细化新特征图：对低层的所述第二细化新特征图ni″
进行一个步长为2的3*3卷积处理和下采样处理，然后将处理结果与横向连接传递过来的且高层的第二特征图p
″
i+1
进行单位加融合，最后通过对单位加融合结果进行3*3卷积处理，得到新第二细化新特征图n
″
i+1
；
[0056]
所述模型应用单元，用于将待处理mr图像导入所述mr脑肿瘤图像实例分割模型，输出实例分割结果。
[0057]
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发信息，所述处理器
用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的mr脑肿瘤图像实例分割方法。
[0058]
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如上第一方面或第一方面中任意可能设计所述的mr脑肿瘤图像实例分割方法。
[0059]
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上第一方面或第一方面中任意可能设计所述的mr脑肿瘤图像实例分割方法。
附图说明
[0060]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0061]
图1是本发明提供的mr脑肿瘤图像实例分割方法的流程示意图。
[0062]
图2是本发明提供的卷积注意力模块cbam的工作过程示意图。
[0063]
图3是本发明提供的cbam-fpn模型的部分网络结构示意图。
[0064]
图4是本发明提供的mr脑肿瘤图像实例分割装置的结构示意图。
[0065]
图5是本发明提供的计算机设备的结构示意图。
具体实施方式
[0066]
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
[0067]
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
[0068]
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a、单独存在b或者同时存在a和b等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a或者同时存在a和b等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
[0069]
如图1～3所示，本实施例第一方面提供的所述mr脑肿瘤图像实例分割方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由个人计算机(personal computer，pc，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(personal digital assistant，pad)或可穿戴设备等电子设备执行。如图1所示，所述mr
脑肿瘤图像实例分割方法，可以但不限于包括有如下步骤s1～s4。
[0070]
s1.获取脑肿瘤公开数据训练集，其中，所述脑肿瘤公开数据训练集包含有多个mr脑肿瘤图像样本。
[0071]
在所述步骤s1中，具体的，所述脑肿瘤公开数据训练集可采用脑肿瘤公开数据集brats2018中的训练子集，其中，所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本分别有如下4种模态：t1模态、t2模态、t1ec模态和flair模态。前述四种模态可以理解为核磁共振图像的四个不同纬度信息，每个序列的图像形状分别为(155,240,240)。此外，所述脑肿瘤公开数据集brats2018具体共有285个病例，并具有三个子集，即训练子集、测试子集和排行榜子集。
[0072]
s2.针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像。
[0073]
在所述步骤s2中，虽然所述脑肿瘤公开数据集brats2018已经对配准，并且重采样到1*1*1mm以及实现头骨剥离，但是对于分割任务来说，还是需要做灰度数据归一化处理，以便送入后续模型进行模型训练，即具体的，针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像，包括：将mr脑肿瘤图像样本标准化，使其具有零均值与单位标准差，其中，前述标准化的处理方式为常规预处理方式。此外，为了提升后续已训练模型的目标检测及分割能力，还需要对标准化后的mr脑肿瘤图像样本进行数据增扩处理，即针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像，还包括：对标准化后的mr脑肿瘤图像样本进行如下方式的数据增扩处理：在各个通道上进行随机强度偏移处理，以及在三轴数据上进行随机旋转处理、镜像翻转处理、弹性形变处理和/或缩放处理，其中，前述几种处理方式同样为常规的预处理方式。
[0074]
s3.将所有的所述样本图像送入集目标检测和实例分割于一体的mask rcnn网络模型进行训练，得到训练完毕的mr脑肿瘤图像实例分割模型，其中，所述mask rcnn网络模型由骨干backbone网络、颈部neck网络和头部head网络构成，所述backbone网络采用残差网络，所述neck网络采用特征金字塔网络fpn，所述head网络包括有预测框分类网络、边框bbox回归网络和mask分支网络。
[0075]
在所述步骤s3中，所述mask rcnn网络模型为现有网络模型，具有如下基本结构：backbone网络、neck网络和head网络，其中，所述残差网络用于在输入样本图像后，输出与该样本图像对应的六个第一特征图，详细可采用包含有七组卷积层的resnet101网络结构；在所述resnet101网络结构中，第一组卷积层的大小是64*7*7且后接最大值池化层；在所述resnet101网络结构中，第二组卷积层包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为64*1*1、64*3*3和256*1*1；在所述resnet101网络结构中，第三组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为128*1*1、128*3*3和512*1*1；在所述resnet101网络结构中，第四组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为256*1*1、256*3*3和1024*1*1；在所述resnet101网络结构中，第五组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为512*1*1、512*3*3和2048*1*1；在所述resnet101网络结构中，第六组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为1024*1*1、1024*3*3和4096*1*1；
在所述resnet101网络结构中，第七组卷积层也包含有三个步长均为1的卷积，并且这三个卷积的卷积核大小分别为2048*1*1、2048*3*3和8192*1*1。此外，所述特征金字塔网络fpn已在背景技术中有所介绍，所述预测框分类网络、所述边框bbox回归网络和所述mask分支网络均为现有mask rcnn网络模型中head网络的常规配置。
[0076]
本实施例主要针对所述neck网络进行了优化设计，即先将所述特征金字塔网络fpn的自顶而下通路top-down pathway设计为：在从第三预测层p3至第七预测层p7的各个预测层中分别引入第一卷积注意力模块，以便采用先通道后空间的策略，在空间(spatial)和通道(channel)两个维度上进行重要特征加权，使得在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，其中，i为自然数且有i∈[3，7]。所述自顶而下通路top-down pathway是一个高层特征图上采样过程(每层之间上采样比例为2)；从所述第三预测层p3至所述第七预测层p7的网络结构为所述特征金字塔网络fpn中的常规配置。所述第一卷积注意力模块是一种用于前馈卷积神经网络的且简单而有效的注意力模块，可在给定一个中间特征图后，沿着两个独立的维度(即通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化；由于cbam(convolutional block attention module，卷积注意力模块)是轻量级的通用模块，因此可以忽略该模块的开销而将其无缝集成到任何cnn架构中，并且可以与基础cnn一起进行端到端训练。
[0077]
具体的，如图2所示，在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，包括但不限于有如下步骤s311～s314。
[0078]
s311.将第一特征图fi送入所述第一卷积注意力模块中的通道注意力子模块，以便利用学习方式获取在通道注意力维度上的第一权重系数
[0079][0080]
式中，σ()表示归一化函数sigmoid()且用于根据神经网络的传播回馈不断更新权重系数以便指导模型对来自低层的肿瘤特征进行选择，avgpool()表示平均池化函数，maxpool()表示最大池化函数，mlp()表示多层感知器，表示对所述第一特征图fi进行平均池化后得到的特征图，表示对所述第一特征图fi进行最大池化后得到的特征图，w0和w1表示所述多层感知器mlp()的权重且有w0∈r
c/r
×c和w1∈rc×
c/r
，r表示实数，c/r表示所述多层感知器mlp()的第一层神经元个数，r表示预设减少率，c表示所述多层感知器mlp()的第二层神经元个数，所述多层感知器mlp()的激活函数采用线性整流函数relu。
[0081]
在所述步骤s311中，所述第一权重系数用于提升重要特征并抑制对当前任务不重要的特征，相当于在通道注意力维度上的注意力图。
[0082]
s312.对所述第一权重系数和所述第一特征图fi进行单位乘处理，得到第一新特征图fi′
。
[0083]
在所述步骤s312中，具体公式为：式中，表示单位乘。
[0084]
s313.将所述第一新特征图fi′
送入所述第一卷积注意力模块中的空间注意力子
模块，以便获取在空间注意力维度上的第二权重系数
[0085][0086]
式中，conv
7*7
()表示滤波器大小为7*7的卷积运算，表示对所述第一新特征图fi′
进行平均池化后得到的特征图且有进行平均池化后得到的特征图且有表示对所述第一新特征图fi′
进行最大池化后得到的特征图且有
[0087]
在所述步骤s313中，所述第二权重系数相当于在空间注意力维度上的注意力图。
[0088]
s314.对所述第二权重系数和所述第一新特征图fi′
进行卷积操作处理，得到与所述第i个第一特征图fi对应的第一细化新特征图fi″
。
[0089]
在所述步骤s314中，具体公式为：式中，表示单位乘。
[0090]
在得到所述第一细化新特征图fi″
后，所述残差网络还将用于经过不同的降采样次数，使得所述第一细化新特征图fi″
在经过1*1降维处理和2倍上采样处理后，与由下一预测层输出的且经过1*1降维处理的另一第一细化新特征图f
″
i-1
进行单位加融合，然后通过对单位加融合结果进行3*3卷积处理，得到第二特征图p
″
i-1
。前述过程的具体公式可如下所示：
[0091][0092]
式中，表示单位加。
[0093]
本实施例针对所述neck网络进行的优化设计，还有在所述特征金字塔网络fpn中增加自底而上路径增强bottom-up path augmentation，并设计为：先在所述各个预测层中分别引入第二卷积注意力模块，以便也采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入第二特征图p
″
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，再自底而上地进行如下迭代处理得到用于预测框分类、边框bbox回归和mask分支生成的新第二细化新特征图：对低层的所述第二细化新特征图ni″
进行一个步长为2的3*3卷积处理和下采样处理，然后将处理结果与横向连接传递过来的且高层的第二特征图p
″
i+1
进行单位加融合，最后通过对单位加融合结果进行3*3卷积处理，得到新第二细化新特征图n
″
i+1
。
[0094]
所述第二卷积注意力模块也是一种用于前馈卷积神经网络的且简单而有效的注意力模块，可参照前述步骤s311～s314，在输入第二特征图p
″
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，即具体的，包括有如下步骤s321～s324：s321.将第二特征图p
″
i-1
送入所述第二卷积注意力模块中的通道注意力子模块，以便利用学习方式获取在通道注意力维度上的第三权重系数s322.对所述第三权重系数和所述第二特征图p
″
i-1
进行单位乘处理，得到第二新特征图p
′
i-1
；s323.将所述第二新特征图p
′
i-1
送入所述第二卷积注意力模块中的空间注意力子模块，以便获取在空间注意力维度上的第
四权重系数s324.对所述第四权重系数和所述第二新特征图p
′
i-1
进行卷积操作处理，得到与所述第二特征图p
″
i-1
对应的第二细化新特征图ni″
。前述步骤s321～s324的具体细节可参见前述步骤s311～s314，于此不再赘述。此外，如图3所示，针对得到新第二细化新特征图n
″
i+1
的具体过程，可用如下迭代公式表示：
[0095]
在将所有的所述样本图像送入上述改进的mask rcnn网络模型中后，即可对该mask rcnn网络模型进行训练，得到能够实现集目标检测和实例分割于一体的mr脑肿瘤图像实例分割模型。此外，为了验证该mr脑肿瘤图像实例分割模型，还可以针对所述脑肿瘤公开数据集brats2018中的测试子集，在图像样本进行灰度数据归一化处理后送入所述mr脑肿瘤图像实例分割模型中进行实例分割正确性验证。
[0096]
示例的，本实施例还应用如下实验条件：(1)硬件环境：cpu：intel(r)xeon(r)cpu e5-2660 0@2.20ghz；内存：24gb；显卡：titan rtx 24gb ram；(2)软件环境：os：ubuntu 16.04.6 lts；开发软件：python；基础开发框架：pytorch，对本实施例提出的优化模型(本技术命名为cbam-fpn模型)和现有几种模型(即mask rcnn、panet和bifpn等)进行了对比试验，即所有比较模型的backbone网络均采用resnet101网络，head网络均采用与mask rcnn相同的head，精度指标采用dice(dice similarity coefficient，骰子相似系数)和ap(average precision，平均精度)，效率指标采用参数量和flops(即“每秒所执行的浮点运算次数”floating-point operations per second的缩写)，并依据brats2018脑肿瘤结构的划分，从三个肿瘤区域:全肿瘤区域(wt)、肿瘤核心区域(tc)和肿瘤增强区域(et)等评价分割性能，最终有如下表1～表3所示的实验结果及分析。
[0097]
表1.脑肿瘤分割上的性能指标对比
[0098][0099]
表2.不同尺寸脑肿瘤检测效果对比
[0100][0101]
表3.不同分割模型参数量和计算力对比
[0102]
模型参数量(m)flops(b)maskrcnn43.21126.33panet52.37162.92bifpn(3次级联)67.02262.31cbam-fpn54.80173.75
[0103]
从上述表2可以看出，本实施例所提出的cbam-fpn模型在小目标检测上有一定的优势，并从上述表3可以看出，在相同backbone网络和head网络情况下，所述cbam-fpn模型的参数量介于panet和bifpn(3次级联)之间，虽然cbam-fpn模型的运算时间与panet基本持平，但比bifpn(3次级联)短。
[0104]
s4.将待处理mr图像导入所述mr脑肿瘤图像实例分割模型，输出实例分割结果。
[0105]
在所述步骤s4中，所述待处理mr图像同样需要在进行灰度数据归一化处理后，才送入所述mr脑肿瘤图像实例分割模型中进行实例分割，得到实例分割结果。
[0106]
由此基于前述步骤s1～s4所描述的mr脑肿瘤图像实例分割方法，提供了一种基于注意力机制的mr脑肿瘤实例分割方案，即在现有mask rcnn实例分割模型和特征金字塔网络fpn的基础上，在fpn上增加了一条自底而上路径增强bottom-up path augmentation，然后在fpn的自顶而下通路top-down pathway的上采样路径和bottom-up path augmentation的下采样路径中分别引入卷积层注意力机制cbam，可以更好改善肿瘤形状大小因为个体差异和时间变化而产生的改变问题，同时融合低分辨率特征图和高分辨率特征图，可以有效提高小目标的检测效果，降低小尺寸肿瘤的漏检率，为肿瘤的早筛提供帮助，以及由于是在fpn基础上增加自底向上的增强路径，可以利用低层特征的精准定位信息，以及由于是在增强路径上再引入注意力机制cbam，可形成对肿瘤特征图的更优关注系数，从而更好地保持肿瘤在高维非线性空间的特征信息，使得对目标的空间位置更敏感，提高多目标检测和分割的有效性。同时本技术方案可兼顾分割效率和分割精度，并且通过实验分析证明在分割精度上高于panet，而与三级级联bifpn相比，虽然在精度方面持平，但在效率上比bifpn更高，时间代价更少，进而不但在分割性能上有提升且具有较好的通用性。此外，由于cbam是轻量级的通用模块，因此可以忽略该模块的开销，使得分割效率所受影响不大，进而确保了在模型性能提升的同时，保持了算法的高效率；以及由于是集目标检测和实例分割为一体，并且bbox对区域划分和类别判断较为准确，使得输出类别的概率对临床意义有较高的参考价值，因此相对于纯语义分割，更有利于处理多目标和小目标的检测与分割，也使得mr脑肿瘤的实例分割模型具有良好的通用性。
[0107]
如图4所示，本实施例第二方面提供了一种实现第一方面所述的mr脑肿瘤图像实例分割方法的虚拟装置，包括有依次通信连接的训练集获取单元、预处理单元、模型训练单元和模型应用单元；
[0108]
所述训练集获取单元，用于获取脑肿瘤公开数据训练集，其中，所述脑肿瘤公开数据训练集包含有多个mr脑肿瘤图像样本；
[0109]
所述预处理单元，用于针对所述多个mr脑肿瘤图像样本中的各个mr脑肿瘤图像样本，分别进行灰度数据归一化处理，得到对应的样本图像；
[0110]
所述模型训练单元，用于将所有的所述样本图像送入集目标检测和实例分割于一体的mask rcnn网络模型进行训练，得到训练完毕的mr脑肿瘤图像实例分割模型，其中，所
述mask rcnn网络模型由骨干backbone网络、颈部neck网络和头部head网络构成，所述backbone网络采用残差网络，所述neck网络采用特征金字塔网络fpn，所述head网络包括有预测框分类网络、边框bbox回归网络和mask分支网络；
[0111]
所述残差网络用于在输入样本图像后，输出与该样本图像对应的六个第一特征图；
[0112]
所述特征金字塔网络fpn的自顶而下通路top-down pathway设计为：在从第三预测层p3至第七预测层p7的各个预测层中分别引入第一卷积注意力模块，以便采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入所述六个第一特征图中的第i个第一特征图fi后，得到与该第i个第一特征图fi对应的第一细化新特征图fi″
，其中，i为自然数且有i∈[3，7]；
[0113]
所述残差网络还用于经过不同的降采样次数，使得所述第一细化新特征图fi″
在经过1*1降维处理和2倍上采样处理后，与由下一预测层输出的且经过1*1降维处理的另一第一细化新特征图f
″
i-1
进行单位加融合，然后通过对单位加融合结果进行3*3卷积处理，得到第二特征图p
″
i-1
；
[0114]
在所述特征金字塔网络fpn中增加自底而上路径增强bottom-up path augmentation，并设计为：先在所述各个预测层中分别引入第二卷积注意力模块，以便也采用先通道后空间的策略，在空间和通道两个维度上进行重要特征加权，使得在输入第二特征图p
″
i-1
后，得到与该第二特征图p
″
i-1
对应的第二细化新特征图ni″
，再自底而上地进行如下迭代处理得到用于预测框分类、边框bbox回归和mask分支生成的新第二细化新特征图：对低层的所述第二细化新特征图ni″
进行一个步长为2的3*3卷积处理和下采样处理，然后将处理结果与横向连接传递过来的且高层的第二特征图p
″
i+1
进行单位加融合，最后通过对单位加融合结果进行3*3卷积处理，得到新第二细化新特征图n
″
i+1
；
[0115]
所述模型应用单元，用于将待处理mr图像导入所述mr脑肿瘤图像实例分割模型，输出实例分割结果。
[0116]
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面所述的mr脑肿瘤图像实例分割方法，于此不再赘述。
[0117]
如图5所示，本实施例第三方面提供了一种执行第一方面所述mr脑肿瘤图像实例分割方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发信息，所述处理器用于读取所述计算机程序，执行如第一方面所述的mr脑肿瘤图像实例分割方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(random-access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、先进先出存储器(first input first output，fifo)和/或先进后出存储器(first input last output，filo)等等；所述处理器可以但不限于采用型号为stm32f105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
[0118]
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面所述的mr脑肿瘤图像实例分割方法，于此不再赘述。
[0119]
本实施例第四方面提供了一种存储包含第一方面所述mr脑肿瘤图像实例分割方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令
在计算机上运行时，执行如第一方面所述的mr脑肿瘤图像实例分割方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
[0120]
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见第一方面所述的mr脑肿瘤图像实例分割方法，于此不再赘述。
[0121]
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的mr脑肿瘤图像实例分割方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
[0122]
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。