基于稀疏表示的非刚性医学图像配准及应用研究

《基于稀疏表示的非刚性医学图像配准及应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

分类号：TP391单位代码：10110学号：S1507061中北大学全日制工程硕士学位论文基于稀疏表示的非刚性医学图像配准及应用研究硕士研究生成茜校内指导教师王丽芳校外指导教师任树林所在领域计算机技术2018年5月25日 图书分类号TP391密级非密注1UDC全日制工程硕士学位论文基于稀疏表示的非刚性医学图像配准及应用研究成茜校内指导教师（姓名、职称）王丽芳副教授校外指导教师（姓名、职称）任树林高级工程师申请学位级别工程硕士所在领域（研究方向）计算机技术（医学图像配准）论文提交日期2018年4月11日论文答辩日期2018年5月25日学位授予日期年月日论文评阅人郭浩副教授强彦教授答辩委员会主席强彦教授2018年5月25日注1：注明《国际十进分类法UDC》的分类 原创性声明本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：日期：关于学位论文使用权的说明本人完全了解中北大学有关保管、使用学位论文的规定，其中包括：①学校有权保管、并向有关部门送交学位论文的原件与复印件；②学校可以采用影印、缩印或其它复制手段复制并保存学位论文；③学校可允许学位论文被查阅或借阅；④学校可以学术交流为目的，复制赠送和交换学位论文；⑤学校可以公布学位论文的全部或部分内容（保密学位论文在解密后遵守此规定）。签名：日期：导师签名：日期： 基于稀疏表示的非刚性医学图像配准及应用研究摘要医学图像配准是计算机视觉和医学图像处理领域的重要组成部分，可帮助医生更有力的判断和治疗疾病，同时对医学图像重建和融合也有着重要的意义。但医学图像配准过程复杂，多数配准图像间存在无规则形变，且医学图像相对自然图像对比度低，含有噪声，灰度偏移场等，目前还存在着很多问题。因此，迫切需要探索新的鲁棒性较好，适用范围较广的配准算法。本文以Brainweb、哈佛大学医学院等标准库中的非刚性脑部医学图像为研究对象，根据图像所属成像设备分为单模态和多模态两类并进行研究，主要工作如下：(1)针对传统相似性测度易受灰度偏移场的影响而造成误配，单层P样条变换模型中通常无法准确选择初始化网格密度的问题，提出了多层P样条和稀疏编码的非刚性医学图像配准方法。该方法将稀疏编码作为相似性测度，多层P样条作为几何变换模型来模拟非刚性几何形变。所提方法能够准确选择网格密度并有效克服灰度偏移场对配准的影响，降低了均方根误差，提高了配准的精度和鲁棒性。(2)针对稀疏编码相似性测度在非刚性医学图像配准中对灰度偏移场具有较好的鲁棒性，但只适用于单模态医学图像配准的问题，提出了基于多通道稀疏编码的非刚性多模态医学图像配准方法。该方法将多模态配准问题视为一个多通道配准问题来解决，划分通道后的每个模态在一个单独的通道下运行，之后对每个通道进行加权求和。所提方法能够有效克服多模态医学图像配准中灰度偏移场对配准的影响，提高配准的精度和鲁棒性。(3)在所提两种配准方法的基础上，运用Matlab设计开发了整个非刚性医学图像配准系统，实现了单模态、多模态的非刚性医学图像配准和多模态医学图像融合的功能。关键词：图像配准；稀疏编码；多层P样条；多模态图像配准；多通道 Non-rigidmedicalimageregistrationandapplicationbasedonsparserepresentationAbstractMedicalimageregistrationisanimportantpartofcomputervisionandmedicalimageprocessing.Itcanhelpdoctorsjudgeandtreatdiseasesmoreeffectively.Italsohasimportantsignificanceformedicalimagereconstructionandfusion.However,theregistrationprocessofmedicalimagesiscomplicated,andthereareirregulardeformationsamongmostoftheregisteredimages,andthemedicalimagesislowerthannaturalimageandcontainnoise,gray-scaleshiftingfields,etc.Therearestillmanyproblemsatpresent.Therefore,itisurgenttoexplorenewregistrationalgorithmswithgoodrobustnessandwideapplicationrange.Thisarticletakesnon-rigidbrainmedicalimagesfromBrainweb,HarvardMedicalSchool,andotherstandardlibrariesastheresearchobject,anddividestheimagingdevicesintosingle-modeandmulti-modaltypesandconductsresearch.TheThemainresearchcontentsareasfollows:(1)Thispaperproposedthenon-rigidmedicalimageregistrationmethodofmultilayerP-splineandsparsecodingaccordingtotwoproblems,thefirstoneisthemismatchbecausethetraditionalsimilaritymeasureiseasilyaffectedbythegraybiasfieldandthesecondproblemisthatsingle-layerP-splinetransformationmodelisunabletoaccuratelyselecttheinitializedgriddensity.ThismethodusessparsecodingasasimilaritymeasureandmultilayerP-splineasageometrictransformationmodeltosimulatenon-rigidgeometricdeformation.Theproposedmethodcanaccuratelyselectthemeshdensityandeffectivelyovercometheeffectofthegray-shiftfieldonregistration,reducetheroot-mean-squareerror,andimprovetheaccuracyandrobustnessofregistration.(2)Forsparsecodingsimilaritymeasure,itisrobusttogray-scalemigrationinnon-rigidmedicalimageregistration,butitisonlyapplicabletotheproblemdomainofsingle-modality medicalimageregistration.SoIproposedanon-rigidmultimodalmedicalimageregistrationmethodbasedonmulti-channelsparsecoding.Thismethodtreatsthemultimodalregistrationproblemasamulti-channelregistrationproblem.Eachmodeafterdividingthechannelisoperatedinaseparatechannel,andthenaweightedsumofeachchannelisperformed.Theproposedmethodcaneffectivelyovercometheeffectofgrayshiftfieldonregistrationinmultimodalmedicalimageregistrationandimprovetheaccuracyandrobustnessofregistration.(3)Basedonthetworegistrationmethodsproposedabove,theentirenon-rigidmedicalimageregistrationsystemwasdesignedanddevelopedusingMatlab.Single-mode,multi-modenon-rigidmedicalimageregistrationandmulti-modalitymedicalimagefusionfunctionsarerealized.Keywords：imageregistration;sparsecoding;multilayerP-spline;multimodalmedicalimage;multi-channel. 中北大学学位论文目录第一章绪论..................................................................................................11.1选题依据、研究背景及意义.......................................................................................11.1.1选题依据............................................................................................................11.1.2研究背景及意义................................................................................................11.2国内外研究现状..........................................................................................................31.3非刚性医学图像配准研究存在的问题......................................................................61.4本文主要研究内容及章节安排..................................................................................71.5本章小结......................................................................................................................8第二章医学图像配准基础理论....................................................................92.1医学图像配准基本概念及数学描述...........................................................................92.2医学图像配准算法分类............................................................................................102.3医学图像配准的基本步骤........................................................................................112.3.1空间变换..........................................................................................................112.3.2图像插值..........................................................................................................142.3.3相似性测度......................................................................................................162.3.4函数优化..........................................................................................................182.4图像配准评价方法....................................................................................................192.5本章小结....................................................................................................................20第三章基于多层P样条和稀疏编码的非刚性医学图像配准....................213.1P样条函数几何变换模型..........................................................................................213.2图像块稀疏编码的相似性测度................................................................................223.3基于多层P样条和稀疏编码的非刚性医学图像配准............................................23I 中北大学学位论文3.3.1多层P样条几何变换模型.............................................................................233.3.2基于稀疏编码的L1SM..................................................................................243.4实验结果与分析........................................................................................................273.4.1相似性测度（Similaritymeasure）对配准的影响.....................................273.4.2控制网格分层对配准的影响.........................................................................293.5本章小结....................................................................................................................31第四章基于多通道稀疏编码的非刚性多模态医学图像配准.....................334.1多通道配准框架........................................................................................................334.2基于多通道稀疏编码的相似性测度........................................................................344.3基于多通道稀疏编码的非刚性多模态医学图像配准............................................354.3.1图像合成..........................................................................................................354.3.2图像正则化......................................................................................................364.3.3划分通道和图像块.........................................................................................364.3.4算法流程..........................................................................................................374.4实验结果与分析........................................................................................................394.5本章小结....................................................................................................................45第五章非刚性医学图像配准系统..............................................................475.1系统设计的目的及意义............................................................................................475.2系统总体设计............................................................................................................475.3系统模块功能实现....................................................................................................485.3.1系统运行主界面.............................................................................................495.3.2单模态图像配准模块运行界面.....................................................................495.3.3多模态图像配准模块运行界面.....................................................................505.3.4多模态图像融合模块运行界面.....................................................................525.4本章小结....................................................................................................................54II 中北大学学位论文第六章总结与展望.....................................................................................556.1全文总结....................................................................................................................556.2未来工作展望............................................................................................................56参考文献......................................................................................................57攻读硕士学位期间发表的论文及所取得的研究成果..................................63致谢III 中北大学学位论文第一章绪论1.1选题依据、研究背景及意义1.1.1选题依据本课题来源于山西省自然基金“基于计算机视觉的机器学习目标跟踪算法研究”（No.2015011045）。1.1.2研究背景及意义医学图像处理包括医学图像重建、分割、配准、融合、可视化及影像存储等多个部分，医学图像配准是其中的一个关键步骤，同时也作为计算机视觉领域的一个重要组成部分、研究热点和难点，对计算机技术推动临床医学的发展有着积极的指导意义。它可以依靠计算机来完成对医学图像的配准，为医生对医学图像的理解，辅助诊断和治疗提供了更多有效信息和强有力的支持，使诊断结果更具客观性和说服力，对临床治疗提供帮助。医学成像技术在20世纪之后不断发展和进步，经历了一个由静态到动态，由形态到功能，由平面到立体的过程[1]，随着计算机技术的高度提升，更是为临床医学提供了丰富的影像信息，包括X线、超声、CT（ComputedTomography，CT）、MRI（MagneticResonanceImaging，MRI）、SPECT（Single-PhotonEmissionComputedTomography，SPECT）、PET（PositronEmissionComputedTomography，PET）、数字减影血管造影、数字荧光造影等等。根据成像设备所成医学图像所涵盖的信息内涵的不同，可将其分为解剖结构图像（CT、MR、B超等）和功能图像（SPECT、PET等）两大类[2]。这两类图像各有优缺点：功能图像的优点是人体各部位器官的新陈代谢情况能够被清晰的观察到，从而提供所观察到的这些信息，其缺点是分辨率不高，若想像解剖图像那样明确地观察器官的结构与轮廓是不可能的；解剖图像的优点是相对功能图像具有分辨率较高的特点，能够提供脏器的解剖信息，缺点是无法反映它们的代谢情况；在同类不同种图像1 中北大学学位论文中，有时也有其独特擅长的部分，对骨组织的成像较好的是CT图像；对软组织的成像较清晰的是磁共振图像，但MRI有着对钙化区域不敏感，且受到磁干扰存在灰度偏移场的缺点；PET、SPECT灵敏度高，能对代谢功能信息进行无损的定量分析[3]。目前，无论是两类成像设备中的哪一种，从成像效果来看，分辨率和质量相较之前都取得了很大的提升，但考虑到由成像原理不同，每一类甚至每一种图像信息都会有一定程度的局限性，为了使人体组织器官的信息能够得到更为全面的反映，常常需要依据病人病种及病变部位，对其在两种甚至更多成像设备下进行成像，将这些各具优势又相互补充的影像信息融合在一张图像中，辅助医生更准确全面的观察病变区域的具体情况，降低因不完整信息导致的误诊概率，之后达到准确的诊断和合理的治疗的效果。而医学图像配准是图像融合的基础和必要步骤[4]。除此之外，有时也需要在同一种模式下进行多次成像，记录病人的病情变化，通过对比不同时间段的图像对治疗效果进行科学的评估。由于病灶在不同的年龄阶段、不同的身体部位具有不同的生长规律，采集在不同的年龄段患同种疾病的数据以及同一病灶出现在身体不同部位的数据，对获得的图像进行配准，从差异中发现规律并研究这些规律，将有助于疾病的预防和诊断。另外，医学图像配准还可以用于肿瘤的早期发现与定位、为数字血管造影（DigitalSubtractionAngiography，DSA）提供前期和后期图像处理，白内障诊断、心脏运动估计、创建平均图谱、放疗计划设计、引导神经外科手术等等。依据待配准的图像的性质可分为刚性配准和非刚性配准，当图像间仅存在简单形变，如平移、旋转、缩放等，即为刚性配准。当配准的两幅图像间存在较复杂的无规则形变时，就需要使用非线性的空间变换来描述这些形变，在临床医学中，更多的待配准图像间都存在这类复杂的形变，如三维乳房核磁图像、脑部手术前后的图像、四维动态心脏图像间以及人体胸腔肺部图像间等等[5]，都需要对其进行非刚性配准。纵观当代医学图像的配准问题，简单形变的刚性配准已不再满足医生的需求，那些自由度更大、能够描述较为复杂的非线性形变的空间变换模型越来越被需要，因此非刚性配准也逐渐成为一个新的着眼点引起了广泛关注，也使得该领域成为研究的热点。不过受器官组织中存在不均匀各向异性性质，非刚体主体行为，时间动态和各类成像条件等的影响[6]，非刚性医学图像配准仍然存在并面临着许多问题和挑战。所以，针对非刚性医学图像配准2 中北大学学位论文算法所存在问题对其研究并改进，具有重要的科学理论意义和临床实际应用价值。1.2国内外研究现状关于医学图像配准的发展，大致历经了三个阶段[7]，在上世纪80年代，由于当时成像设备落后，大多为单模态的刚性配准，在20世纪90年代，由于成像技术的发展，更为丰富的多种模态图像不断涌现，对配准的要求也不再停留在单模态之间，但图像间的空间变换关系同之前相同，依然是刚性的，从本世纪初至今，医生根据临床应用情况，对图像配准提出了更高的需求，因为在面对存在大形变的非刚性主体时，之前的刚性配准技术已经无法解决此类问题，非刚性配准技术由此出现，伴随着对它研究的不断增多，也逐渐成为医学图像配准研究领域的主流趋势。国内外对该领域的研究也取得一系列成果。非刚性图像配准主要可以分为基于特征的配准和基于灰度的配准，基于特征的配准往往需对图像上的特征点、线、面及其边缘进行有效提取进而代表图像特征信息[8]，许多特征点提取方法已被提出，如SIFT（Scale-invariantFeatueTransform,SIFT）[9]，ICP(IterativeClosetPoint,ICP)[10]，SURF(Speeded-UpRobustFeatures)[11]，LaplacianofGaussian[12]与HarrisLaplacian[13]等特征点提取算子，基于特征的配准方法的精度依赖于从参考图像和浮动图像中提取的用于配准的特征信息，大多情况下，当特征提取的进行是在不同模态医学图像之间，或者图像特征点不明显、周围位置复杂的情况下，进行准确的特征提取是较为困难的，这也导致影响了最终的配准结果[14]。基于灰度的配准也可称为基于图像内容的配准，这类方法在配准过程中直接使用两幅图像本身具有的灰度统计信息来衡量图像的相似性程度，并通过最优化方法对描述图像相似性的代价函数进行寻优，达到图像的自动和高质量配准的目的。基于灰度的方法相比基于特征的方法的一大优势就是，减少了最初对图像进行复杂的点，线等提取的步骤，同时也避免了由特征集提取带来的有偏估计问题，但基于灰度的配准方法求两幅图像的相似性测度就显得至关重要。本文主要研究基于灰度的非刚性图像配准关键技术的几何变换模型和相似性测度，前者表示两幅图像间的空间关系，后者描述两幅图像完成配准的程度，下文从这两个方面分别介绍相关的国内外研究现状。3 中北大学学位论文非刚性配准方法中几何变换模型主要分为基于伪物理模型的变换和基于函数描述的变换两大种。其中弹性模型[15]、粘性流体模型、光流场模型等[16]属于基于伪物理模型的变换，通过构造偏微分方程描述形变过程的平衡状态，通常计算量较大，难以准确建立模型。基于函数描述的变换源于插值和近似理论，它们采用具有少量参数的基函数描述复杂，稠密的非线性几何变换域，如径向基函数、小波基函数法、薄板样条法、B样条法等。其中基于B样条的自由形式变换（FreeFormDeform，FFD）以其局部控制性好、可连续和高拟合的优点，成为目前使用最多，也最为流行的非刚性变换方法，相对于高次多项式变换模型等常规的非刚性形变模型，基于B样条的自由形式变换自由度更高，能够实现局部控制且变换域有C2连续性。它首先由Sederberg和Parry[17]在1992年提出，Rueckert等人[18]在2001年首次将B样条变换模型应用于非刚性乳房核磁图像的配准。最初，基于三次B样条的自由形变被定义在一个规则的网格点中，Schnabel等人[19]提出了一个新的框架，扩展和概括了以前在Rueckert等人提出的技术,Periaswamy和Farid[20],Shekhar等人[21]通过将全局变换定义为一系列局部仿射变换提出了可变形的配准方法。BrianD.Marx[22]2015年在B样条函数的基础上附加了正则项，提出了P样条方法。Pradhan等[23]在2015年将P样条方法运用到医学图像配准领域。基于薄板样条（ThinPlateSpline，TPS）的配准方法也基于可变形的图像属性，该方法的基本原理与以前的不同，在该方法中，一组控制点沿着优化所选用的相似性测度的方向移动，薄板样条模型定义了变形传播到控制点的近邻点，对于基于点对应的配准，TPS基于各组之间的对应关系，TPS是一种内插功能，可以使弯曲能量最小化[24]；Serifovic-Trbalic[25]使用了近似TPS，相对内插TPS，对于点定位中可能出现的异常值具有更好的鲁棒性。史悦等[26]在2016年提出薄板样条与B样条相结合的配准方法。在医学图像配准中，相似性测度也是其过程中重要的组成部分之一。常用的相似性测度有平方差(SumofSquaredDifferences，SSD)[27]，绝对差(SumofAbsoluteDifferences，SAD)，互相关(Cross-Correlation，CC)[28]等，这些相似性测度及其变体是适用于单模态图像配准的相似性测度，这些测度是基于从体素到体素的灰度的独立性和稳定性的假设，没有考虑体素的空间依赖性，为了克服这些要求，Ardekani等人[29]在2005年提出以每个像素为中心设定小窗口，在相关系数的基础上改进为局部相关系数，令其作为相4 中北大学学位论文似性测度；Myronenko和Song[30]在2010年中提出了一种新的相似性测度，称为剩余复杂度，使用离散余弦变换（DiscreteCosineTransform，DCT）来稀疏两个图像的残留，RC可自适应地约束灰度偏移场，保证两幅图像在灰度空间上的一致；Farniaetal.[31]在2014年提出了一种多模态的基于小波的RC（ResidualComplexity，RC）配准；卢振泰等[32]在RC的基础上在2015年提出了局部方差和残差复杂性的医学图像配准方法，它考虑残差图像自身的特性，比RC更适用于非均匀医学图像配准。基于信息论的相似性测度是基于灰度的多模图像配准方面较为稳定可靠的相似性测度，其中最具代表性的为互信息(MutualInformation，MI)及其派生测度。MI同时被Viola[33]及其同事提议进行图像配准；几年后，Studholme等人[34]提出了规整化互信息（NormalizedMutualInformation，NMI）相似性测度，该测度对重叠图像区域的大小较不敏感；在提出互信息用于图像配准的几年后，互信息相似性测度受到越来越多的关注，Hermosillo等人[35]在2001年提出一个通过局部化相关比和互信息的局部相似性测度框架；Pluim等人[36]在2003年提出了一种基于互信息的在当时最先进的图像配准方法。Pluim等人[37]又在2004年提出了基于信息理论的MI和其他相似性测度的比较研究；Andronacheetal[38]在2008年提出用于全局配准和互相关配准小图像块的MI；Zhao和Soatto[39]在2009年将局部NMI与全局NMI结合，用来克服对图像明暗不均匀部分不敏感和陷入局部极值的问题；SmitaP和DiptiP[23]在2015年提出了将局部互信息作为相似性测度，将整个图像视为多维点的分布，使每个多维点代表一个像素和它周围点的像素；这类局部测度的配准结果相对全局测度好得多，但由于都是在小窗口内，目标函数容易陷入局部极值，且对图像噪声比较敏感。随着对稀疏表示的深入研究，基于稀疏表示的方法也逐渐用于医学图像配准。A.Ghaffari,E.Fatemizadeh[40]在2014年提出了稀疏诱导的相似性测度(Sparse-inducedsimilaritymeasure，SISM)，他参考像素之间的空间依赖性，SISM是稀疏的方法，它的字典是基于DCT和小波变换的，利用了确定的字典，易快速实现，但表示能力有局限性。A.Ghaffari,E.Fatemizadeh[41]又在2015年提出了RankInduced相似性测度（RankInducedsimilaritymeasure，RISM）用于图像配准，它把图像配准视为一个非线性和低秩矩阵分解问题，该方法可以产生较准确的配准结果，但适用范围较小。Cheng等人在文献[42]中提出使用深度相似性学习方法训练一个二元分类器来学习两个图像块的对应5 中北大学学位论文关系，Simonovsky等人在文献[43]中提出使用有CNN（ConvolutionalNeuralNetwork，CNN）的相似性测度，来估计来自不同模态两个图像块之间的相似性。1.3非刚性医学图像配准研究存在的问题目前医学图像种类丰富，医学图像相对自然图像细节较多、对比度差、且存在灰度失真、图像噪声、交叠面积小等因素，医学图像配准的过程分为多个步骤，较为复杂，随着不断地研究，也出现了越来越多的配准算法，不过到目前，配准算法仍各具针对性，不具普适性。目前的医学图像配准算法各有优点和不足。比如，那些具有高配准精度的配准算法，随之也出现计算量大，计算复杂度高，效率低的问题；而一些配准算法耗时虽短，但容易引发错误匹配的失误；还有一些则不能独立完成，需要有经验的医生或专家参与到配准过程中来。通过归纳和总结，进而得出基于灰度的非刚性医学图像配准存在着下列问题：(1)配准是一个多模块协同处理的过程，在非刚性几何变换模型中，基于伪物理模型的性变通常计算量较大，难以准确建立模型。综合考虑，基于函数描述的变换中基于B样条的自由形式变换目前最为流行，但传统B样条函数虽本身具有光滑性，但形变场存在奇异点或折叠效应；且单层B样条配准后图像差的细节较多且通常无法准确选择初始化网格密度。(2)在相似性测度中，传统的基于灰度的相似性测度易受噪声（包括高斯噪声、椒盐噪声、泊松分布噪声、脉冲噪声以及混合噪声等），灰度偏移场，造影剂的影响造成误配，且对初始参数比较敏感；基于灰度的相似性测度仅仅定义了对应像素之间的关系，并未考虑像素之间的空间依赖性，对包含灰度偏移场和上面所提各类噪声的图像，传统的相似性测度具有较差的鲁棒性，往往不能产生所需要和期待的配准效果。(3)由于不同模态图像成像方式的不同，导致待配准的两幅图像之间的分辨率和灰度分布可能存在较大不同，因此要做到严格对应两幅图像之间的像素点，是有一定程度的困难的，一些相似性测度在非刚性医学图像配准中对灰度偏移场具有较好的鲁棒性，但是，它只适用于单模态医学图像配准的局限性。6 中北大学学位论文1.4本文主要研究内容及章节安排在本文中，主要把具有非线性形变的医学图像当作成研究的对象，来进行非刚性医学图像配准的研究，主要研究内容有两大方面：基于B样条的几何变换模型和基于稀疏表示的相似性测度，并重点针对其中存在的问题进行了研究和改进，提出了基于多层P样条和稀疏编码的非刚性医学图像配准方法和基于多通道稀疏编码的非刚性多模态医学图像配准方法，从而解决的三个问题分别是：传统相似性测度易受灰度偏移场的影响而造成误配，和单层P样条变换模型中通常无法准确选择初始化网格密度的问题；稀疏编码相似性测度在非刚性医学图像配准中对灰度偏移场具有较好的鲁棒性，但只适用于单模态医学图像配准的问题。并在两种改进算法的基础上基于Matlab平台开发了一套非刚性医学图像配准系统。以下为本文的章节安排：第一章：绪论。从本文的选题依据、研究背景及意义开始介绍，随后，着重从几何变换模型和相似性测度两大方面介绍并分析了非刚性医学图像配准的发展历程和国内外研究现状，得出了几点当前非刚性医学图像配准研究存在的问题，在本章之后部分，对本文所研究的内容及其章节安排进行总结。第二章：医学图像配准基础理论。在此章中，阐述了医学图像配准的基本概念，分类方法和医学图像配准的几个基本步骤以及评价指标。第三章：基于多层P样条和稀疏编码的非刚性医学图像配准方法。本章首先介绍了P样条函数几何变换模型和图像块稀疏编码的相似性测度基础理论；然后重点阐述本文提出的非刚性医学图像配准方法，包括多层P样条几何变换模型、基于稀疏编码的L1SM(lNormSimilaritymeasure,L1SM)和算法流程；最后从实验结果验证本文方法的1优点。第四章：基于多通道稀疏编码的非刚性多模态医学图像配准，本章首先对多通道配准框架进行介绍；然后阐述基于多通道稀疏编码的相似性测度、求解过程及该方法的算法流程；最后通过多组图像的仿真实验，从主客观指标两个方面验证了本文方法的优越性。第五章：非刚性医学图像配准系统。首先阐述系统设计的目的及意义，接着介绍系7 中北大学学位论文统的总体设计并对涉及到的方法的基本流程展开叙述，最后给出了系统的实现过程及系统的运行结果。第六章：总结与展望。本章对全文的整个研究内容进行了一个总结，指出本文研究所存在的一些不足及其他问题。同时，对基于稀疏表示的非刚性医学图像配准的研究前景及进一步研究工作方向进行了展望。1.5本章小结本章首先阐述了本课题的选题依据、研究背景及意义，说明本课题在医疗诊断中具有很大的科学研究意义及临床应用价值。之后从本文重点研究部分详细阐述了国内外研究现状，接着针对当前研究仍然存在的问题提出本文的主要研究内容和创新点，并给出了本文的整体章节安排。8 中北大学学位论文第二章医学图像配准基础理论在上一章，从背景意义、发展现状等方面介绍了本课题，同时说明医学图像配准技术的重要性，为了对该技术有更好的理解并作为下文的理论基础，在本章，将从图像配准技术的概念、类型、核心步骤及其具体的评估方式等角度来深入的了解医学图像配准的理论知识。2.1医学图像配准基本概念及数学描述所谓医学图像配准是指通过对浮动图像寻求某种空间变换，使它与参考图像上的同一解剖点或者具有诊断意义的关键点达到空间上的一致。示意图见下图2.1所示。图2.1图像配准示意图任何数字图像都可以用一个二维矩阵进行描述。上图中，假定R与F分别代表参考图像与浮动图像，两者在某一点(x,y)处的灰度值分别为R(x,y)、F(x,y)。配准过程可描述为：在N维参数空间中找到参考图像和浮动图像的空间变换T，使得相似性测度函数S达到极值。而经过配准之后，所能取得的效果是图F中的点在T变换以后，和R中的关键点具有坐标上的一致性与对应性。argmaxSRxyFTxyT,,,,(2.1)T其中max表示求取相似性测度的最大值。9 中北大学学位论文2.2医学图像配准算法分类根据1997年，J.B.AntoineMaintz、MaxA.Viergever[44]，2011年，FranciscoP.M.Oliveira&JoãoManuelR.S.Tavares[45]等人在深入研究、分析的基础上而发表的相关论文中显示，主要按照图像维度、模态、主体及其图像特征基准特性等四个层面来对其进行类别划分的[46]。若以图像维度来划分，主要包括2D/2D、2D/3D以及3D/3D等。2D/2D[47]是指二维图像间的配准，也可以是断层扫描数据中切片数据的配准。2D/3D是指空间和投影数据之间的配准或二维图像、断层扫描图像及其三维图像的配准。而3D/3D为两张三维图像之间的配准。若以图像配准基准特性来进行划分，主要分成基于外部特征与基于内部特征两类，而前者要求在病人身上添加人工标识物（如螺钉、牙套等），对病人不太友好，而且在扫描过程中很难严格保持不动，因此渐渐淡出主流方法。基于内部特征的配准是基于图像特征点、特征曲线、特征曲面和基于图像体素的配准。基于特征点、特征曲线、曲面的配准，需要预先对图像提取特征，进行下一步的配准；而基于图像体素的配准，无需对图像进行预处理。若按照图像模态来进行划分，主要包括单模态、多模态、病患和图像及其图像和图谱四类形式，所谓单模态配准是运用来自类别相同的设备所成图像（CT-CT，MR-MR，US（ultrasonic，US）-US等）来进行配准的过程，一般用来观察器官、组织的生长变化。多模态图像配准指待配准图像属于不同模态（CT-MR，CT-PET，US-CT等），多用于图像融合，综合多种图像信息。图像与图谱的配准是将病人图像与图谱进行配准，主要用于搜集某些结构信息。病人与图像的配准主要用于放射治疗和计算机辅助手术中。按图像主体分类可分为同一患者、不同患者、患者与图谱间的配准。分别指待配准图像来自同一位患者、不同患者、一幅为图谱一幅为患者。10 中北大学学位论文2.3医学图像配准的基本步骤上文所阐述的分类方式中，由于按照的标准存在差异，具体分类也存在差异，然而尽管依据存在差别，其配准所要经过的流程却是相同的。如图2.2配准模块间关系图所示，能够从图中发现，配准的流程主要包括四个环节，即空间变换、图像插值、相似性测度及其优化算法。参考图像相似性测度优化算法浮动图像空间变换图像插值图2.2配准模块间关系图2.3.1空间变换所谓空间变换也就是指通过某种类型的空间变换把一幅图中的像素点特别是关键点映射到另一幅图中的过程，主要类型包括刚性、非刚性及其仿射三类变换形式，通常假定T代表两幅图对应点位置的映射关系。这里的图像可以是二维的（2D），也可以是三维的（3D），所以这种映射可能是从二维空间到二维空间、从三维空间到三维空间，或者是三维和二维之间的变换。所谓刚性变换是只通过平移与旋转两种方式来进行变换的一种形式，可以说其是更为简单化的仿射变换的真子集。在3D空间上，其能够通过平移矩阵点乘旋转矩阵来得到，即：M=TRRR(2.2)xyz式（2.2）中，平移矩阵T表示该变换在空间直角坐标系中三个方向的偏移。11 中北大学学位论文100tx010tT=y(2.3)001tz0001旋转矩阵R，，RR分别描述刚体变换绕x轴，y轴，z轴的旋转。xyz1000cos0sin0cossin000cossin00100sincos00R=R=R=(2.4-2.6)xyz0sincos0sin0cos00010000100010001由于3D刚性变换是一个包含6个自由度的变换，平移变量与旋转变量各三个自由度，分别用ttt,,，，，表示。由于两种变换的顺序及其空间直角坐标系中三条xyz数轴的三种旋转变换的先后顺序的差异，能够组合出12类变换形式。然而我们所研究医学图像配准，一般是根据纵轴-横轴-竖轴的先后顺序进行旋转变换的。仿射变换可以描述更为复杂的线性几何形变，它可以同时包括平移、旋转、缩放和投影的错切变换。在二维空间和三维空间中，仿射变换分别有6个自由度和12个自由度；式(2.7)为三维空间的仿射变换公式。,xeeetx111213x,yeeety=212223y(2.7)z,eeetz313233z100011仿射变换不同于刚性变换，其无需进行正、余弦角度的计算，而且各变量也是互不干扰的，能够不经运算而作为齐次变换矩阵中的元素，基于该特点，使得该变换形式的效率较高。仿射变换在实际中有很多用途，其中就有对由于CT台架倾斜而导致的剪切进行校正，还可以校正磁共振图像梯度线圈不正常而导致的图像畸形。非刚性空间变换模型分为基于函数描述的变换和基于物理模型的变换两种类型。较为常用的基函数有薄板样条、B样条等，基于物理模型的变换又可分为弹性变换和流体变换两个子类。薄板样条变换是目前流行的一种非刚性几何变换模型。该模型能够完成对几何映射12 中北大学学位论文的分解，这也是其他基于函数描述的变换所不能做到的，主要分解成刚性与非刚性映射两种，因而其变换形式能够通过若干径向基函数的组合来表示，具体见下式所示：Nux()AxBIbiix(2.8)i1式中，A、B为仿射变换矩阵，向量b代表薄板样条模型所分解出的非刚性变换，i代表径向基函数。在该函数中，控制点通常是依靠人工选取，进而在确保各个控制点对应的前提下，该模型中的各个参数就能够通过最小二乘法得到，这一过程等价于最小化一个薄板样条弯曲能量函数。薄板样条变换是一种全局变换方法，因而所变换出的图像也是全局性的，因而其不能进行局部变换控制，因此若两幅图像的局部差别很明显，就难以配准，TPS的这一缺点，被B样条的自由形式变换所弥补，该变换形式能够实现对局部变换的控制，所以就能够处理存在局部形变图像的难题，同时由于其所具有的连续性、稳定性及其局部不变性的好处，使得该自由形式的变换是当前非刚性配准过程中应用最广泛的变换模型，详细研究见下章。而弹性配准理论上是以物理模型为基础的，基本假设是，将配准问题看作是一个物理中的力学问题，待配准的图像由于受到外力只发生弹性形变，具体过程能够通过Navier方程来表示，即：2uuuf++0(2.9)式中，u代表非线性几何变换域；f代表受到的外力；与代表形变约束参数。2为梯度算符，为Laplace算符上式给出的偏微分方程可利用有限差分和逐次超松弛迭代算法求解。光流模型的概念最早在计算机视觉领域中提出，其用途是预估图像序列相邻的帧间的运动情况。其基本假定为：图像中固有的灰度值短期内不会发生较大的改变，其方程可以表示成下述形式：IxyztIxxy,,,,yz,ztt,(2.10)泰勒展开是在上式(2.10)中等号的两侧进行的，高阶项被忽略，光流约束方程可以13 中北大学学位论文表示为：IIu+0(2.11)式中，I与I分别代表图像间的时间微分与灰度梯度矢量；u代表图像间的非线性变换关系。2.3.2图像插值在配准过程中，相似性测度通常是比较参考图像和浮动图像之间对应点的灰度值。在点经过空间变换之后，由于网格点无论疏密都是离散分布的，使得经过变换的点的往往不能恰巧的落在网格节点上，此时就需要图像插值法来估计其坐标值，其中常采用的主要有双线性插值法、最近邻插值法及其PV插值法三种。，如图2.3所示，所谓最近邻插值法实际上是一种替代的方法，即将相距目标点(x，，y)最近的那一点，即图中A点的灰度值作为其值，最邻近插值计算量小，不足之处是会降低图像的平滑性，视觉效果比较差，产生锯齿边界。A.图2.3最近邻插值法双线性插值的原理是通过在x、y方向分别完成一次线性插值，之后再进行一次线性插值，最后得到结果，即全部的计算要通过三次一阶线性插值来做到。该方法的优势是得到的结果比较平滑，而劣势则为对图像的细节忽略过多。如下图2.4所示，要对点,,x,y的灰度值进行计算，就需要利用其临近的四个角的灰度值，假定四个最邻近的角的像素分别为A，B，C，D，相应的坐标值(i，j)、（i＋1，j）、（i，j＋1）、（i＋1，j＋1），14 中北大学学位论文灰度值g(A)、g(B)、g(C)、g(D)，计算方法为先对两个坐标方向完成插值，进而根据公式（2.12）（2.13）得到对应点E与F的灰度值分别为g(E)、g(F):CFDAEB图2.4双线性插值法,gExigBgAgA(2.12),gFxigDgCgC(2.13),,,,则x,y处的灰度值为gxy,,,,gxy,=yjgFgEgE(2.14)如图2.5所示，PV插值法的基本原理是通过对目标点临近的四个点的距离远近来分配权重，进而计算其对灰度的影响权重。假定F、R为需要进行配准的浮动与参考图像，而T为通过参数来明确的变换矩阵，其主要的作用对象为F。假定经过变换矩阵完成F至R的坐标映射，即从(a,b)到ij,，其中ij,是R中的网格点，并且ij01，。ij如果f为实函数，满足：(1)fx0，x是实数；(2)fn1，n是实数，01。n15 中北大学学位论文那么，对于F中的任何点(a,b)，联合灰度分布为：hFabRipjq,,,hFabRipjq,,,fpijfq(2.15)其中，p，q是整数；f是核函数。PV插值的结果并不产生新的像素值，而是计算新的像素对图像联合灰度分布的贡献，因此PV插值主要用于基于互信息的图像配准。(i,j)(i,j＋1)(i＋1,j)(i＋1,j＋1)图2.5PV插值2.3.3相似性测度相似性测度主要是对图像配准的结果进行评估的标准，是配准非常关键的一个环节。通常而言，浮动图像与参考图像由于时间、条件、成像方法等的差异，使得两者的图像内容有着巨大的差别，因而此时不可能存在完全的配准，具体配准到哪种程度也无从界定，所以此时就需要一种量化基准，在该衡量标准下，定量的描述两者的配准效果。通常我们所用的方法包括:灰度均方根误差、归一化相关系数、基于信息理论的如互信息、归整化互信息等等，下面介绍几种常用的相似性测度。灰度均方根误差（MeanSquared，MS）：计算图像A、B在给定区域的灰度平均差：N12MSAB,ABii(2.16)Ni最佳的配准状态应该是MS的值为0时，此时两者的对应点上的灰度值应该完全相同。本测度的优点是计算过程不复杂，然而仅仅在同模态图像配准的过程中能够得到有16 中北大学学位论文效的结果，缺点是其受到灰度值线性改变的影响较大。不过可以在一个比较大的范围内搜索匹配。归一化相关系数：计算图像A、B的归一化互相关系数（NormalizedCorrelation，NC）：NABiii(2.17)NCAB,NN22ABiiii理想情况下该准则的最优值是1。该准则常用于不同成像条件和由于病人运动所造成的位置偏移的单模态图像配准，能够出现峰值，缺点是搜索在一个较小的范围内。互信息包含于信息论之中，简单理解就是某系统内存在的其他系统中信息的量，即两系统的统计相关性[48]，一般用熵（entropy）来表示。随机变量A的熵定义为：HApaAAlogpa(2.18)aA两个随机变量A、B的联合熵定义为HAB,,pabABlogpabAB,(2.19)aAbB如果A、B互相独立，则pABabpapb,=AB(2.20)HABHAHB,(2.21)如果A、B不互相独立，则HABHAHB,(2.22)其差值称为A、B的互信息I(A、B)计算两幅灰度图像间的互信息测度:MIABHAHBHAB,,paAB,b(2.23)paAB,lbog2aAbBpABapb由于在医学影像配准时，图像之间的差异有时候非常大，主要是时间、条件、成像17 中北大学学位论文方式不同带来的这种差异，然而其相同特征是均来源于解剖信息，而将其当作随机变量后，并不相互独立，假设图像空间位置达到一致时，互信息最大。因为互信息受到图像重叠范围及其噪声影响较大[49]，因而若重叠范围增加，对应的边缘熵也将变大，然而在配准过程中，未将重叠区的变化所带来的干扰考虑在内，归整HAHB化互信息NMI：NMIAB,(2.24)在互信息的基础上改进，可以有效克服HAB,重叠区的影响。2.3.4函数优化根据相似性测度选择的不同，对应的计算方法也存在差异，主要分成两类，其一通过联立方程求解计算；其二通过对预先确定的能量函数进行最优化搜索。前者的应用范围为以图像特征为基础的配准过程，后者则归结为一个求极值的问题，此时的能量函数由变换参数充当，对能量函数极值的求法也是利用优化算法进行计算，其中主要包括Powell算法[50]、下山单纯形最优化、梯度下降优化算法、牛顿法等。Powell算法是一种无需求导计算目标函数梯度的直接优化法，该方法是通过多轮循环比较，不断改变迭代点的位置，直到最终得到最优值的一种方法。其原理概括如下：假定目标函数中存在的参数个数为n，计算方法是采用多轮迭代法，各轮迭代都要完成n+1次搜索，从第一个点进行迭代，该点要进行n次一维搜索，进而获取最优化的点X[51]。然后将X与第一个点相连，并将两者连线的方向确定为第二次迭代的方向，而在本次迭代过程中，X成为了第一个点，并进行n+1次搜索，进而获取本轮迭代的最优点，按照这样的思想连续进行，直到完成所有轮的迭代后，获取全局最优点。由于MI对参数无明确的函数方程，因而Powell法在将互信息当作相似度测度的配准过程中应用较广泛，同时其也是当今医学图像配准优化中较为普遍的一种算法，优点是计算准确，同时可快速获取最优值，但该值可能仅为局部性的极值，并且优化的结果受到第一个点选取情况是否准确的影响较大。单纯性算法的优势在于它不需要计算梯度，在优化过程中，它首先建立一个由n+1个顶点构成的单纯形，代价函数在每个顶点位置上进行一次计算；随后，算法利用反射、18 中北大学学位论文膨胀、收缩等操作对单纯形进行变换，搜索代价函数的最小值。梯度下降优化算法的基本思想是对目标函数进行求导进而得到极值的一种方法，该方法简便同时无限制条件，对相似性测度进行优化时通常是运用若干一维线性优化搜索的形式得到。换句话说即各轮迭代均会使用到上轮迭代获取的极小值点，沿着目标函数值下降最快的方向，即该点的负梯度方向进行优化搜索。若为迭代步长。梯度下降算f()x法实现的关键是pp(2.25)计算图像的梯度。kk1kxk牛顿法即牛顿-拉弗森方法，类似于梯度下降优化算法，同样是对目标函数进行求导进而得到极值的一种方式，不同的是其进行的是二次求导，其优势是迭代次数少同时收敛迅速，然而在运用这种方法时，若Hessian矩阵稠密，那么在进行迭代的过程中就需要更多的计算量，同时每一步迭代也要进行海森矩阵逆的计算，因而如若计算问题比较复杂，就会导致计算量非常大，有时候无法得到结果，同时其对所需的存储空间要求也会很高，所以在海量数据的迭代方面，该方法不适合。随着研究的进展，出现了海森矩阵的近似矩阵，进而取代了逆的计算，也就是拟牛顿法，拟牛顿法的收敛速度介于梯度下降法和牛顿法之间，是超线性的。2.4图像配准评价方法针对目前非刚性医学图像配准方法所得配准结果，一般不仅从精度高低、也从普适性、复杂度、稳定性、可行性等多层面来评估，一般而言，对配准结果的衡量分成主、客观两种评定方式。所谓客观评估，主要是针对结果采取固定的标准来进行定量计算的一种形式，多数的相似性测度可作为这种标准，具体的计算方式参见上文。本文三、四章实验部分采用均方根误差(RootMeanSquaredError，RMSE)来衡量图像配准精度，其数学表达式如公式(2.26)所示：MN2RijFij,,ij00RMSE(2.26)MN其中Rij,和Fij,分别是参考图像R，浮动图像F在点ij,处图像块的稀疏表示，19 中北大学学位论文M×N是图像的分辨率。RMSE值越小，配准效果越好。所谓主观评估主要是指将定量评估结果和主观预判进行组合，以完成对结果的评估。具体为下面几类：（1）专家评估：将配准结果交由专业的医务工作人员，并利用其专业知识与经验来进行主观的评判；（2）差值图像：将结果图与参考图进行差值计算，通过对运算后的差值图的细节多少来评判好坏；（3）对应点辨识：通过在结果图选取关键点与参考图中对应的点进行对比，来得到评估结果。2.5本章小结随着科技、计算机水平及其现代医学研究的不断发展，将计算机图像处理与医学影像学科结合的图像配准技术正成为一个热点课题，而其在医学图像处理领域的作用为医学领域带来革新。本章在前文研究的基础上，主要探究了非刚性医学图像配准的相关理论，从数学的角度来探究该技术的基本原理，然后对其分类方法进行了分析，最后从四个层面即空间变换、图像插值、相似性测度和优化算法来分别研究了现代医学配准技术，并介绍了对实验结果的主客观评估方法，为后续章节的内容打好理论基础。20 中北大学学位论文第三章基于多层P样条和稀疏编码的非刚性医学图像配准在本章中，提出一种基于多层P样条和稀疏编码的非刚性医学图像配准方法。该算法能够解决传统相似性测度易受灰度偏移场的影响而造成误配，单层P样条变换模型中通常无法准确选择初始化网格密度的问题，该方法在P样条的基础上让网格控制节点由少变多，直至在某个网格密度下配准的误差最小，并使用基于图像块稀疏编码的相似性测度，不仅考虑了医学图像中存在灰度不均匀性造成的灰度偏移场，也考虑了像素之间的空间依赖性，同时使用K-SVD算法，相比确定的字典，适用范围更广。通过仿真实验，验证了该方法的有效性。3.1P样条函数几何变换模型在二维图像中，控制点位置为，间距为的网格，其P样条函数的自由形ijxy式变换可描述为：33Txy,lmiuvl,jmP(3.1)lm00xyxxyy其中：i1，j1，u，v。表示取整数值运算。xyxxyy()u表示三次P样条第l个基函数。l3(1u)()u0632364uu()u16323331uuu()u263u()u36总的惩罚P为：PPIIPPIIP(3.2)01kk011023kk233221 中北大学学位论文其中，P，P，P，P分别代表边缘基B，B，B，B的惩罚，，，，012301230123为平滑系数，I，I，I，I为单位矩阵。k0k1k2k33.2图像块稀疏编码的相似性测度假设两个图像之间的灰度关系如下：RFTS(3.3)其中，R表示参考图像，F表示浮动图像，S表示灰度不均匀性造成的灰度偏移场，T是空间变换。在分析模型中，用以下等式来定义一幅图像的稀疏表示:Y(3.4)其中Y是稀疏系数矩阵，是分析字典，是图像块的稀疏表示。根据公式(3.4)，得到参考图像和浮动图像的稀疏表示分别为：R(3.5)RF(3.6)F现在，寻找等式(3.3)和它的稀疏表示之间的关系，在等式(3.3)两边都乘以，在稀疏域中得到如下的线性关系：RF(())TS(3.7)RFS其中S，是灰度校正场的稀疏表示。这里将l范数作为相似性测度。S1通过最大后验概率(Maximumaposteriori，MAP)的方法来近似估计T，最大化以下的可能性：PTRF,,PRFTPTPSRFPT(3.8)S12其中PT,是图像的联合可能性，P(T)，Pe分别是变形场和上的RFSS先验概率，在(3.8)中，后验概率的最大化不包括P(T)，因此等价于以下目标函数的最小化:22 中北大学学位论文TIargmaxnPRF,TPTS12argmaxIneargminS1argminRF1argminRF1因此有如下的相似性测度:LSMRF1,RF(3.9)13.3基于多层P样条和稀疏编码的非刚性医学图像配准3.3.1多层P样条几何变换模型由于单层P样条的配准受控制网格稀疏程度的影响，通常无法准确选择初始化网格密度。多层P样条的FFD是通过逐层增加控制网格密度来解决网格密度选择精确性的问题。多层P样条函数可描述为：33Txlevel,yluvmiljm,Plm00(3.10)LlTxy,,Tlevelxyl1由公式(3.10)可知，Tx,y可以转化为在某个控制网格下所有控制顶点值的问levell题，即浮动图像F中任何一个标记点x,y的形变是通过P样条加权相邻的4×4个控制点的位置来表示的。首先在待配准的两幅图像的对应位置上提取图像块标记点集xy,和RiRixyFi,Fi。配准的目的是找到一种变换函数使得xFiTxyxRi,Ri，yTxyFiyRi,Ri，i=1,2,…,n。构造覆盖于图像块标记点集xy,和xy,的控制网格序列,,...,，对应RiRiFiFi01l23 中北大学学位论文的插值函数为TTT,,...,。假设中控制点之间的距离为的一半，首先算法从初始控制01lll1网格开始进行计算，在上得到逼近控制点集的插值函数为T，T，是对00x0y01xFixTxyRix0Ri,Ri，yyTxyFiRiy0Ri,Ri的逼近，之后逐层增加控制网格是为了减小逼l近误差。依此类推，所产生的逼近函数T，T，是对数据点集xyT,,和lxlylRiRixll1llxyTRi,,Riyl的逼近，其中TxxxlF=,iRiTxl1xyRiRi，l0l1lTyyyl=,FiRiTyl1xyRiRi。l0这样可以通过标记点的最小误差来确定P样条的层数l，最终的逼近函数是TTT,,...,01l之和。依据公式(3.10)，通过控制点坐标位移对浮动图像的相应区域进行更新来拟合图像形变。3.3.2基于稀疏编码的L1SM首先使用步长为1的滑动窗把两幅含有灰度偏移场的参考图像和浮动图像RFI,MN划分成大小为mm的图像块。对于源图像R，F，都有MmNm11个图像块。把两幅图像的图像块分别记为：IRR12,RR,...,n，IFF12,FF,...,n。训练集为两幅图像中图像块的集合：IRRRFFF12,,...,nn,12,,...,然后使用K-SVD算法训练图像块，记录训练得到的分析字典，寻找每个图像块的稀疏系数Y。本过程主要分为两个阶段：稀疏编码和字典更新。i稀疏编码阶段，需要计算图像块IRRRFFF,,...,,,,...,在字典上的稀疏系数Y。12nn12iYs.t.Y(3.11)min0Y其中Y表示稀疏系数向量Y中非零元素的个数，表示允许偏差的精度。上述公024 中北大学学位论文式的求解过程称为“稀疏编码”。在字典更新阶段，对字典中的每个原子进行更新，假定系数Y和字典都是固定的，kkk待更新字典的第k列为，令稀疏系数矩阵中Y与相乘的第k行为Y，则公式(3.11)T可以写为：2k2jYYFjT(3.12)j1FjEkjYT(3.13)jk公式(3.13)为除第k个原子以外其它原子产生的表示误差。定义kwiikkT1,0Yi为含有原子k成分的图像块i的索引所组成的集合，定义大小kk为Nw的矩阵D，矩阵元素wii,为1，其它矩阵元素均为0。定义向量YYD（长kkkQTkQ度为w），定义矩阵EED（大小为nw，是去掉不受原子影响的样本中带来kkkkkk的误差）此时公式(3.13)等价于：22kQkEDYDEY(3.14)kkkTkkkQFFQ将误差矩阵E进行奇异值(SingularValueDecomposition，SVD)分解，得到kQTEUV(其中中的奇异值是由大到小排列的)，记为U中的第一列。使用来kkkk更新字典中的,同时将矩阵V中的第一列与1,1的乘积来更新稀疏系数矩阵中的Y，kQ实现字典的更新。K-SVD是一种迭代算法，通过交替地执行稀疏编码和字典更新的这两个步骤得到分析字典和两幅图像中图像块的稀疏表示，。RnFn然后通过L1SM计算图像块的相似性程度：LSM1RFRF11综上所述，本文提出的基于多层P样条和稀疏编码的医学图像配准方法的算法流程如图3.1所示：25 中北大学学位论文开始读入两幅待配准图像初始化多层P样条及各模块参数参考图像R浮动图像F多层通过K-SVD算法进行字典学习P样参考图像R和浮动图像F的稀疏表示条FF相似性测度L1SMD否停止标准？更新变换是输出配准后图像和控制网格结束图3.1本文算法流程图(1)读入两幅分辨率相同的待配准的医学图像，分别记为参考图像R和浮动图像F。(2)初始化多层P样条变换模型参数和其它模块的相关参数，网格大小初始值设为4×4，参考图像和浮动图像之间的配准误差为10-4，梯度下降法的最大迭代次数为30次。(3)使用K-SVD算法训练图像块，记录得到的分析字典，寻找每个图像块的稀疏表示。计算两幅图像L1SM的初始值。LSM1RF1(4)将相似性测度函数L1SM作为优化模块目标函数的第一部分CR,F，另sim一部分加入相关的几何变换的约束，使待配准的两幅图像之间保持权衡，并且变换光滑。CRFCRF,,simCsmooth(3.15)26 中北大学学位论文222122TTT2Cd2Xsmooth22Axyxy其中A是区域的面积，是权重参数。(5)本文利用梯度下降法迭代地优化目标函数，进而更新变形场，本文的L1SM的导数表达式如下：TLSM1signRFF(3.16)F为浮动图像的梯度，表示变换参数，sign(.)为符号函数。(6)使用多层P样条变换更新浮动图像。变形过程是重复迭代的，如此循环，直到得到最优的变形场。(7)输出配准后的浮动图像和控制网格。3.4实验结果与分析本文的实验环境为：计算机CPU为Intel（R）core（TM）i5-4200M，内存64位，操作系统为Windows8.1版本，编程平台为Matlab2013a。3.4.1相似性测度（Similaritymeasure）对配准的影响图3.2给出了一组头颅矢状面图在不同相似性测度下的配准结果。3.2(a)、3.2(b)分别作为参考图像和浮动图像，分辨率为354×353。为了比较，选取文献[40]中的Sparse-induced相似性测度和文献[41]中的Rank-Induced相似性测度与本文的L1SM进行对比实验，配准结果如图3.2所示。(a)参考图像(b)浮动图像(c)多层P样条+SISM(d)多层P样条+SISM网格27 中北大学学位论文(e)多层P样条+RISM(f)多层P样条+RISM网格(g)多层P样条+L1SM(h)多层P样条+L1SM网格图3.2第一组实验配准效果由图3.2(c)和3.2(d)可看出，使用SISM只在枕叶处没有配准，形变网格较光滑；由图3.2(e)和3.2(f)可看出，使用RISM后的配准结果略优于SISM，形变网格更为光滑；而由图3.2(g)和3.2(h)可看出，使用L1SM在各处均配准且形变网格光滑，未出现折叠现象。为客观评价配准效果，本文主要从配准精度和算法耗时(T/s)两个方面同已有相关文献进行比较，其中采用均方根误差RMSE来衡量图像配准精度。为定量比较，实验3.4.1中配准后的浮动图像与参考图像的RMSE值与配准运行时间如表3.1所示:表3.1实验1各相似性测度均方根误差和时间比较配准方案均方根误差配准时间/(RMSE)/(T/s)多层P样条+SISM0.9661602.9多层P样条+RISM0.8622573.6多层P样条+L1SM0.7644628.9表3.1给出在多层P样条变换下SISM[40]、RISM[41]与本文的L1SM配准结果的定量指标。表中数据是5次实验数据的平均值。依据对实验结果中配准后图像，控制网格的形变网格以及表3.1的分析，得出基于稀疏编码的L1SM相比SISM、RISM对含有灰度偏移场的图像有着更好的配准表现；RMSE分别下降了20.88%和11.34%。出现上述现象主要因为本文的方法是基于图像块的，字典是通过K-SVD算法对图像块训练得到的。与固定字典相比，从实验数据中学习的字典能够获得更好的稀疏表示。但从配准时间上来看，基于稀疏编码的L1SM的效率要略低于SISM和RISM。28 中北大学学位论文3.4.2控制网格分层对配准的影响图3.3给出一组脑部MR图像在不同网格密度下的配准结果，图像分辨率为557×583。其中，3.3(a)作为参考图像，3.3(b)作为浮动图像，图3.3(c)、3.3(d)，3.3(e)、3.3(f)，3.3(g)、3.3(h)分别显示了在4×4，8×8，16×16网格密度下的配准结果。(a)参考图像(b)浮动图像(c)L1SM(4×4)(d)4×4形变网格(e)L1SM(8×8)(f)8×8形变网格(g)L1SM(16×16)(h)16×16形变网格图3.3不同网格密度下的配准结果由图3.3(d)、3.3(f)和3.3(h)可看出，若控制网格稀疏，由于控制顶点数目较少，每一个控制点影响的区域较大，随着控制点的稠密，每一个控制点影响的区域也逐渐变小。为定量比较，图3.3中配准后图像与参考图像的RMSE值和配准运行时间如表3.2所示:表3.2网格稀疏程度对配准的影响配准方案均方根误差配准时间/(RMSE)/(T/s)L1SM（4×4）0.7217432.4L1SM（8×8）0.6949622.6L1SM（16×16）0.6683692.3表3.2给出在4×4，8×8，16×16网格密度下配准结果的定量指标。表中数据是5次实验数据的平均值。结果显示在16×16网格密度下RMSE最小，表明控制点越稠密，配29 中北大学学位论文准后两幅图像差异越小，配准效果越好，但算法耗时也越长。因此为准确选择网格密度，本文采用多层P样条几何变换，控制网格由疏到密，模拟从全局到局部的变形，来解决此问题。为验证本文算法的优越性，图3.4给出了两组待配准图像。图3.4(a)、(b)为第一组待配准的两幅脑部MR切片图像，其中3.4(a)作为参考图像，3.4(b)作为浮动图像。图3.4(c)、(d)为第二组待配准的两幅脑部MR横断面图像，其中3.4(c)作为参考图像，3.4(d)作为浮动图像。为了比较，选取文献[23]中的单层P样条配准与本文的多层P样条配准对图3.4中两组图像进行对比实验，配准结果和配准后图像差如图3.5所示。(a)参考图像1(b)浮动图像1(c)参考图像2(d)浮动图像2图3.4待配准的两组图像(a)文献[23]配准结果及配准后图像差(c)文献[23]配准结果及配准后图像差(b)本文配准结果及配准后图像差(d)本文配准结果及配准后图像差图3.52种变换方法下配准结果和配准后图像差由图3.5(a)和3.5(b),3.5(c)和3.5(d)中配准后图像差不难看出，使用本文算法对浮动图像进行几何变换后得到的配准图像与参考图像的图像差要比文献[23]中算法进行几何30 中北大学学位论文变换后得到的配准图像与参考图像的图像差差异性要小。为定量比较，图3.5中两组图像在各算法下的配准精度和算法耗时如表3.3所示:表3.32种变换方法下均方根误差和时间比较配准方案均方根误差配准时间/(RMSE)/(T/s)第一组图像文献[23]0.8813523.1本文0.7393581.7第二组图像文献[23]0.8287619.5本文0.7504547.7表3.3给出两组图像在单层P样条变换与多层P样条变换下配准结果的定量指标。表中数据是5次实验数据的平均值。结果显示两组图像的RMSE值均在多层P样条配准下较小，从配准后图像差以及表3.3不难看出，两组实验中多层P样条变换都能得到较好的配准结果。这是因为文献[23]在选择控制网格密度时，通常有一定的不确定性，配准的精度和耗时往往受控制网格疏密的影响。而本文采用多层次P样条变换的方法，通过逐层增加控制网格密度并限定最小误差来准确选择网格密度，最终得到更精确的配准结果。依据上述两个实验的实验结果及分析，表明了基于多层P样条和稀疏编码的非刚性医学图像配准方法降低了配准误差，提升了配准效果。3.5本章小结本章将稀疏编码和多层P样条几何变换模型用于非刚性医学图像配准，解决了传统相似性测度对灰度不均匀性鲁棒性较差以及单层P样条变换模型对初始化网格密度选择不准确的问题。仿真实验结果表明，本文算法能够准确选择网格密度并提升了图像配准的鲁棒性，但由于需要对图像块的训练和对控制网格分层，该算法相比传统的方法需要较多的时间，且仅在单模态配准中有着理想的配准效果，因此提升配准效率，实现适用在多模态医学图像配准是接下来的研究重点。31 中北大学学位论文32 中北大学学位论文第四章基于多通道稀疏编码的非刚性多模态医学图像配准在上一章中，所提基于多层P样条和稀疏编码的配准方法经实验验证对含有灰度偏移场的单模态医学图像有着较好的配准表现，本章在此基础上，为使该方法用于多模态配准，使其在多模态配准中对灰度偏移场也具有较好的鲁棒性，提出了多通道稀疏编码的非刚性多模态医学图像配准方法，该方法将多通道与基于学习的稀疏编码相结合，使多模态配准问题变为一个多通道配准问题，首先把待配准的两幅图像分别进行合成和正则化，然后划分通道，经划分通道后每个通道中图像的模态相同，使用K-SVD算法训练每个通道中的图像块得到分析字典和稀疏系数，求得相似性测度，最后对每个通道进行加权求和。最终的实验结果表明，多通道稀疏编码在非刚性多模态医学图像配准中能够有很好的配准效果，在保持单模态配准中稀疏编码相似性测度对存在灰度不均匀性的医学图像具有较好鲁棒性的优势的同时，通过与多通道配准框架的结合，使其适用于多模态医学图像配准。4.1多通道配准框架多通道配准是将不同模态的图像划分为多个通道，每个模态在一个单独的通道下运行。在单通道配准中，假设R（x）表示参考图像，F（x）表示浮动图像，T为空间变换。通过T来最小化能量函数E：ECTFR,(4.1)simC是相似性测度。sim在多通道配准中，将单个通道的能量函数的加权和作为最终的相似性测度函数E。MCE的计算方式为：MCMEwMCmsCTimmm-FR,m(4.2)m133 中北大学学位论文式(4.2)中，M表示模态的总数，FF，，...,F为浮动图像集，RR，，...,R12M12M为参考图像集，w为每个模态m对最终能量函数贡献的权重，C是与每个模态相msimm-关的通道所使用的相似性测度。假设浮动图像为第一模态FF，参考图像为第二模态RR。在多通道配准框架12中，需使用图像合成方法，能量函数为：EwMC1Csim-1FR11T,w2Csim2FR22T,(4.3)其中F2，R1和F1，R2分别为F1，R2的合成图像与正则化图像，w1和w2是通道权重，C与C是两个通道中每个通道的图像灰度的相似性测度。在多通道配准框架sim1sim2中，每个通道是单模态的。多通道配准框架如图4.1所示。单通道浮动图像F1参考图像R2双通道F1正则化合成图像F2合成图像R1R2正则化图4.1多通道配准框架4.2基于多通道稀疏编码的相似性测度由于脑影像中都存在缓慢变化的灰度偏移场，而基于稀疏编码的l范数相似性测度1对含有灰度不均匀性图像鲁棒性较好，因此分别在多通道配准框架的每个通道中使用34 中北大学学位论文L1SM作为相似性测度，总的基于多通道稀疏编码的相似性测度(multi-channellNorm1Similaritymeasure,MCL1SM)函数为:EMCL1SM=1wLSM1FR11T,wLSM21FR22T,=+ww12ααRF12FR1211αα(4.4)=ww11ΩRF1122ΩRF2211其中w、w分别为每个通道对E的贡献权重；Ω、Ω分别为两个通道中的分12MCL1SM12析字典；α为对应图像块的稀疏表示，.表示l范数。114.3基于多通道稀疏编码的非刚性多模态医学图像配准4.3.1图像合成图像合成的目的是使用一种模态的图像来估计不同模态中具有相同主体的图像。本文使用jog.etal(2013)[52]提出的图像合成方法来合成缺失的模态F2和R1，其中F2源于F1，R1源于R2。给出模态m1的一幅图像F1来合成相同主体但具有模态m2的组织对比度的图像F2。使用FF2xrpii211，i=1，2，....，N，估计具有模态m2的缺失图像。其中xi为第ith像素，i=1，2，....，N，r是通过jog.etal(2013)[52]中的回归森林方法训练得到的21非线性映射，pF是与浮动图像F中像素x对应的图像块，每个像素对应的图像块大i11i小d设为27。同理，使用模态m的一幅图像R来合成与R有相同主体但具有模态m的组织对比2221度的图像R1。采用同样的回归森林方法训练第二个非线性映射r12。通过RR1xrpii122，i=1，2，....，N，来估计具有模态m1的缺失图像。其中piR2是与35 中北大学学位论文参考图像R中像素x对应的图像块，每个像素的块大小d也为27。2i4.3.2图像正则化合成图像与源图像不同，因为它们的灰度源于图像集且通常具有不同的灰度范围，为了在多通道配准过程中提供更好的配准图像，要对源图像执行归一化处理。这里将归一化回归森林方法用于原始浮动图像和参考图像，通过FF1xrp，i=1，2，....，ii111N。产生具有与合成图像R1相似特征的归一化浮动图像F1。同理，通过RR2xrpii222，i=1，2，....，N。产生具有与合成图像F2相似特征的归一化参考图像R2。4.3.3划分通道和图像块R1是模态m2的图像R2通过合成得到的相同主体但具有模态m1的组织对比度的图像，将其与具有与合成图像相似特征的归一化浮动图像F1划分为第一个通道。同理，将模态m1的一幅图像F1通过合成得到相同主体并具有模态m2组织对比度的图像F2，与具有与合成图像相似特征的归一化参考图像R2划分为第二个通道。然后使用步长为1的滑动窗把含有灰度偏移场的浮动图像和参考图像R,FI的合成图像与正则化图像MN划分成大小为mm的图像块。对于图像F2,R1,F1,R2，都有MmNm11个图像块。将每个通道中两幅图像的图像块作为训练集，分别记为：IR11,RR12,...,1n，IF11,FF12,...,1n；IF21,FF22,...,2n，IR21,RR22,...,2n。R1F1F2R2然后使用迭代K-SVD算法分别训练两个通道中两幅图像的图像块得到分析字典Ω、Ω，此过程交替地执行稀疏编码和字典更新两个步骤，具体求解过程同本文第三1236 中北大学学位论文章3.3.2部分。4.3.4算法流程本章提出的基于多通道稀疏编码的非刚性多模态医学图像配准方法的算法流程如图4.2所示。开始读入两幅待配准图像初始化多层P样条及各模块参数回归森林方法得到多分别使用K-SVD算法进行字典学习层P样分别得到字典及各图像块的稀疏表示条FFD相似性测度加权和否停止标准？更新变换是输出配准后图像结束图4.2本文算法流程图(1)读入两幅分辨率相同的待配准的医学图像，分别记为参考图像R和浮动图像F。(2)初始化多层P样条自由形式变换（Free-FormDeformation，FFD）模型参数和优化模块中优化的迭代次数和迭代的最小误差，参考图像和浮动图像之间的配准误差为10-4，梯度下降法的最大迭代次数为30次。37 中北大学学位论文(3)使用回归森林方法得到合成图像F2，R1与正则化图像F1，R2。(4)使用K-SVD算法分别训练每个通道中的图像块，得到分析字典Ω、Ω和每个图12像块的稀疏表示。在每个通道分别使用L1SM，计算每个通道L1SM的初始值：LSM111ΩRF11，LSM122ΩRF22。并计算两个通道相似性测度的能量函数的加11权和：EwMCL1SM=1Ω1RF11w2Ω2RF22。11(5)将多模态相似性测度函数ww11ΩRF1122ΩRF22作为优化模块目标函数的11第一部分E，另一部分加入相关的平滑变换，使待配准的两幅图像之间保持权衡，MCL1SM并且变换光滑。CECR,F(4.5)MCL1SMsmooth222122TTT2Cd2Xsmooth22Axyxy其中A是区域的面积，是权重参数。(6)本文利用梯度下降法迭代地优化目标函数，进而更新变形场，本文E的梯度MCL1SM表达式计算过程如下：TEwMCL1SM1ΩΩ1sign1RFF111(4.6)Tws22ΩΩign2RFF222其中：F1、F2为正则化浮动图像与合成浮动图像的梯度，表示变换参数，sign(.)为符号函数。(7)使用多层P样条FFD[53]对浮动图像的相应区域进行更新来拟合图像形变。变形过程是通过重复迭代，直到得到最优变形场。(8)输出配准后图像。38 中北大学学位论文4.4实验结果与分析本文的实验环境为：CPU为Intel（R）CoreTMi5-7500，内存8GB，操作系统为Windows10，编程平台为Matlab2013a。为了验证MCL1SM在非刚性多模态医学图像配准中具有对灰度偏移场鲁棒性好的的特点，本文进行了大量的仿真实验，并与文献[23]中局部互信息（RegionalMutualInformation，RMI），文献[32]中LVRC、文献[40]中SISM和文献[41]中RISM在多通道配准框架下的MCLVRC、MCSISM和MCRISM进行了比较。实验首先选用BrainWebdatabase[54]的脑部MR数据，这里对其进行人工形变并施加不同程度的灰度不均匀场，图4.3显示了待配准的切片厚度为1mm的三组图像，图4.3(a)(c)(f)为T1加权图像，图4.3(b)(d)(e)为T2加权图像。图4.3(a)(b)为第一组待配准的两幅图像，均是加入20%灰度偏移场的非均匀脑部矢状面图像。图4.3(c)(d)为第二组待配准的两幅图像，同样是加入20%灰度偏移场的非均匀脑部横断面图像。图4.3(e)(f)为第三组待配准的两幅图像，分别是加入40%，20%灰度偏移场的非均匀脑部冠状面图像，将图4.3(a)(c)(e)作为浮动图像，图4.3(b)(d)(f)作为参考图像；分别使用RMI、MCLVRC、MCSISM、MCRISM与本文MCL1SM这5种测度进行配准对比试验，配准结果分别如图4.4-4.6所示。(a)浮动图像1(b)参考图像1(c)浮动图像2(d)参考图像239 中北大学学位论文(e)浮动图像3(f)参考图像3图4.3待配准的三组图像RMIMCLVRCMCSISMMCRISMMCL1SM(a)配准结果(b)差值图像图4.4矢状面T1/T2加权图像用不同相似性测度得到的配准结果及差值图像RMIMCLVRCMCSISMMCRISMMCL1SM(a)配准结果40 中北大学学位论文(b)差值图像图4.5横断面T1/T2加权图像用不同相似性测度得到的配准结果及差值图像RMIMCLVRCMCSISMMCRISMMCL1SM(a)配准结果(b)差值图像图4.6冠状面T1/T2加权图像用不同相似性测度得到的配准结果及差值图像其次选用哈佛大学医学院[55]的两组脑部数据，对其进行人工形变并施加不同程度的灰度不均匀场，图4.7显示了待配准的两组图像，图4.7(a)(c)为MRI图像，图4.7(b)为CT图像，图4.7(d)为PET图像。图4.7(a)(b)为第一组待配准的两幅图像，是脑肿瘤MRI/CT图像；图4.7(c)(d)为第二组待配准的两幅图像，是脑部IV级星形细胞肿瘤MRI/PET图像。将图4.7(a)(c)作为浮动图像，图4.7(b)(d)作为参考图像；分别使用RMI、MCLVRC、MCSISM、MCRISM与本文MCL1SM这5种测度进行配准对比试验，配准结果分别如图4.8-4.9所示。41 中北大学学位论文（a）浮动图像MRI（b）参考图像CT（c）浮动图像MRI（d）参考图像PET图4.7待配准的两组图像RMIMCLVRCMCSISMMCRISMMCL1SM(a)配准结果(b)差值图像图4.8CT/MRI图像用不同相似性测度得到的配准结果及差值图像RMIMCLVRCMCSISMMCRISMMCL1SM(a)配准结果42 中北大学学位论文(b)差值图像图4.9PET/MRI图像用不同相似性测度得到的配准结果及差值图像图4.4-4.6，图4.8-4.9对应五组待配准图像分别使用RMI，MCLVRC、MCSISM、MCRISM，和本文MCL1SM配准后所得图像和经差值运算得到的差值图像。由图4.4-4.6，图4.8-4.9中5组图像在不同相似性测度下配准后图像差不难看出，使用本文相似性测度得到的配准图像与参考图像的图像差要比RMI、MCLVRC、MCSISM、MCRISM得到的配准图像与参考图像的图像差差异性要小，配准后两幅图像差异性越小，配准效果越好。为客观评价配准效果，本文主要从配准精度和耗时(T/s)同已有相关文献进行比较，其中采用均方根误差(RMSE)来衡量图像配准精度。RMSE值越小，配准效果越好。为定量比较，图4.3中三组图像在各相似性测度下配准后图像与参考图像的RMSE值与配准运行时间如表4.1所示。表4.1T1/T2加权图像在各相似性测度均方根误差和时间比较配准方案RMSE配准时间/s第一组图像RMI1.2148493.2MCLVRC1.0917480.3MCSISM1.1941593.1MCRISM0.9682658.4本文算法0.7900696.0第二组图像RMI1.0810423.2MCLVRC0.9749455.3MCSISM1.0149573.343 中北大学学位论文MCRISM0.8678637.0本文算法0.7242660.6第三组图像RMI1.1508471.8MCLVRC1.0736455.7MCSISM1.0532692.3MCRISM0.9539679.4本文算法0.7737709.6图4.7中两组图像在各相似性测度下配准后图像与参考图像的RMSE值与配准运行时间如表4.2所示。表4.2CT/MRI、PET/MRI在各相似性测度均方根误差和时间比较配准方案RMSE配准时间/sCT/MRIRMI1.3183487.7MCLVRC1.2377480.9MCSISM1.1889668.9MCRISM1.0582642.7本文算法1.0553699.4PET/MRIRMI1.3605463.4MCLVRC1.0684468.4MCSISM1.3374590.2MCRISM1.2227650.5本文算法0.8919678.3表4.1~4.2给出在RMI、MCLVRC、MCSISM、MCRISM与本文的MCL1SM配准结果的定量指标。表中数据是5次实验数据的平均值。依据对实验结果中配准结果，差值图像及表4.1~4.2的分析，得出基于MCL1SM相比RMI、MCLVRC、MCSISM、MCRISM在多模态非刚性配准中对含有灰度偏移场的图像有更好的配准表现；RMSE平均分别下降了30.86%、22.24%、26.84%和16.49%。44 中北大学学位论文出现上述现象主要因为本文的方法是基于图像块且字典是通过K-SVD算法对图像块训练得到的，并在此基础上，对来自不同模态的图像进行合成和正则化，与固定字典和基于信息理论的相似性测度相比，从实验数据中学习字典的l范数相似性测度在多通1道配准框架下能够对存在灰度不均匀场的多模态医学图像有很好的鲁棒性。但从配准时间上来看，基于稀疏编码的MCSISM、MCRISM、MCL1SM的效率要略低于RMI、MCLVRC。4.5本章小结本章将基于学习的稀疏编码和多通道配准框架相结合用于多模态非刚性医学图像配准，解决了多模态配准中传统相似性测度对灰度不均匀性鲁棒性较差的问题。仿真实验结果表明，本文算法能够较准确地对多模态医学图像进行配准并提升了图像配准的鲁棒性，但由于需要对图像进行合成、正则化，并对图像块进行训练，该算法相比传统的方法时间效率较低，因此如何提升该算法的配准效率是接下来进一步研究的重点。45 中北大学学位论文46 中北大学学位论文第五章非刚性医学图像配准系统本章在三、四章所提方法的基础上，对于单模态医学图像使用多层P样条稀疏编码方法，对于多模态医学图像使用多通道稀疏编码方法，设计并开发了非刚性医学图像配准系统，以用于配准不同类型的医学图像。以下从系统设计的目的及意义，系统总体设计，系统模块功能实现三部分进行介绍。5.1系统设计的目的及意义非刚性医学图像配准技术是计算机视觉和医学图像处理领域的一个重要组成部分，在临床医学领域有非常广泛的应用。本文的非刚性医学图像配准系统是在基于多层P样条和稀疏编码相似性测度的基础上设计并实现的，实现了单模态、多模态的医学图像配准和多模态的医学图像融合，在医学图像配准领域有一定的实用价值。本系统的设计与实现是基于本文三、四章中提出的多层P样条和单通道、多通道稀疏编码相似性测度的配准算法进行的，完成了单模态、多模态的图像配准过程和多模态图像融合过程。5.2系统总体设计基于稀疏表示的非刚性医学图像配准系统主要分为四个模块：(1)文件的简单操作:手动选择即将进行配准的参考图像和浮动图像；对配准后的图像和多模态融合后的图像进行保存。(2)单模态图像配准模块：使用本文第三章提出的多层P样条几何变换模型和单通道稀疏编码配准算法实现单模态图像的配准。(3)多模态图像配准模块：使用本文第四章提出的多通道稀疏编码配准相似性测度实现多模态图像的配准。(4)多模态图像融合模块：使用基于K-SVD算法的全局训练字典的融合方法。47 中北大学学位论文读入源图像文件操作保存配准结果保存融合结果配准图像单模态图像多层P样条配准+L1SM形变网格非刚性医配准结果参数学图像配配准图像准系多模态图像多层P样条统配准+MCL1SM差值图像配准结果参数基于K-SVD算法多模态图像的全局训练字典多模态参考图像和配准融合的融合方法图像的融合结果图5.1系统模块结构图其中单模态，多模态图像配准的算法流程详见本文第三章的3.3.2与第四章[56]的4.3.4；基于K-SVD算法的全局训练字典的融合方法的基本流程如下：1)使用K-SVD算法通过从训练样本中学习，获得一个过完备的字典；2)在过完备字典的作用下，使用正交匹配追踪算法将已配准的图像和参考图像作为待融合的源图像进行稀疏编码得到两个稀疏表示系数；3)使用“l范数最大”的融合规则融合稀疏表示系数得到融合系数；14)最后，根据融合系数与过完备字典得到融合图像。5.3系统模块功能实现基于本文第三、四章和的内容，本系统建立在Matlab[57]平台上，开发的硬件环境为Intel(R)Core(TM)i5-7200U@3.10GHz处理器、8GB运行内存，软件环境为64位windows10操作系统、MatlabR2013a。48 中北大学学位论文5.3.1系统运行主界面双击“match2018”进入系统运行主界面，如图5.2所示。图5.2系统运行主界面5.3.2单模态图像配准模块运行界面输入参考图像A及浮动图像B，在图像配准相似性测度处选择“L1SM”，点击“开始配准”按钮，得到配准图像和形变网格，如图5.3和5.4所示。点击“保存结果”，得到配准图像。49 中北大学学位论文图5.3输入待配准的两幅单模态图像界面图5.4L1SM方法实现单模态图像配准运行界面5.3.3多模态图像配准模块运行界面输入两组源图像A及源图像B（CT/MRI,PET/MRI），在图像配准相似性测度处选择“MCL1SM”，点击“开始配准”按钮，得到配准图像，如图5.6和5.8所示。点击“保50 中北大学学位论文存结果”，得到配准结果。图5.5输入待配准的CT/MRI图像界面图5.6MCL1SM方法实现CT/MRI图像配准运行界面51 中北大学学位论文图5.7输入待配准的PET/MRI图像界面图5.8MCL1SM方法实现PET/MRI图像配准运行界面5.3.4多模态图像融合模块运行界面点击“开始融合”按钮，利用基于K-SVD算法的全局训练字典的融合方法对图5.6和5.8中得到的配准图像分别与其参考图像进行融合，得到融合图像，如图5.9和5.1052 中北大学学位论文所示。点击“保存结果”，得到融合结果。图5.9CT/MRI图像融合运行界面图5.10PET/MRI图像融合运行界面53 中北大学学位论文5.4本章小结本章在论文第三章、第四章基于多层P样条几何变换模型和单通道、多通道稀疏编码相似性测度的配准算法的基础上，添加了多模态图像融合模块，设计并实现了功能更全面的非刚性医学图像配准系统，并介绍了该系统的各模块的相关内容，功能上实现了单模态、多模态医学图像的配准和多模态医学图像的融合，将本文改进的算法体现在系统中。本系统将本文提出的算法应用到实践中，实现了非刚性医学图像的配准，具有一定的积极意义。54 中北大学学位论文第六章总结与展望随着科学技术的迅速发展，医学成像设备也同样地取得了巨大进步。医学图像在计算机视觉和医学图像处理领域、临床诊断、治疗的作用日趋重要，在序列图像和多模态医学图像中具有重要的意义，已成为帮助医生诊断和治疗疾病的重要工具和手段。作为一直以来国内外研究的热点，目前正朝着快速、稳定、准确和自动化的方向发展。本人查阅了国内外大量的文献，包括有代表性的综述文章和近5年提出的有针对性的配准算法，研究了医学图像配准技术，针对目前配准算法存在的问题进行了分析，并提出相应的改进算法。6.1全文总结本文的主要研究内容和涉及领域包括以下几个方面:(1)介绍医学图像配准的关键技术和步骤，包括空间变换，图像插值，相似性测度和函数优化四个模块。并介绍了每部分所涉及的有代表性的算法，如灰度均方根误差、相关系数、互信息等相似性测度；B样条、薄板样条、流体模型等非刚性空间变换模型；双线性插值、PV差值等图像插值方法和Powell、梯度下降、牛顿法等优化算法，并分析其优缺点与适用范围。(2)提出一种基于多层P样条和稀疏编码的非刚性医学图像配准方法。针对传统相似性测度易受灰度偏移场的影响而造成误配，和单层P样条变换模型中通常无法准确选择初始化网格密度的问题，为解决传统相似性测度未考虑像素之间的空间依赖性，且易受灰度偏移场的影响而造成误配的问题，提出基于K-SVD算法训练图像块得到稀疏系数的L1范数相似性测度；为解决单层P样条变换模型中通常无法准确选择初始化网格密度，在P样条的基础上让网格控制节点由少变多，并限定最小误差，直至在某个网格密度下配准的误差最小。最后，通过多组脑部图像的多次实验，验证了本文方法的有效性。(3)提出一种基于多通道稀疏编码的非刚性多模态医学图像配准方法。针对稀疏编码相似性测度在非刚性医学图像配准中对灰度偏移场具有较好的鲁棒性，但只适用于单模态医学图像配准的问题，将多模态配准问题视为一个多通道配准问题来解决，每个模55 中北大学学位论文态在一个单独的通道下运行；把来自不同成像设备的待配准的两幅图像分别进行合成和正则化，然后划分通道和图像块，在每个通道中使用“K-SVD”算法训练每个通道中的图像块得到分析字典和稀疏系数，并对每个通道进行加权求和，最后，通过T1/T2加权的矢状面、冠状面、横断面三组图像，以及CT/MR，PET/MR几组脑部图像进行实验，验证了本文方法在多模态医学图像配准中的有效性。(4)在本文第三、四章提出的多层P样条+L1SM/MCL1SM和基于K-SVD算法的全局训练字典的融合方法的基础上，结合MATLAB中的GUI设计的编程算法开发了非刚性医学图像配准系统。本系统由单模态、多模态的非刚性医学图像配准和多模态医学图像融合以及对图像的文件操作四个子模块构成。6.2未来工作展望本文主要围绕像素级非刚性医学图像配准的研究，目前已做了一些工作，但医学图像配准领域仍有许多问题亟待解决，本文的研究仍很有限，还需从以下几个方面完善：(1)本文提出的多层P样条几何变换模型和稀疏编码的相似性测度由于需要对控制网格分层，对图像进行合成、正则化，和对图像块进行训练，该算法相比传统的方法时间效率较低，因此如何提升该算法的配准效率进一步研究的重点。(2)深度学习的优点是精度较高，但深度学习训练成本高，往往需要大量的训练样本才能达到满意的效果，而要获得足够的未配准的医学图像数据集并为这些图像进行人工标注需要花费大量的工作量。鉴于此，本文没有选用深度学习的方法。随着数据源建设的完善，样本数据也逐步积累扩展，望后期可以将深度学习的方法引入配准的研究工作中。56 中北大学学位论文参考文献[1]赵红岩.医学影像融合算法的研究与实现[D].沈阳：东北大学,2006.[2]田捷.集成化医学影像算法平台理论与实践[M].北京：清华大学出版社,2004:9-12.[3]张娟.医学图像配准中相似性测度的研究[D].广州：南方医科大学,2014.[4]田捷,包尚联,周明全.医学影像处理与分析[M].北京：电子工业出版社,2003:56-58.[5]林修煅.Micro-CT成像系统及其应用研究[D].西安：西安电子科技大学,2012.[6]刘益含.医学图像配准的方法研究[D].大连：辽宁师范大学,2015.[7]钱慧.基于最大互信息法的医学图像配准技术研究[D].南京：南京航空航天大学,2008.[8]HillD,BatchelorP,HoldenM,etal.Medicalimageregistration.[J].PhysicsinMedicine&Biology,2001,46(3):1-45.[9]LoweDG.DistinctiveImageFeaturesfromScale-InvariantKeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.[10]BeslPJ,MckayND.Amethodforregistrationof3-Dshapes[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,14(2):239-256.[11]BayH,EssA,TuytelaarsT,etal.Speeded-UpRobustFeatures[J].ComputerVision&ImageUnderstanding,2008,110(3):404-417.[12]LindebergT.FeatureDetectionwithAutomaticScaleSelection[M].Amsterdam：KluwerAcademicPublishers,1998:92-93.[13]MikolajczykK,SchmidC.Scale&AffineInvariantInterestPointDetectors[M].Amsterdam：KluwerAcademicPublishers,2004:102-105.[14]王观英,许新征,丁世飞.基于3D-PCNN和互信息的3D-3D医学图像配准方法[J].计算机应用,2017,37(S1):215-219.[15]BajcsyR,KovačičS.Multiresolutionelasticmatching*[J].ComputerVisionGraphics&ImageProcessing,1989,46(1):1-21.57 中北大学学位论文[16]ThirionJP.Imagematchingasadiffusionprocess:ananalogywithMaxwell'sdemons[J].MedicalImageAnalysis,1998,2(3):243.[17]SederbergTW,ParrySR.Free-formdeformationofsolidgeometricmodels[J].AcmSiggraphComputerGraphics,1992,26(4):151-160.[18]RueckertD,SonodaLI,HayesC,etal.Nonrigidregistrationusingfree-formdeformations:applicationtobreastMRimages[J].IEEETransactionsonMedicalImaging,1999,18(8):712.[19]SchnabelJA,RueckertD,QuistM,etal.AGenericFrameworkforNon-rigidRegistrationBasedonNon-uniformMulti-levelFree-FormDeformations[C]//InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention,Berlin:Springer,2001:573-581.[20]PeriaswamyS,FaridH.Elasticregistrationinthepresenceofintensityvariations[J].IEEETransactionsonMedicalImaging,2003,22(7):865.[21]ShekharR,WalimbeV,RajaS,etal.Automated3-dimensionalelasticregistrationofwhole-bodyPETandCTfromseparateorcombinedscanners[J].JournalofNuclearMedicineOfficialPublicationSocietyofNuclearMedicine,2005,46(9):1488-96.[22]MarxBD.Statisticalmodellingandregressionstructure:P-splinevaryingcoefficientmodelsforcomplexdata[M].Berlin:Springer-Verlag,2010:19-43.[23]SmitaP,DiptiP.RMIbasednon-rigidimageregistrationusingBF-QPSOoptimizationandP-spline[J].InternationalJournalofElectronicsandCommunications,2015,69(3):609–621.[24]HoldenM.AReviewofGeometricTransformationsforNonrigidBodyRegistration[J].IEEETransactionsonMedicalImaging,2008,27(1):111-128.[25]SerifovićtrbalićA,DemirovićD,PrljacaN,etal.Intensity-basedelasticregistrationincorporatinganisotropiclandmarkerrorsandrotationalinformation.[J].InternationalJournalofComputerAssistedRadiology&Surgery,2009,4(5):463-468.[26]史悦,王阳萍,党建武.混合样条大尺度医学图像弹性配准算法研究[J].计算机应用研究,2016,33(3):3978-3982.58 中北大学学位论文[27]AshburnerJ,FristonKJ.Nonlinearspatialnormalizationusingbasisfunctions.[J].HumanBrainMapping,2015,7(4):254-266.[28]OrchardJ.GloballyOptimalMultimodalRigidRegistration:AnAnalyticSolutionusingEdgeInformation[C]//IEEEInternationalConferenceonImageProcessing,SanAntonio:IEEE,2007:485-488.[29]ArdekaniBA,GuckemusS,BachmanA,etal.Quantitativecomparisonofalgorithmsforinter-subjectregistrationof3DvolumetricbrainMRIscans[J].JNeurosciMethods,2005,142(1):67-76.[30]MyronenkoA,SongX.Intensity-basedimageregistrationbyminimizationofresidualcomplexity[J].IEEETransonMedicalImaging,2010,29(11):1882–1891.[31]FarniaP,AhmadianA,ShabanianT,etal.Brain-shiftcompensationbynon-rigidregistrationofintra-operativeultrasoundimageswithpreoperativeMRimagesbasedonresidualcomplexity[J].InternationalJournalofComputerAssistedRadiology&Surgery,2015,10(5):555.[32]卢振泰,张娟,冯前进等.基于局部方差与残差复杂性的医学图像配准[J].计算机学报,2015,38(12):2400-2411.[33]ViolaPA.AlignmentbyMaximizationofMutualInformation[J].InternationalJournalofComputerVision,1997,24(2):137-154.[34]StudholmeC,HillDLG,HawkesDJ.Anoverlapinvariantentropymeasureof3Dmedicalimagealignment[J].PatternRecognition,1999,32(1):71-86.[35]HermosilloG,FaugerasO.Denseimagematchingwithglobalandlocalstatisticalcriteria:Avariationalapproach[C]//CVPR2001:ComputerVisionandPatternRecognition,2001,Kauai:Proceedingsofthe2001IEEEComputerSocietyConferenceon.IEEE,2001:73—78.[36]PluimJP,MaintzJB,ViergeverMA.Mutual-information-basedregistrationofmedicalimages:asurvey.[J].IEEETransactionsonMedicalImaging,2003,22(8):986-1004.[37]PluimJP,MaintzJB,ViergeverMA.F-informationmeasuresinmedicalimageregistration[J].IEEETransactionsonMedicalImaging,2004,23(12):1508.59 中北大学学位论文[38]AndronacheA,Von-SiebenthalMG,CattinP.Non-rigidregistrationofmulti-modalimagesusingbothmutualinformationandcross-correlation[J].MedicalImageAnalysis,2008,12(1):3-15.[39]ZhaoY,SoattoS.Nonrigidregistrationcombiningglobalandlocalstatistics[C]//CVPR2009:ComputerVisionandPatternRecognition,2009,Miami:IEEEConferenceon.IEEE,2009:2200-2207.[40]GHAFFARIA,FATEMIZADEHE.Sparse-inducedsimilaritymeasure:mono-modalimageregistrationviasparse-inducedsimilaritymeasure[J].IETImageProcess,2014,8(12):728–741.[41]GHAFFARIA,FATEMIZADEHE.RISM:single-modalimageregistrationviarank-inducedsimilaritymeasure[J].IEEETransonImageProcessing,2015,24(12):5567–5580.[42]CHENGX,ZHANGL,ZHENGY.Deepsimilaritylearningformultimodalmedicalimages[J].ComputerMethodsinBiomechanicsandBiomedicalEngineering:Imaging&Visualization,2016,6(4):1–5.[43]SIMONOVSKYM,GUTIERREZ-BECKERB,MATEUSD,etal..Adeepmetricformultimodalregistration.[C]//MICCAI2016:MedicalImageComputingandComputer-AssistedIntervention2016,Athens:LectureNotesinComputerScience,2016:10–18.[44]MaintzJB,ViergeverMA.Asurveyofmedicalimageregistration.[J].MedicalImageAnalysis,1998,33(1):1-36.[45]OliveiraFP,TavaresJM.Medicalimageregistration:areview.[J].ComputerMethodsinBiomechanics&BiomedicalEngineering,2014,17(2):73-93.[46]MaintzJBA,ViergeverMA.Asurveyofmedicalimageregistration[J].MedicalImageAnalysis,1998,33(1):1-36.[47]BrownLG.Asurveyofimageregistrationtechniques[J].AcmComputingSurveys,1992,24(4):325-376.60 中北大学学位论文[48]郑莹,李光耀.区域和局部信息结合的双向医学图像配准[J].中国图象图形学报,2011,16(1):90-96.[49]梁超.基于互信息的异源图像配准研究[D].西安：西安电子科技大学,2014.[50]赵海峰,姚丽莎,罗斌.改进的人工鱼群算法和Powell法结合的医学图像配准[J].西安交通大学学报,2011,45(4):46-52.[51]陈显毅.图像配准技术及其MATLAB编程实现[M].北京：电子工业出版社,2009:11-21.[52]JOGA,ROYS,CARASSA,etal.Magneticresonanceimagesynthesisthroughpatchregression[C]//ISBI2013:10thInternationalSymposiumonBiomedicalImaging,SanFrancisco:ProcIEEEIntSympBiomedImaging,2013:350–353.[53]王丽芳,成茜,秦品乐,等.基于多层P样条和稀疏编码的非刚性医学图像配准方法[J].计算机应用研究,2018,35(07):1-2.[54]BrainWebBrainMRdata[EB/OL].[2017-11-15].http://mouldy.bic.mni.mcgill.ca/brainweb/.[55]JOHNSONKA,BECKERJA.Thewholebrainatlas[EB/OL].[2017-11-15].http://www.med.harvard.edu/aanlib/home.html.[56]王丽芳,成茜,秦品乐,高媛.基于多通道稀疏编码的非刚性多模态医学图像配准[J].计算机应用,2018,38(4):1127-1133.[57]罗华飞.MATLABGUI设计学习手册(第三版)[M].北京：北京航空航天大学出版社,2014:189-194.61 中北大学学位论文.62 中北大学学位论文攻读硕士学位期间发表的论文及所取得的研究成果发表论文：[1]王丽芳,成茜,秦品乐,等.基于多层P样条和稀疏编码的非刚性医学图像配准方法[J].计算机应用研究,2018,35(7)（已录用）[2]王丽芳,成茜,秦品乐,高媛.基于多通道稀疏编码的非刚性多模态医学图像配准[J].计算机应用,2018,38(4):1127-1133.[3]WangLF,DongX,ChengX,etal.Animprovedcoupleddictionaryandmulti-normconstraintfusionmethodforCT/MRmedicalimages[J].MultimediaTools&Applications,2018(11):1-17.(SCI收录EI检索)参加项目：[1]基于稀疏表示的多模态脑影像融合与疾病诊断,中北大学研究生科技立项项目,2017.10-2018.6.软件著作权：[1]成茜,王丽芳,董侠,王雁丽,史超宇.基于像素级方法的非刚性医学图像配准系统V1.0.(No.2017SR598983)[2]董侠,王丽芳,成茜,史超宇,王雁丽.基于像素级方法的多模态医学图像融合系统V1.0.(No.2017SR450524)发明专利：[1]王丽芳,成茜,董侠.一种基于多层P样条和稀疏编码的医学图像配准方法.(No.201710259589.0)63 中北大学学位论文64 中北大学学位论文致谢研究生生活转眼就要接近尾声了，回首这三年的时光，我不仅学会了很多知识，也成熟了许多。我感谢这三年来老师们对我知识的传授、同学们对我友爱的表达，我感谢这段时间所有的经历对我的磨练，使我能自信而坚强地面对以后的工作和生活。在这里，首先我必须要感谢我的导师王丽芳副教授，感谢她在学习及生活中给予我的指引与帮助。王老师学识渊博，在学术上具备很强的科研能力，对我的论文要求也很严格，无论是选题、开题、小论文或是毕业论文，从初稿形成到一遍遍的修改与完善，直到定稿，处处倾注着王老师的智慧与心血，每次都给予了非常认真与细心的指导，甚至花费自己的假期和休息时间，在撰写论文的日子里，每次遇到困难无法解决与老师进行探讨，都能让我茅塞顿开，可以说，因为老师，让我很有安全感和前进的动力，我非常敬佩王老师严谨务实的研究精神与诲人不倦的优良美德；在生活中，王老师谦虚平和，是如同家人般的存在，在我要松懈的时候及时的督促我，在我没自信的时候鼓励我勇敢的尝试，王老师教会我的绝不仅仅是学习方面的，更重要的是为人处事的方式和优秀的品格，我将带着这些在接下来的工作和生活中，不断学习，继续前进，做更好的自己。再次感谢您在三年中对我的帮助和关怀，希望您身体健康、工作顺利！其次，我也要感谢大数据与视觉计算研究课题组的秦品乐、曾建潮、蔺素珍和高媛导师以及同学们。谢谢老师们不遗余力地给予我指导和帮助，以身作则地告诫我人生要奋斗、要努力，我永远都不会忘记各位老师的良苦用心，不会辜负老师们的谆谆教诲。感谢同学们的真诚帮助，使我在学业上更加顺利，生活中总能感受到温暖。特别要谢谢我的室友们，感谢你们的包容和关爱，你们是我一生的财富。感谢我的母校中北大学七年来对我的教育和培养。在这里我度过了很快乐美好的时光，我想日后无论何时想起，这也会是很愉快的记忆。我很爱我的母校，同时也希望母校越来越好，在教学和科研领域再创辉煌，培养出更多优秀的人才！最后，我还要向在百忙之中评阅论文和参加答辩的各位专家、教授致以真诚的谢意!