《模拟人类视觉机理的图像处理方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
中图分类号婴三坌!UDCQQ垒：窆博士学位论文学校代码!Q53三密级公珏模拟人类视觉机理的图像处理方法ImageProcessingMethodSimulatingHumanVisualMechanism作者姓名：辛国江学科专业：计算机科学与技术研究方向：计算机应用技术学院(系、所)：信息科学与工程学院指导教师：邹北骥副指导老师：答辩委员会主席盖签磋中南大学二零一三年四月 原创性声明lnlll11111IIllllllnIIlY2421856本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。作者签名：．盔!塾至兰日期：丝年』月旦日学位论文版权使用授权书本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科学技术信息研究所将本学位论文收录到《中国学位论文全文数据库》，并通过网络向社会公众提供信息服务。 模拟人类视觉机理的图像处理方法摘要：图像分割和图像融合是图像处理的两个重要研究方向。图像分割和图像融合是目标识别、目标跟踪、目标识别等相关研究的基础工作，具有重要的研究意义，一直是人们的研究热点。由于应用的场合和分割目的的不同，图像分割形成了多种分割方法，但是没有一种通用的图像分割方法。归根结底还是计算机不能够像人一样的工作，算法的设计受到了局限。为了使计算机能够像人一样进行图像分割，计算机视觉的一些理论被逐渐引入到图像分割的研究中，形成了以脉冲耦合神经网络模型(PCNN)为代表的的基于人类视觉机理的图像分割方法。如何让这些新的算法更加智能，是研究者们关注的热点。图像融合指的是将两个或者两个以上的传感器在同一时间或者不同时间获得的关于某一场景的图像或者图像序列信息进行综合，从而生成新的关于这个场景解释的信息处理过程。如何让图像融合算法更加贴近人类视觉的工作模式，让融合图像更加符合人类的感知标准，一直是图像融合研究追求的目标。随着人类视觉机理的发展，图像融合中也逐渐引入了人类视觉的一些研究成果，这大大促进了图像融合的发展。本文以图像分割和图像融合为研究对象，引入人类视觉机理模型作为研究方法，探索图像分割和图像融合的新方法，使其更加符合人类视觉标准，取得了较好的结果。主要研究工作如下：(1)提出了一种基于脉冲耦合神经网络模型的图像分割新方法。该方法是模拟人类视觉机理的一种图像分割方法。方法将图像像素看成是大脑神经元，在外界输入的刺激下，通过循环迭代的方式发放脉冲，模拟人脑视觉皮层的工作方式。在对图像进行分割的过程中，引入了最大方差比准则对分割过程进行判定，寻找最佳分割点。通过对直方图分别为单峰、双峰和多峰的图像进行实验分析，证明了这种算法的有效性。(2)针对多图像融合问题，在标准PCNN的基础上，提出了一种新的模型——双层PCNN模型。这种模型可以更好的模拟人类视觉在处理多图像问题时的工作机理，更加符合人类视觉机理。(3)分别基于小波变换、曲波变换和轮廓波变换，同时结合PCNN模型和双层PCNN模型，提出了三种不同的图像融合方法。在利用小II 波变换进行图像分解的时候，利用PCNN模型和图像局部区域梯度能量来进行分解系数的选取。在利用曲波变换和轮廓波变换进行图像分解的时候，利用提出的双层PCNN模型和和局部能量匹配准则来选取系数。实验证明，本文提出的这三种图像融合方法都取得了很好的融合效果，融合结果符合人的视觉感知。相对于一些传统的图像融合方法，其对图像融合的过程更加符合人类视觉在做图像融合时的工作机理。图103幅，表4个，参考文献190篇。关键词：人类视觉机理；图像分割；模型；双层脉冲耦合神经网络模型；变换分类号：TP391ⅡI图像融合；脉冲耦合神经网络小波变换；曲波变换；轮廓波 ImageProcessingMethodSimulatingHumanVisualMechanismABSTRACT：Imagesegmentationandimagefusionaretwoimportantresearchfieldsofimageprocessing．Imagesegmentationandimagefusionarethebasicworkoftargetrecognition，targettracking，targetrecognition．Theyareimportantforresearch．Theyhavebeentheresearchfocusforpeople．Duetothedifferentapplicationanddifferentpurpose，manysegmentationmethodsareproposed．ButthereiSnotamethodcansolveallthesegmentationproblems．Afterall，thecomputercannotworkashuman．Thealgorithmdesignisalsoconstrained．Inordertomakethecomputersegmenttheimagelikehuman，somecomputervisiontheoriesaregraduallyintroducedintotheimagesegmentation．Manymethodsbasedonhumanvisualmechanismareproposed，suchaspulsecoupledneuralnetworkmodel(PCNN)．Howtomakethesenewalgorithmssmarteristhefocusoftheresearchers．fusionisaninformationprocessingprocess，whichreferstosynthesizetheimagesorsequenceofimagesofasceneobtainedbytwoormoresensorsatthesametimeordifferenttimes，generatinganewinterpretationofthescene．It’SadestinationoftheimagefusionthatHowtomakethefusionalgorithmsclosertotheworkmodeofthehumanvision，andmakethefusedimagemoreinlinewiththestandardsofhumanperception．Withthedevelopmentofthehumanvisualmechanism，someresearchresultsareintroducedintotheimagefusiontopromotethedevelopmentofimagefusion．Inthisthesis，imagesegmentationandimagefusionarechoseastheresearchobject．Toexplorethenewmethodofimagesegmentationandimagefusion，tomakeitmoreinlinewiththestandardsofhumanvision，thehumanvisualmechanismmodeliSintroducedastheresearchmethod．Themainresearchworksareasfollows：(1)Anewimagesegmentationmethodbasedonthepulsecoupledneuralnetworkmodelisproposed．ThemethodcansimulatethehumanIV visualmechanism．Inthemethod，theimagepixelisregardedasthebrain’Sneurons．Wi也theextemalinputstimulus，thepixelgeneratethepulseduriIlgtheloopiteration，andthensimulatetheworkmodeofthehumanbraincortex．Intheimagesegmentationprocess，themaximumvarianceratioruleiSintroducedinthesegmentationprocesstof'mdthebestsegmentationpoint．111eexperimentalanalysisontheimageswhosehistogramsareunimodal．bimodalandmultimodalrespectivelyprovesthevalidityoftheproposedalgorithm．Anditalsoprovesthesimulationeffectofhumanvision．(2)Forthemulti-imagesfusion，anewmodelnameddual-layerPCNNmodelbasedonthestandardPCNNmodelisproposed．ThismodelCanbettersimulatetheworkmechanismofhumanvision，anditismoreinlinewiththehumanmechanism．(3)nlreedifferentimagefusionmethodsbasedonwavelettransforlrl，curvelettransformandcontourlettransformisproposed，combinedwithPCNNmodelanddual．1ayerPCNNmodel．Inthemethodbasedonthewavelettransform．whentheimageiSdecomposedbythewavelettransform，PCNNmodelandtheenergyofimagelocalareagradientareusedtoselectthecoefficients．Whentheimageisdecomposedbycurvelettransformorcontourlettransform，thedual-layerPCNNmodelandlocalenergymatchingruleareusedtoselectthecoefficient．Experimentsshowthat．threeimagefusionmethodsproposedinthisthesishavegoodfusioneffect，thefusionresultsconsistentwithhumanperception．Comparedwiththetraditionalimagefusionmethods，theproposedmethodsdomoreinlinewiththeworkmechanismofhumanvisionintheimagefusionprocess．Thereare103figures，4tablesand190references．Keywords：humanmechanism；imagesegmentation；imagefusion；pulsecoupledneuralnetworkmodel；dual-layerpulsecoupledneuralnetworkmodel；wavelettransform；curvelettransform；contourlettransformClassification：TP391V 目录原创性声明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．I摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯II第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．1选题背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．11．2图像分割⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。11．3图像融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。51．4人类视觉系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．81．5课题来源⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯ll1．6研究目标和内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．111．7论文的组织结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯12第二章相关理论基础⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．2脉冲耦合神经网络⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．2．1神经元⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．2．2大脑皮层⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．2．3PCNN的模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．2．4PCNN的工作原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯162．2．5PCNN的主要特性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯172．2．6PCNN的性能参数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯182．3双层PCNN模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯18第三章结合PCNN模型和最大方差比准则的图像分割⋯⋯⋯⋯⋯⋯⋯⋯213．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．213．2PCNN模型用于图像分割的原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．213．3最大方差比准则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．213．4结合PCNN模型和最大方差比准则的图像分割⋯⋯⋯⋯⋯⋯⋯⋯233．4．1算法流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯233．4．2用于图像增强的PCNN模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．233．4．3PCNN迭代次数的自动判定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯243．5实验结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯253．5．1PCNN模型参数的确定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25VI 3．5．2实验分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．283．5．3实验对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯403．6本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯44第四章基于小波变换多级分解的图像融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯454．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯454．2图像融合评价体系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯454．2．1主观评价体系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。454．2．2客观评价体系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．454．3小波变换⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯484．3．1连续小波变换⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．484．3．2离散小波变换⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．484．4结合小波变换和PCNN模型的图像融合方法⋯⋯⋯⋯⋯⋯⋯⋯⋯494．4．1基于小波变换的图像融合意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．494．4．2算法流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯494．5实验结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯534．5．1定性分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯534．5．2定量分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯554．6本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯56第五章基于曲波变换多级分解的图像融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯575．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯575．2曲波变换理论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯575．2．1曲波变换理论的提出⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．575．2．2曲波变换的研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．585．3基于曲波变换和双层PCNN模型的图像融合方法⋯⋯⋯⋯⋯⋯⋯605．3．1低频系数的选择方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯625．3．2高频系数选取规则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。635．4实验结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．645．4．1曲波分解系数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯655．4．2定性分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯665．4．3定量分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯695．4．4时间复杂度分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。715．5本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯72第六章基于轮廓波变换多级分解的图像融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯736．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯73VII 6．2Contourlet变换理论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯736．2．1Contourlet变换⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．736．2．2NSCT⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯766．3基于NSCT和双层PCNN模型的图像融合算法⋯⋯⋯⋯⋯⋯⋯⋯766．3．1算法描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。776．3．2低频子带图像的融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．796．3．3高频子带图像的融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。806．4实验结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯816．4．1定性分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．826．4．2定量分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．856．4．3不同系数融合方法的对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．866．5本文提出的三种融合算法的对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯886．6本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯90第七章总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯917．1本文主要工作总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯917．2未来研究工作展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯92参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．93攻读博士学位期间主要研究成果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯104至i【谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯106VIII 博士学位论文绪论1．1选题背景和意义第一章绪论图像分割和图像融合作为图像处理中的两个重要研究方向，是目标分析、目标识别、目标分类等研究的基础工作，因此一直受到相关研究者的密切关注和研究。相关的研究成果也层出不穷，不断的推动这两个研究方向的前进。对于人类而言，图像分割和图像融合等视觉任务是可以很轻松的完成。但是对于计算机来说，则不是一件轻而易举的事情，很多时候成为了一个很难的问题。因为相对于计算机视觉来说，人类视觉系统是一个更加复杂和精密的系统，这个系统在感知和识别以及信息处理等方面具有强大的优势，它可以同时筛选和处理海量的视觉信息，并给出对应的行动指令。计算机视觉的研究终极目标就是使计算机能够像人一样，可以轻松自如的进行目标分割和提取以及图像融合等图像处理操作，甚至在某种程度上代替人类。相关的研究者一直以这个目标为前进的方向，积极探索，但是到目前为止，虽然相关的研究成果很多，却仍然达不到这一理想状态。因为，对于我们当前的人来说，人类视觉系统还是一个“神秘的”系统，人类还没有完全揭开它的工作机理，没有很好的把这种机理很好的运用到图像处理领域中。因此，这块的研究工作还有很大的上升空间和潜力。同时随着人们对人类视觉机理的不断探究，也必然反过来促进图像分割和图像融合研究的深入。基于此，本文希望借助于人类视觉的相关研究成果在这两个方面做一些工作。接下来首先介绍图像分割和图像融合两个研究方向的研究现状，然后介绍目前人类视觉的一些研究成果。最后介绍本文的主要工作和创新点。1．2图像分割人们在日常生活中，每天都需要处理大量的信息。对这些信息的处理的主要方式就是对其进行分类。为了学习新的事物，了解新的现象，人们总会试着描述它们的特征，然后利用相似性或者非相似性同已知的事物或者现象进行比对，再按照一定的规则对其进行分类，从而获得对新事物或者新现象的了解和认知。图像是人们获取外界信息的重要方式，约占人们日常获取信息量的80％左右，因此对图像进行有效的分类对人们认识外界事物具有重要的意义。要进行图像分类，首先就需要对图像中的区域或者目标进行分割，形成独立的单位， 博士学位论文绪论以便后续的分析、识别和分类。所以，图像分割是人们认识世界的基础工作，具有非常重要的作用。图像分割主要解决的是从一幅静态图片或者一组视频序列中将不同的区域或者不同的目标分割开来，将前景和背景进行分离，为后续的图像处理提供基础，例如图像分类、目标分析、目标识别、目标跟踪等。某种程度上来说，图像分割也可以说是感兴趣区域或者感兴趣目标的提取。图像分割的研究一直是国内外学者的关注热点，每年都有几百篇和图像分割相关的文章发表。到目前为止，关于图像分割的算法可以说不下千种。但是，由于图像信号的多样性和复杂性，图像分割的研究也是一个比较复杂的问题。其最大的难题就是，同一幅图像，对于不同的人来说，图像中的背景和目标是相对的，代表着不同的含义，不同的人有不同的需求，希望获得的分割结果也不尽相同。因此，到目前为止，也没有一个算法可以解决所有的图像分割问题，目前提出的分割算法大多是解决一类问题或者针对某些特殊需求而设定的。与此同时，对算法结果的评价，也没有一个统一的评价体系或者评价标准[1]。正是因为关于图像分割的算法特别多，所以对其分类也有多种形式。有将算法分为三类的【2]：特征阈值法、区域提取法和边缘检测法。也有文献把分割算法分为六类：直方图阈值法、基于区域的方法、特征空间聚类法、模糊法、边缘检测法和神经网络法[3】。也有将分割算法分为基于像素的、基于边缘的和基于区域的三种情况【4】。到目前为止，没有那种分类形式可以涵盖所有的算法。本文也无法把所有的分割算法进行归类，只能在一定程度上进行分类。下面就分割算法的分类进行介绍。(1)直方图阈值法利用直方图阈值法进行图像分割，要求被分割图像具有多个波峰和波谷，每个峰谷都对应图像中的一个区域。这种方法的优点是不需要先验知识，方便实现。对于直方图中峰谷特征比较明显的图像有比较好的分割效果，而且计算复杂度较低。但是它的缺点也很明显，就是对那些直方图峰谷特征不明显的图像，或者各个物体的灰度范围有较大重叠的图像，分割效果较差。这是因为这种方法只考虑了图像的灰度信息，而忽略了图像的空间信息，无法保证分割区域的连续性。代表算法有，张新明等提出的基于Tsallis熵的二维直方图图像分割方法【5]。(2)特征空间聚类法特征空间聚类法首先假定图像中的每一个区域都可以映射成特征空间中的一个单独的类。首先对特征空间中的点进行分类，然后将分类结果映射到单独的区域中。这种方法的优点是计算简单，可以直接分类。它的缺点是图像的分2 博士学位论文绪论割效果依赖于特征的选择，如何选择合适的特征以获取满意的分割结果还不明确，而且没有很好的利用空间邻域信息。代表算法有，马秀丽提出的一种利用改进的谱聚类算法的分割算法[6]。贾建华提出的一种基于空间约束特性的谱聚类算法[7】。利用加权核K．均值加上空间一致约束项，提高了图像分割效果。张向荣提出的一种基于免疫谱聚类的图像分割算法，算法收敛速度快[8】。(3)基于区域的方法基于区域的方法主要包括区域合并法、区域分裂法、区域增长法，以及区域分裂合并法等[9]。这种方法的优点是相对于边缘检测算法而言，其抗噪能力较强，在区域的同质准则确定的情况下，可以获得较好的图像分割质量。其不足之处是，这种方法是一种串行方法，运算量较大，需要较多的存储空间；对于种子区域的选取的依赖性较强。代表算法有，胡正平等人提出的基于区域进化的自适应高精度区域增长图像分割算法ElO]和基于交互式支持向量域描述的区域增长图像分割算法【11】。李苏祺提出的一种基于邻接表的分水岭变换快速区域合并算法[121。在基于区域的分割方法中，阈值化分割是其中最常用的也是最简单的一种，阈值化分割主要有两个步骤，第一步是确定合适的或者最佳的阈值，第二步是对图像按照设置的阈值进行分割。两步中，第一步相对重要一些，目前，这块的研究主要是集中在如何确定和优化预设阈值上。阈值的确定也分为两种，一种是点相关的，即阈值的确定是通过像素的灰度级完成的。另外一种是区域相关的，即阈值的确定是通过像素邻域的局部特性来决定的。基于点相关的阈值化分割方法有最大类间距离差法OTSU[16][17]、直方图凹形分析法【18】、最大熵法和矩不变门限法等。(4)边缘检测法边缘检测法是基于非连续性来进行检测的，通过检测图像灰度值的突变来找出边缘点。这种方法对于区域界限比较明显的图像分割效果较好，但是对于有噪声或者区域边缘变化不明显的图像，其分割效果不是很理想。代表算法有，魏颖等[19】提出的梯度改进边缘检测的自适应阈值曲面分割算法。朱长明提出的利用谱聚类方法对淋巴结超生图像进行分割的算法[201。(5)模糊法模糊法主要是利用模糊数学、模糊算子和模糊推理规则来处理由模糊性造成的不确定性问题。这种方法中，确定模糊隶属度是比较重要的，计算量比较大。例如，田岩等[21]提出的基于局部模糊方差的过渡区的方法对图像进行分割，刘刚等[22】提出的集合轮廓波和c均值聚类的方法，对红外图像进行分割，徐立亚等[23】提出的利用模糊法对图像目标区域进行定位。 博士学位论文(6)小波变换法基于小波变换的图像分割方法[25][261的基本思想是先利用小波变换对图像进行分解，获取多层次小波系数，然后根据分割准则和选择标准选择小波系数，反变换后形成分割后的图像。分割过程是由尺度变化来进行控制，通过对子空间上的小波系数的逐步细化来控制分割结果的好坏。但是，基于小波变换的分割方法有个缺点，就是对噪声几何特征不能很好的区分[27][28】。除了这几类方法之外，还有一些运用其他方法的图像分割算法。例如利用分水岭分割算法对图像进行分割[12】【24】，基于偏微分方程的分割方法[29]，类间方差法『291等。随着对人类视觉机理的研究逐步开展起来，模拟人类视觉机理的模型也正逐步的被用到了图像分割中，例如神经网络法。神经网络法是利用模拟人的神经网络的工作方式，对图像进行分类，再根据分类进行分割。这种方法执行起来相对简单，但是需要较长时间的训练，另外，其初始值的最终分割结果也有影响。例如，张亚静等提出的基于图像特征和神经网络的分割方法[30】，对苹果图像进行分割，为开发苹果采摘机器人做基础。张俊雄等提出的基于BP神经网络的分割方法【31]，针对玉米单倍体种子进行图像分割，为玉米大背头的自动分选系统提供参考。脉冲耦合神经网络模型(PulseCoupledNeuralNetwork,PCNN)也是一种模拟人类视觉机理的模型。它是在二十世纪九十年代，由Echhom等人提出了一种不同于传统人工神经网络的模型，这个模型的特点之一就是可以使得具有相同输入的神经元在同一时间发出脉冲，可以在一定程度上消除图像中某些像素边缘的不连贯性以及像素值的微小变化，可以较完整的保留图像的区域信息，这个特点对图像的分割是非常有用的[32】。同时，由于PCNN模型实现方法简单，所以在图像分割中得到了很好的应用。但是另一方面，其模型参数较多，目前的理论很难解释PCNN数学模型中各个参数和图像分割效果之间的确切关系。在参数确定的情况下，模型循环迭代次数的多少直接影响到分割效果的好坏。为了实现PCNN的自动分割，很多学者做了大量的研究工作，提出了很多算法，主要有基于图像连通域计算的分割结果评价算法[33】，基于2D．OTSU算法的PCNN自动分割算法[16]，基于交叉熵的PCNN自动分割算法[17]，基于遗传算法的PCNN自动分割算法【34]，基于unit．1inking的PCNN自动分割算法[35][361，基于区域增长的PCNN分割算法[29]。这些算法选择了不同的方式来实现P心m的自动分割，虽然很多分割效果不错，但是仍有改进的空间。 博士学位论文绪论1．3图像融合多源图像融合作为图像处理的一个重要研究分支，它是图像分析、机器识别等研究方向的基础研究内容，是机器视觉的一个研究分支。如何更好的进行图像融合，一直是人们的研究热点。对于两幅待融合的图像，人们很容易从两幅图像中选取符合自己需求的部分进行融合叠加，形成融合后图像，从而获得包含最多有用信息的图像。例如图卜1，是两幅多聚焦图像。如果要对它们进行融合，以人的视角，很容易判断，应该在(a)图像中取“People’SRepublicofChina”字样，(b)图像中应该取“中华人民共和国”字样，形成融合后的图像信息最清晰、最丰富。但是对于计算机而言，则没有这么简单。如何让计算机也能够像人一样的分辨图像里的内容，进而融合图像，是一个难题。ab紫攀太纛熊鞠中华人民共和国People’SRepub-licofChina鹣蝼蘩飘睁l辍簿零辆图卜1多聚焦图像对a)聚焦点在英文上b)聚焦点在中文上图像融合是信息融合的一个分支，主要以图像作为研究对象，通过综合提取每个输入图像的信息，形成统一的图像或者数据来控制其它系统或者指导决策。敬忠良[36]给图像融合(ImageFusion)下了一个定义：图像融合主要是将两个或者两个以上传感器在同一时间或者不同时间获得的关于某一场景的图像或者图像序列信息进行综合，从而生成新的关于这个场景解释的信息处理过程。到目前为止，图像融合不仅仅在目标检测、目标跟踪和目标识别以及情景感知等军事领域有了广泛的应用，而且在对地观测、安全监控、机场导航、智能交通、人类视觉辅助、医学成像与诊断、地理信息系统、工业过程、智能制造等民用领域也得到了广泛应用。图像融合的研究对象主要包括以下几种。1)多传感器图像：主要是由不同成像机理的传感器获取的。例如红外线图像、可见光图像、MRI图像和cT图像等。2)遥感多源图像：主要指的是由卫星拍摄的多光谱图像。3)多聚焦图像：利用光学传感器的在不同的聚焦点上进行拍摄得到的图像。4)时间序列图像： 博士学位论文同种成像传感器以相同的成像方式在离散时刻拍摄的图像。每年都有大量的研究图像融合问题的文章发表，这些文章从不同层次、不同的应用需要出发来探讨图像融合的理论和应用。从所有的方法来看，可以大致归为两类，一类是基于空间域的融合方法，一种是基于变换域的融合方法。下面就分别介绍一下这两类方法。(一)基于空间域的融合方法基于空间域的方法主要包含了基于数学／统计学方法、基于色彩空间方法和智能图像融合方法等。(1)基于数学／统计学的方法基于数学／统计学的方法主要包括加权平均法、马尔科夫随机场、主成分分析(PCA)法、最大值法、最小值法等。①加权平均法加权平均值法是将源图像按照权重值大小进行融合。优点是可以提高信噪比，缺点是在一定程度上对细节信息或者边缘信息模糊化了，削弱了图像的对比度。由于其原理简单，不能够合理利用图像的整体信息，所以，一般情况下，都无法取得较好的融合效果。最大值法和最小值法也属于这种情况[36]。②主成分分析法主成分分析法又叫做PCA法[41]。它是一种多元统计分析方法，通过线性变换选出少量重要的变量，然后通过加权线性变换综合到一幅图像上来[42][43]。③马尔科夫随机场马尔科夫随机场法首先是把源图像定义成马尔科夫随机场模型，然后把融合任务表示成反映融合目标的代价函数，再进行全局优化。图像融合最终变成一个优化问题。(2)基于色彩空间的方法基于色彩空间的方法主要是通过色彩映射将待融合的图像从一个色彩空间变换到另外一个色彩空间中进行融合处理。基于色彩空间的图像融合方法主要有：YIQ色彩空间变换法、RGB色彩空间变换法、CMYK色彩空间变换法、HSI色彩空间变换法、HSV色彩空间变换法和YUV色彩空间变换法等[38卜[40][44]。这些方法各有特点，可以针对不同的融合需求，选择不同的色彩空间。(3)智能图像融合法智能图像融合方法主要是采用遗传算法[45]、粒子群算法[46]、蚁群算法[47]、人工神经网络算法[48]和支持向量机[49]等方法智能的进行融合，这些6 博士学位论文方法需要设定目标函数和训练样本。(二)基于变换域的融合方法基于变换域的融合方法主要是指多分辨率图像融合方法。是将图像按照不同尺度分解到频率域中，在频率域中不同的尺度和分辨率下，利用各种融合规则进行融合，然后把融合后的各部分进行逆变换，形成融合后的图像。相对于基于空间的图像融合方法，基于变换域的多分辨率图像融合方法具有更大的优势，也是目前研究的热点。多分辨率方法可以在不同尺度和方向上对图像特征按照一定的规则进行融合，对图像的局部对比度有较强的描述能力，融合结果更加符合人类视觉评价标准。多分辨率融合方法的研究重点主要在三个方面：(1)选取或者构建一个合适的图像分解和重构的方法；(2)确定最优分解层数；(3)确定高频和低频系数的融合规则。在多分辨率的融合方法中，基于金字塔变换[50卜[54]和小波变换的融合方法[55卜[58]是最经典的也是提出最早的两种方法，在早期研究基于多分辨率的图像融合方法过程中，占有重要的地位。Toet在1989年提出了基于低通比率金字塔变换的图像融合方法[59]。Toet后来又根据人类视觉对局部对比度比较敏感的视觉特性，又提出了基于对比度金字塔变换的图像融合方法[60][61]。1992年，Burt提出了基于梯度金字塔方法的图像融合算法[62]，该算法在高斯金字塔的每一层图像上进行梯度算子计算，来实现图像的梯度金字塔表示。Mallat在1986年将多尺度思想引入到了小波函数的构造方法中，提出了统一的小波函数构造理论[88]，为小波函数的广泛应用奠定了重要的基础。同时，Mallat又研究了小波变换的离散化问题，提出了Mallat算法[63]，并在图像处理中得到了应用。小波变换是一种类似于金字塔变换的方法，它具有金字塔变换的优点。尤其是Mallat算法提出之后，基于小波变换的图像融合算法就得到了广泛的研究[67]。Ranchin等人在1993年[64]提出了基于小波变换的遥感图像分析算法。Li等人[65]和Chipman等人[66]在1995年分别利用小波变换进行图像融合。虽然小波变换在图像融合领域得到了广泛的和成功的应用[68卜[71]，但是由于小波变换自身的缺点(主要是对于各向异性的奇异性特征，小波变换并不能够很好的表示，它更适合表示各向同性奇异性)，所以小波变换在处理图像边缘以及细节方面都会有一定程度的模糊，而这些边缘信息或者细节信息恰恰是一些重要的信息。为了解决这个问题，Zhang等人[72]提出了基于离散小波框架变换图像融合方法。杨俊[73]和张登荣[74]等人分别提出了基于小波包变换的图像融合方法，在一定程度上减少了图像融合中的细节信息模糊问题。 博士学位论文绪论在小波变换理论之后，Cand6s和Donoho提出了一种新的变换方法——脊波变换(RidgeletTransform)[75]。脊波变换不但具有小波变换的局部时频分析能力，同时还具有较强的方向选择和识别能力，可以更好的表示具有方向性的奇异性，对图像中的边缘和细节信息能够更好的表示。在脊波理论的基础之上，Cand6s和Donoho又提出了曲波变换(CurveletTransform)[76]。在曲波理论提出来之后，其在图像融合领域得到了广泛的应用[77卜[80]。这些方法对于处理图像融合中的细节信息，都有了很大的提高。由于曲波变换的具有极坐标转换和旋转的特征，这些特征可以很好的表示曲线的奇异性，但是在离散域中却没有体现其方向性。基于此，Do和VeRerli在2002年首次提出了轮廓波变换(ContourletTransform)[81]，并在2005年做了进步一的阐述[82]。在这之后，基于Contourlet变换的图像融合算法就得到了广泛的研究[83][84]。和曲波变换相比，Contourlet变换是把数字域和连续域分开进行，在数字域中完成定义，在连续域中讨论逼近性能。所以Contourlet变换的冗余度比曲波变换的要少很多。但是Contourlet变换同样不具备平移不变性，需要利用下采样的方法对图像进行变换，这在奇异性方面就会产生伪吉布斯现象(Pseudo—Gibbs)，从而导致图像失真。2005年，Cunha提出了非下采样Contourlet变换(NSCT)[85]，这种变换具有平移不变性，拥有更加灵活的多分辨率、多方向性的图像表示能力。因此在图像融合领域得到了广泛的应用[86]-[89]。Contourlet变换由于具有平移不变性和足够的冗余信息，所以可以更好的提取图像中的方向信息，使得融合后的图像可以更好的满足人眼视觉需求。随着对人类视觉机理的研究越来越多，其相关的理论成果也会越来越多的被应用到图像融合中。1．4人类视觉系统对于人类视觉系统(HumanVisualSystem，HVS)的研究最早可以追溯到十九世纪。那时，人们对视觉系统的研究主要集中于视觉的生理构造，为认识视觉系统和用于治疗相关视觉疾病而服务。随着对视觉系统研究的逐步深入，人们开始逐渐探索其内部机理。开展早期的视觉机理研究主要是认知心理学的研究学者，他们希望从认知心理学的角度来解释人类视觉是如何快速准确的选择感兴趣目标和区域，并高效的完成给定的搜索任务。认知学者希望通过计算机来模拟人类视觉机理，一方面可以更好的探索人类视觉机理，另外一方面可以把人类视觉机理应用到图像处理等领域中，以期获得比传统的图像处理方法更 博士学位论文绪论好的结果。从已有的研究结论可以得出，不论是人类视觉系统还是其他动物的视觉系统，都是一个非常精密的系统，是经过几百万年、几千万年的进化而来的。到目前为止，人们对人类视觉系统的研究还处于初级阶段，而且多是以一些动物，尤其是一些灵长类动物(例如猫、鼹鼠、猴子等)作为研究对象，来探索其视觉机理。人类视觉系统的研究和应用是一个多学科交叉的结果，它涉及到神经科学、认知心理学、计算机视觉、人工智能等相关领域。2008年，美国工程院在征集了各相关领域专家、研究学者的意见后，发布了一个调研报告，报告指出：“大脑的逆向工程模拟”是二十一世纪工程科学领域中，14个重大研究挑战之--[90]。到目前为止，关于视觉理论比较完整的当属Marr视觉计算理论[91]。这套理论立足于计算机科学，系统地概括了包括心理物理学、神经生物学和临床神经病学在内的多研究领域业已取得的重要成果，为视觉信息处理学科奠定了基础。这个理论具有鲜明的时代特征。它对神经科学的发展是极其重要的，对人工智能也产生了深远的影响。自Marr视觉计算理论创立以来，关于视觉计算理论的研究又取得了一大批值得称道的新成果。例如，Poggio在计算机视觉方面提出了一些算法【92】【93】，形成了较有特色的视觉理论体系，并在目标识别等方面得到了很好的应用[94】。模拟视觉神经细胞兴奋和抑制特性的DoG(DerivativeofOaussian)滤波器和Gabor滤波器[96]，并在目标识别和人脸识别上得到了很好的应用[97][98]。模拟大脑视觉皮层信息处理机制的脉冲耦合神经网络模型(PCNN：PulseCoupledNeuralNetwork)[99】，PCNN在图像分割、图像融合、边缘检测、图像增强、图像去噪等领域得到了很好的应用【100]．[106]。近些年来，随着各个相关学科研究的深入，对大脑认知机理的理解逐步加深，使得视觉机理的理论研究和应用研究取得了很大的发展，一个典型的理论就是模拟大脑视觉皮层的两条视觉信息处理通路(如图1．2所示)：“where／how”背侧通路和“what”腹侧通路的视觉机3里[107]方面的研究，包括建立视觉计算模型，实现特定视觉任务的计算机模拟。具有代表性的研究成果有：美国的SouthemCalifornia大学的iLab实验室的研究者们通过对“where／how”背侧通路机理的研究，提出了一些模拟视觉注意力的模型[109]．[111]，如：自底向上的视觉注意力模型，自顶向下的选择性注意力分配、眼动跟踪建模等。这些模型在目标检测f112]、机器人导航[113]、图像和视频压缩[114]等方面等取得了很好的应用。美国MIT的MeGovem脑与认知科学研究小组在研究了“what”腹侧9 博士学位论文通路的视觉信息处理机制后，提出了一个模拟视觉皮层识别对象的理论模型【115]【116】，并构建了一个计算机模拟系统[94】。这个系统在人脸识NIll7]、人体运动识别[118]等方面都得到了很好的应用，其性能表现明显优于当前最好的机器视觉系统。这充分表明探索人类视觉机理，并将其应用到实践中有着十分重要的意义和美好的前景『1191[1201。此外，研究者们也针对视觉注意力与对象识别相互作用(即两条主要视觉通路如何相互作用)的机N[12U一[1231、记忆的认知机理及其在大脑执行对象识别、视觉注意力选择时的作用『124]一[126]等方面展开了积极的探索研究，由于这些机理问题仍没有很好地解决，因此相应的视觉计算模型和计算机模拟算法仍然比较少。dorSalstream_whore’pathway_。what'pathway图卜2“where／how”背侧通路和。what’腹侧通路的视觉机理(引自文献【107])国内的研究学者在大脑认知机理研究及其应用方面也进行了积极的探索，很多有代表性的研究成果也是不断涌现。如脑与认知科学国家重点实验室围绕大脑的视觉信息的表达及视觉系统的脑功能区成像的相关研究，北京大学和中科院智能科学实验室基于感知学习和语言认知的智能计算模型研究等。中国科学技术大学的视觉研究实验室以研究视觉信息处理的中枢机制为主要研究方向。复旦大学脑科学研究院长期从事视觉脑机制研究，主要研究方向包括神经 博士学位论文绪论活动基本过程、脑的高级认知功能、于国情的不同以及研究层面的差异，学和计算模型，并应用于人工智能、1．5课题来源神经系统重要疾病机制和防治等。但是由国内关于构建模拟大脑视觉认知机理的数机器视觉的研究仍然较少。本文课题的研究主要来自于两个国家自然科学基金项目的支持：(1)国家自然科学基金项目“人类视觉系统建模及其应用(项目编号：60970098)”：(2)国家自然科学基金项目“模拟人类视觉系统的基于图像的快速三维建模方法(项目编号：61173122)”。1．6研究目标和内容图像分割和图像融合虽然经过多年的研究和发展，已经形成了很多具有特色的算法，但是计算机还是无法像人一样“随心所欲”的对图像进行分割，或者融合。随着探索视觉机理的工作不断发展和深入，在图像分割和图像融合中引入人类视觉机理，让分割和融合更加符合人的意愿，成为人们研究的热点。本文试着从人类视觉机理的探究出发，通过模拟人类视觉机理的方法探索图像分割和图像融合的方法。从上面的分析来看，目前大部分模拟视觉机理的模型主要是针对目标识别、人体运动识别、人脸识别、图像压缩等方面而提出来的，并在这些方面得到了较好的应用。而对于图像分割和图像融合方面，比较好的视觉机理模型还比较少，PCNN模型算一种比较有代表性的，PCNN模型在这两方面都得到了较好的应用。在这样一个大的前提下，本文以图像分割和图像融合为研究对象，以生物视觉系统的组织和工作机制为依据，以PCNN模型为研究基础，探索模拟人类视觉机理的图像分割和图像融合新方法。论文的主要研究内容和创新点包括：(1)提出了一种PCNN模型的图像分割新方法。该方法是模拟人类视觉机理的一种图像分割方法。方法将图像像素看成是大脑神经元。在外界输入的刺激下，通过循环迭代的方式发放脉冲，进而模拟人脑视觉皮层的工作方式。引入最大方差比准则对分割过程进行判定，实现图像的自动分割。通过对直方图分别为单峰、双峰和多峰的图像进行实验分析，证明了这种算法的有效性，自动分割结果良好，分割结果符合人类视觉感知。相比于一些传统的图像分割方法，新方法的分割方式更加接近于人类视觉的工作方式，具有分割效率更高， 博士学位论文绪论目标分割更明确等特点，体现了人类视觉模型在图像分割中应用的优势。(2)针对多图像融合处理问题，在标准PCNN的基础上，提出了一种新的模型——双层PCNN模型。这种模型可以更好的模拟人类视觉在处理多图像问题时的工作机理，更加符合人类视觉机理。(3)视觉心理和生理实验表明：信号多通道分解存在于人眼视觉的底层信号处理过程中。小波变换、曲波变换和轮廓波变换都是多分辨率、多尺度分解的，也就是所谓的图像多通道分解。因此它们具有和人眼视觉相类似的功能，可以在一定程度上模拟人类视觉。依此论断，本文分别基于小波变换、曲波变换和轮廓波变换，同时结合PCNN模型和双层PCNN模型，提出了三种不同的图像融合方法。在利用小波变换进行图像分解的时候，利用PCNN模型和图像局部区域梯度能量来进行分解系数的选取。在利用曲波变换和轮廓波变换进行图像分解的时候，利用提出的双层PCNN模型和和局部能量匹配准则来选取系数。实验证明，本文提出的这三种图像融合方法都取得了很好的融合效果，融合结果符合人的视觉感知。相对于一些传统的图像融合方法，其对图像融合的过程更加符合人类视觉在做图像融合时的工作机理。1．7论文的组织结构本文共分7章，各章节内容安排如下：第一章绪论。主要是介绍了选题背景和意义。总结了图像分割、图像融合和人类视觉的研究现状，指出了当前图像分割和图像融合的存在的问题和发展的方向。阐述了本文的主要研究内容和创新点。第二章相关理论基础。分别介绍了PCNN和双层PCNN的理论。重点阐述了双层PCNN提出的前提，以及它的运行机理。第三章本章提出了结合PCNN模型和最大方差比准则的图像分割新方法，在利用PCNN进行图像分割的过程中，采用最大方差比准则对迭代过程进行判定，找出最合适的分割点，实现PCNN分割算法的自动停止。第四章本章提出了结合小波变换和PCNN的图像融合方法。介绍了小波变换理论，给出了算法流程和实验结果分析。第五章本章提出了结合曲波变换和双层PCNN的图像融合方法。首先介绍曲波变换。接下来阐述了本章提出的算法的流程，并给出了实验分析。第六章本章提出了结合轮廓波变换和双层PCNN的图像融合方法。首先介 博士学位论文绪论绍了轮廓波变换的基本原理。然后阐述了出的算法的流程，最后给出了算法的实验分析和对比。第七章总结和展望。总结了本文的主要工作，展望了接下来研究的努力方向。 博士学位论文相关理论基础21引言第二章相关理论基础本章主要介绍和论文研究相关的基本理论：脉冲耦合神经网络模型(PCNN：PulseCoupledNeuralNetwork)和双层脉冲耦台神经网络模型(Dual-layerPCNN)。22脉冲耦台神经网络脉冲耦合神经网络模型是源于研究猫、猴等小型哺乳动物大脑视觉神经度层上的同步脉冲发放现象而提出的一种新型神经网络模型，是从Eckhom提出的神经元模型[991t1361演化而来的，它不同于传统人工神经网络，更接近于人类大脑视觉皮层的视觉机理。PCNN模型是由脉冲耦合神经元构成的二维单层神经元阵列模型，在图像处理[127]、图像分割[33][1281一[131】、图像融合【1321一[1341、图像增强[135]、目标识91J[136]、图像压缩0381等方面都有很好的应用。下面就神经元和大脑皮层两个PCNN中的重要概念进行简单介绍。21神经元神经元就是神经细胞。它是生物神经系统中信息传递的基本单元，它可以感受刺激和传导冲动，数量是非常庞大的，结构也很复杂，它高度分化，并且形态各异。柑定图2-1生物神经元模型(引自网络图片)如图2-1所示，生物神经元主要是有树突、轴突以及突触等部分组成的 博士学位论文相关理论基础是一个基本的信息传递单元。树突的作用相当于信号输入端，接收神经冲动。轴突的作用相当于信号的传输通道，传递神经冲动。树突和轴突之间是通过突触来连接的，突触的主要功能是把轴突末梢输出的电脉冲信号转化成为化学信号，然后再转换成电信号，完成两个神经元之间的信号传送。神经元的轴突末梢都有比较多的突触，通过这些突触，神经元树突接收其他神经元传递过来的信号，一个神经元可以影响周围和其他区域多个神经元的活动。当神经冲动对神经元产生影响，形成电位超过其阈值电位的时候，神经元就会被激发并处于兴奋状态，这个过程被称为“点火”，同时会产生神经冲动[1011。神经元并不会对任意时刻来的所有电脉冲马上产生响应，而是需要经历一个不适应期的过程，也就是说当一个神经元处在兴奋状态的时候，并且输出的神经冲动脉冲在大约1嬲的时间范围内，即使是外界又有强烈刺激的电脉冲信号进入，这个神经元也不会马上再一次兴奋，这就是神经元的绝对不应期现象。在这个绝对不应期之后的几毫秒内，这个神经元的兴奋阈值的电位就提高了，如果要神经元再次兴奋的话，就需要增大输入电脉冲的激励信号增大，这就是相对不应期现象。2．2．2大脑皮层大脑皮层是由神经元细胞体密集组成的，是调节机体机能的最高部位。大脑皮层中的视觉区域是视觉的最高中枢部分。视觉神经是从视网膜进入大脑的，首先通向低级中枢——外侧膝状核，视神经的一部分会投射到同侧的外侧膝状核，另外一部分则会投射到异侧的外侧膝状核，最后投射到大脑皮层上。Gray和Eckhom等科学家在研究猫、猴等哺乳动物的大脑皮层的视觉区域的神经元信号传导特性的时候，发现神经元有两种激发，一种是强制性激发(stimulusforced)，另一种是诱导性激发(stimulusinduced)。强制性激发是由直接输入产生的激发，不会引起震荡，而诱导性激发则是区域内部相互连接的神经元之间的相互作用而引起的同步震荡，是一种同步脉冲发放现象[1011。2．2．3PCNN的模型如图2—2所示。脉冲耦合神经网络模型(PCNN)主要由三部分组成：信号输入部分、连接调制部分、脉冲输出部分。其数学模型如式(2．1)．(2．5)所示。 博士学位论文相关理论基础‘(砷28唧‘。一1)+咋善4‰％即一1)+＆Lo(月)2P吨厶。一1)+屹善阡知％。一1)％(”)=‘(H)(1+卢‘(H))岛(n)=e-af岛∞1)+赡鼍如一1)驰)=圮叭：笔恐。1’f2-11(2-2)(2_3)(2-4)r2—5、神经元的信号输入部分会将从其他神经元输入的信号通过两条通道传输：一条通道叫做反馈通道(FeedingChannel)，另外一条通道叫做连接通道(LinkingChannel)。相对于连接通道，反馈通道的脉冲响应函数随时间的变化会比较慢。式(2．1)是反馈通道的数学公式，式(2-2)是连接通道的数学公式。式(2．3)和(2-4)是表示的调制部分的数学公式，式(2-5)表示的是脉冲输出部分的数学公式。其中，F(月)是神经元的n次反馈输入，s为输入刺激信号(这里表示图像像素灰度值)，卢为突触之间连接强度系数，L(n)是连接项，E(n)是动态门限，r(n)是PCNN脉冲输出值，U(n)是内部活动项。M。表示的是神经元i和，之间反馈通道的突触连接权值矩阵，彬。表示的是神经元f和／之间连接通道的突触连接权值矩阵。咋、K、％分别是F(n)、￡(一)和g(n)的固有电势-咋、吒、口。为相应的衰减系数3r——]n，pm诗▲。工／]鎏堇I，卜。▲f，“’’d，’"qF24PCNN的工作原理图2-2PCNN模型的结构图PCNN的工作流程大致是这样的：神经元的连接调制部分首先将来自于连 博士学位论文相关理论基础接通道的输入信号加上一个正的偏移量，然后和来自于反馈通道的输入信号进行相乘调制，进而得到内部活动项。由于反馈输入信号的变化速度比连接输入信号慢一些，所以在相对较短的时间内，通过相乘调制获得的内部活动项就近似为一个快速变化的信号叠加在一个近似常量的信号上面。通过相乘调制获得的内部活动项将会被输入到下一个阶段，脉冲产生部分。图2-3显示的是PeNN神经元的工作方式示意图。函铥言渊出25PCNN的主要特性囤2-3PcNN神经元工作方式示意图peNN的主要特征有以下几点：(1)PCNN神经元具有变阈值衰减的特性。阈值随着时间的变化按照指数规律衰减。动态门限值E的变闽值特性则是PENN周期性“点火”的根本原因。(2)PcNN神经元通过利用耦合连接输入上对反馈输入，进行非线性调制，使得神经元之间形成相互影响。一个神经元“点火”，就会捕获它周围和它具有相似性质的神经元同步发放脉冲。这就使得F'O]、TN具有了神经元间的相互影响的捕捉特性与同步脉冲发放的现象(也称为同步震荡现象)。(3)各个神经元的“点火”周期不同，在一段时间内，各个神经元的动态门限值按照各自的周期进行衰减，在不同的时刻发放脉冲，形成动态脉冲发放现象。当动态发放脉冲的现象反映在所有的神经元状态时．就可以看到“点火”区域会以类似波的形式进行传播，这就是PENN动态脉冲发放现象与自动波特性。(4)同步脉冲发放现象与捕获特征同动态脉冲发放现象与自动波特性，是一种对应关系．前者属于静态的，后者属于动态的。静态时输出的脉冲体现了输入激励的空间特征，动态时的脉冲输出则体现了输入激励的时间特征。不同时间输出的脉冲数目和顺序体现了输入激励大小的时间特征，这就是；PCNN的综合时空特征。(5)PeNN的时间序列提取的是原始激励的特征，这些特征具有尺度、旋 博士学位论文相关理论基础转、位移和扭曲不变性。综上所述，PCNN的基本特征有：变阈值特征、非线性调制特征、同步脉冲发放现象、动态脉冲发放现象、捕获特征、自动波特征以及综合时空特征。2．2．6PCNN的性能参数在图像处理的应用中，由于PCNN模型的参数较多，所以其参数的设定对结果有较大的影响。但是到目前为止，在理论上一直没有弄清楚PCNN的参数设定和图像处理结果之间的明确关系。所以，如何针对不同研究问题设定参数一直都是PCNN的一个难点。2．3双层PCNN模型对于单层PCNN而言，在进行图像处理的过程中，其神经元的相互影响主要集中在单幅图像中，也就是说，图像的输出脉冲只能在该图像内对其它关联的神经元进行影响。这在图像分訇J[104】、图像去噪[105】等领域的应用是没有问题的。但是对于像图像融合之类的研究方向，在至少需要对两幅图像进行处理的时候，就显示出它的劣势了。首先，我们来分析人在做图像处理的时候的操作流程。人在对两幅图像进行融合的时候，首先是观察两幅图像，然后找出对应位置的特征，进行双向对比，判断把哪个特征放到融合后的图像中更加合适。通过这种对比，人们可以选出最合适的特征放到融合后的图像中，最终得到最优融合图像。在这过程中，就存在着一个特点，即人在进行对比的时候，不是简单的在单一图像上寻找特征相同的点或者区域，而是在两幅图像中进行比较。人的这个视觉特性使得人们可以在做图像融合之类的操作时，找到最优解。对于单层PCNN来说，其能做到的就是在单幅图像中进行神经元的分类“点火”，让具有相同性质的神经元相互影响。但是它无法跳出单幅图像，无法做到对两幅图像的神经元进行分类“电话”，进而相互影响，无法做到让两幅图像“联动”起来。这就是单层PCNN的弱点。因此，我们提出了双层PCNN模型，相对于单层PCNN，双层PCNN模型有两层结构，在第一层中，包含了两个部分，A部分和B部分，这两部分分别是一个单层的PCNN模型，分别对应着两幅图像，A、B两部分分别进“点火”输出行脉冲之后，会把脉冲信号输入到第二层中进行比对，利用第二层的比对机制再次循环“点火”，输出脉冲。这层输出的脉冲是在A、B两方进行了比对后输出的，输出的脉冲会被送到第一层的A部分和B部分，再一次对第一层的 博士学位论文相关理论基础神经元进行刺激，进而影响下一次的脉冲输出。这一反复的过程，就类似于人在判断两幅图片的时候所进行的视觉活动。是对人类视觉机理的一次近似模拟，是对PCNN模型的一次改进和升华。下面就来详细介绍双层PCNN模型的构造。双层PCNN模型是由标准PCNN模型演变而来的。其结构如图2_4所示。一一一一La—yerl一一一一’l一一一面I下一一一一图2-4双层PeNN模型蛄构图双层PCNN模型主要由两层组成。第一层由三部分组成：树突、连接调制部分和脉冲发生器。第一层的神经元通过接收域接收输出刺激。这些刺激包括外部输入、神经元周围的刺激以及从第二层神经元传来的刺激。在接收了刺激信号之后，这些刺激信号就被分别输入到两个通道：一个是反馈通道^一个是连接通道工。在连接调制部分，连接输入在乘以突触间的连接强度系数口后，再和反馈输入非线性相乘。内部活动项【，是连接调制部分的输出。接下来，脉冲生成器会比较u和闽值￡之间的大小，如果u比E大，则神经元产生脉冲，这被称为“点火”，否则，神经元就不点火。接下来，第一层的脉冲输出被送到第二层的神经元上．对第二层的神经元进行作用。在第二层，大部分处理过程和第一层相同，只是最后产生的脉冲是被输入到第一层的。双层脉冲耦合神经网络模型的数学公式如下表示：第一层的数学模型公式：珂(")=P吣’日扣一1)+K∑Ⅳ：瑶加一1)+≈(2—6)k,I弓(一)=e一“弓∞一1)+K∑呢瑶加一I)(2—7)}』“(H)=胃(")(1+卢己("))(2-8) 博士学位论文相关理论基础刀(刀)=e-aZ万(胛一1)+巧弩(刀一1)(2-9)蜘)=托珥糍≯⑦10)第二层的数学模型公式：巧(胛)=g-ap露o-1)+VvZ(M2Y：a(玎)埘：瓒(甩))+霹(2-11)弓∽)=P一吒蜀@一1)+圪∑(嘭ylA,'以)+％2B％IB(咒))(2-12)四(玎)=碍(聍)(1+∥蜀(刀))(2-13)碍(月)=P一嘶碍(刀一1)+巧瑶(聆一1)(2．14)咖)=忆畴激。1’(2-15)这里，，1和F2分别代表第一层和第二层的反馈通道。卫和r分别代表第一层和第二层的连接通道。U是神经元的内部活动项。丁是阈值。Y二值输出(即脉冲输出)。其他参数的含义和标准PCNN模型中对应的参数的含义相同。在第二层中，尹和，占分别是第一层中A部分和B部分的脉冲输出。∥，胪，旷爿和沪分别是同第一层中的A部分和B部分相关的突触连接权值矩阵。双层PCNN模型相对于标准PCNN模型来说，其具有以下特点：(1)相对于标准PCNN模型来说，双层PCNN模型模拟人类视觉机理更加准确。(2)标准PCNN模型是单层神经元模型，双层PCNN模型是双层神经元模型。(3)双层PCNN模型的脉冲输出就是在两幅图像之间进行传递，图像的脉冲输出不但作用于自己，同时也作用于对方。而标准PCNN模型的脉冲只能作用于自己。所以双层PCNN模型更符合人类视觉工作机理。 博士学位论文结合PCNN模型和最大方差比准则的图像分割第三章结合PCNN模型和最大方差比准则的图像分割3．1引言图像分割作为图像处理的一个重要研究方向，是目标识别、目标分类和目标跟踪等的基础工作，一直受到人们的密切关注。如何让图像分割的结果更加符合人类视觉感知，使计算机能够更加智能的模拟人类视觉工作，一直是人们追求的目标。脉冲耦合神经网络模型(PCNN)是一种模拟人类大脑视觉皮层工作机理的模型，其在图像分割中得到了很好的应用，但是，如何利用这个模型得到最佳的分割效果，如何使它能够实现自动分割，一直是人们的研究热点。在这个背景下，本章提出了一种结合PCNN模型和最大方差比准则的图像自动分割算法。算法不但实现了PCNN的自动分割，也使得分割后的图像的效果达到最好，更加符合人类视觉感知。本章结构如下，首先介绍基于PCNN模型的图像分割原理和最大方差比准则，接下来介绍本章提出的图像分割算法，然后给出实验分析，最后是本章小结。3．2PCNN模型用于图像分割的原理PCNN模型是将像素和神经元进行一一对应，将像素值当作神经元的外部刺激输入S，假定神经元的状态初值都为0，那么在第一次迭代时，内部活动项U(玎)等S，神经元的阈值E(”)开始衰减，当E(，1)衰减到小于或等于对应的U(咒)时，我们称这个神经元“点火”(自然点火)，产生一个脉冲l，(，z)=1。同时，E(”)急剧增大，停止产生脉冲。接下来E(”)又开始衰减，当E(n)再次小于或等于u(胛)时，又产生一个脉冲，如此不断反复，就生成了一个脉冲序列。在产生脉冲的过程中，已经“点火”的神经元会利用相互连接工m)来激励相邻近的神经元“点火”(捕获点火)，而相邻的神经元在“点火”之后，又会继续激励它周围的神经元“点火”。这样就在在激活区中产生一个不断向外传播的脉冲波，称之为自动波。在图像中，灰度值相近的邻近像素一般会同时“点火”，根据这个同步的特性，就可以完成图像分割。3．3最大方差比准则在一个典型的双波峰直方图图像中，如果同时存在目标和背景，其直方图就会存在着两个“山峰”，所以一定存在一个最佳阈值，它能最合理地划分目标 博士学位论文结合P(=NN模型和最大方差比准则的图像分割和背景[29]。如图3-1所示，首先求出图像的直方图，然后对直方图进行两次滤波。绘出滤波后的直方图曲线，获取双峰的灰度值，然后在双峰之间找到最小灰度值，就可以确定为最佳分割闽值。蠡：“址囤3-1直方图确定分割阍值a)Cameraman舜图像b)Cameraman的直方图c)Cameraman直方图平滑后的直方图曲线对于灰度级为s=(，，2，3，，f，，工)的图像，将图像的灰度级r作为分割闽值，把图像分割为墨=(』，2，3，，丁)-兄=仃+，，r+?，，目的两个类C和G(C为背景，C为目标，相反亦可)。则类内方差醇和类间方差司可阱由式(3—1)和式(3-2)得到：矗=q井+q一=击[∑(f一“)2啊+∑(f一心)2嚏】(3—1)o’J。SJEjl一=q(H一所)2+吐(岛一竹)2=it[∑(H一所)2H+∑(心一所)2％](3．2)o’JtiIES其中，N是总像素个数，井、一是G和G的方差，q和屿是G和G的发生概率，“、鸬是G和c2的像素灰度平均值，件是图像的平均灰度值。类间方差反应了图像中目标和背景两类之间的差别大小，类内方差表示同类像素之间的差别。类间方差法对单峰和双峰图像能够产生较好的分割效果，对于多峰图像，类间方差准则的分割效果就不够好。相比于其他算法，类间方差法的耗时最少。最大方差比为^2r／=max[=剀(3·3)o-w最大方差比法在考虑目标和背景两类之间的差别之外，还进一步考虑了同类对象内部的差别．这会使得分割结果更加精确。方差比口取得最大值时，说明类间方差最大而类内方差最小，即不同类像素之间的灰度值相差最大，同类 博士学位论文结合PCNN模型和最大方差比准则的图像分割像素之间的灰度值相差很小。所以当叩取得最大值时，分割效果最佳。3．4结合PCNN模型和最大方差比准则的图像分割3．4．1算法流程算法的流程图如图3-2所示，具体描述如下：(1)利用公式(3-4)一(3．8)对待分割的图像进行增强预处理；(2)利用公式(2-1)一(2．5)对预处理后的图像进行循环“点火”操作，步长设为l，获取输出脉冲；(3)将输出脉冲与原图像进行形态学上的“与”运算，得到“点火”后的图像。然后计算得图像的最大方差比，对比前后两次的最大方差比差值，如果差值大于或等于给定的阈值，则转入步骤(2)，继续循环迭代，否则停止循环，获得最优分割图像。图3-2算法流程图3．4．2用于图像增强的PCNN模型有些图像，目标和背景的灰度值比较接近，难以区分，为了能够得到更好的分割结果，在进行图像分割之前，首先利用改进的PCNN模型[130]对待分割图像进行增强预处理操作。用于图像增强的PCNN模型如式(3．4)一(3．8)所示。巧(刀)2毛易(玎)=∑％Y村(n-1)七．，％(门)=气(刀)(1+∥毛("))(3-4)(3-5)(3-6) 博士学位论文结台PCNN模型和最大方差比准则的图像分割驹，-』擘叭：Z竺‘1’(3·7)毛(H)=E如一1)一A+％K即一i)(3-8)式中。‘蛐为本次迭代过程中点火像素的最大灰度值，y(n)为增强后输出的图像。阐值采用线性衰减方式．△为衰减步长。参数设置的原则是：K应足够大，以保证每个神经元只点火一次，△应足够小，以确保闽值衰减的足够慢，把相邻的灰度级通过不同的点火时刻区分出来。其它未解释参数的含义同公式(2—1)一(2．5)。薷b图3—3Pc孙图像增强结果8)源图像b)增强后图像图3_4分割结果a)鼎图像的分割结果b)增强后图像的分割蛄果图3．3显示了利用改进的PCNN模型进行增强的效果。图3-4显示了原图和增强后图像的不同分割结果，从结果中可以看出，增强后的图像，分割结果更加精确。343PCNN迭代次数的自动判定PCI'fN图像分割的结果为二值图像，源图像中不仅包含边缘信息，还有噪声。图像的边缘代表图像的细节，代表图像所包含的信息量。图像的边缘信息越多，代表图像所包含的信息量越多，在PCI'Ⅲ迭代的过程中，输出的二值图 博士学位论文结合PCNN模型和最大方差比准则的图像分割像中，细节信息是一个由少到多，然后再由多到少的非完全周期迭代过程。在这个迭代过程中，由于有自动波的影响，每个像素点的迭代时间相差越来越大，因此，相同物体或者同种颜色的像素，在经过多次迭代后，其“点火”时间可能会出现不一致的情况，对分割而言，这是不可取的。因此，需要设计一个规则，来准确判定迭代的次数，以获得最优的分割效果。对进行了增强操作后的图像，然后利用公式(3．3)计算图像的最大方差比，将每次得到的最大方差比和前一次循环获得的最大方差比相比较，如果二者之间的差值大于或者等于给定的阈值，则继续循环迭代；如果二者的差值小于给定的阈值，则停止循环迭代，此时的迭代次数即为最佳迭代次数。最后利用最大香农熵准则进一步确定最佳分割效果。香农熵准则：H(P)=一丑h1异一PoIn昂(3-9)其中，H代表香农熵，昂和弓分别表示分割图像二值输出y(，2)为0和l的概率。对于大多数图像而言，香农熵代表了图像的信息量，如果分割后的图像的香农熵越大，则分割图像从原始图像中得到的信息量也就越大，其分割图像的细节也越丰富，且总体分割效果越好。故可以利用该准则判优，对PCNN迭代结果进行计算，当H取最大值风。，(尸)时的迭代结果为总体最佳分割结果，可以通过这种方式来进一步验证PCNN最优迭代次数的准确性。3．5实验结果分析3．5．1PCNN模型参数的确定利用PCNN模型进行图像分割，首先面临的问题就是模型参数的选取，PCNN模型是个多参数的模型，各个参数对分割结果都会产生不同程度的影响。如何选取合适的参数，对于最终的分割结果的优劣具有重要的意义。下面就对各个参数对分割结果产生的影响进行分析。PCNN模型中的参数对于图像分割结果有着不同的影响。这种取值的变化，首先影响的是最大方差比的获取，而最大方差比的值就会影响到模型自动迭代过程的停止点，进而就影响了最佳分割结果。所以为了获得最佳的分割结果，就必须选取最优的参数值。在PCNN模型中，各个参数之间即相互独立，又互相影响，但是由于目前研究的限制，还没有准确的找到它们之间的关联关系[101]。下面就针对PCNN模型中的各个参数进行分别探讨。我们主要针对三类参数进行讨论，一类是突触之间的连接强度系数∥，一类是固有电势坛、瞻、圪， 博士学位论文结合PCNN模型和最大方差比准则的图像分割再有一类就是衰减系数口，、口，、％。确定系数取值范围的方法是，首先假定其它值不变，来确定当前参数取值变化的时候对分割图像的最大方差比的影响。当最大方差比在高位不断变化的时候，就证明参数值的改变对最大方差比的值有影响，进而对分割结果产生影响。如果参数的值变化的时候，最大方差比的值保持不变，并且不是最大值范围，则证明该区间的值不适合参数取值。基于这一前提，我们设计了各个参数的取值区间，并通过实验进行验证选取。(1)突触连接强度系数∥对于突触连接强度系数∥，我们选取的取值区间为[O，10】，步长为1，从图3．5可以看出，图像分割过程中，最大方差比的值在取值区NY口[o，3]时不断下降，当取值区间在『3，10]之间，最大方差比的值就维持在低位不变了，所以对于突触连接强度系数∥而言，最佳的取值区间在【0，3】。(2)固有电势珞对于固有电势玩，我们选取的取值区间为[0，22]，步长为1，在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3-6所示，从图上可以发现，最大方差比的值在[7，17】区间内有变化，而且是处于最大值的范围，而在两端的[0，6]和[18，22]两个区间内保持平稳，没有变化，所以固有电势％的最佳取值区间为【7，17]，更加细化一点来看，应该是[14，17]区间，因为从图上可以看出，这个区间的最大方差比的值处于最高位。”F—f—}—亨—々—专—1—1—1广—^宪触连接秉救强度B柏图3—5突触连接强度系数∥和最大方差比取值的对应关系图。510固有电势v￡15∞篇图3-6固有电势畦和最大方差比取值的对应关系图(3)固有电势硌对于固有电势陈，我们选取的取值区间为【0，1．3]，步长为0．1，在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3．7所示，从图上可以发现，最大方差比在[0．2，0．9】的区间内有变化，而且是处于最大值的范围，而在两端的[O，O．2】和[1．0，1．3]两个区间内保持平稳，没有变化，所彻㈣跚硼瑚撕锄舢君r#柽K膏 博士学位论文结合PCNN模型和最大方差比准则的图像分割以固有电势硌的最佳取值区间为【0．2，0．9】。(4)固有电势圪对于固有电势圪而言，选取的测试取值区间为[0，1]，变化步长为O．1。在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3．8所示，从图上可以发现，最大方差比在[0，0．5】的区间内有变化，而且是处于最大值的范围，而在区间【0．5，1．0]内则保持平稳，没有变化，所以固有电势圪的最佳取值区间为[0，0．5]。；1蚕绺{一}／＼段4嘉“}jifj12二}／＼／＼]固有电射。图3-8固有电势K和最大方差比取值对应关系图对于固有电势％而言，选取的测试取值区间为【O，1】，变化步长为0．1。在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3-9所示，从图上可以发现，最大方差比在【0，0．5】的区间内有变化，而且是处于最大值的范围，而在区间[0．5，I．0]内则保持平稳，没有变化，所以固有电势％的最佳取值区间为【0，0．5]。^100∞一，：一／、9∞o．／7＼Jl一，7’1豫，j蔷7”，／j1∞∞，77tJ50∞·、一’；—．————。，—————．—．——．————1———；枷}—再—百i_—西—irl鬲—丽_百F—而—刮衰减泵教^I—、图3-9衰减系数口F和最大方差比取值对应关系图(6)衰减系数吒～。l，，、。。。1／、＼。．．：∞∞-／一丑e∞0Lj一饕．j蔷”}j16000i√一5∞O-l，／一“}—了—1『_—f—{——}—i—1-—i_—音—_o囊蕞乐披～岫L图3—10衰减系数吒和最大方差比取值对应关系图 博士学位论文结合PCNN模型和最大方差比准则的图像分割对于固有电势口，而言，选取的测试取值区间为【O，10】，变化步长为1。在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3．10所示，从图上可以发现，最大方差比在【0，7】的区间内有变化，而且是处于最大值的范围，而在区间[7，10]内则保持平稳，没有变化，所以固有电势口，的最佳取值区间为[0，7】。(7)衰减系数口。对于固有电势口。而言，选取的测试取值区间为【0，10】，变化步长为l。在保持其他参数不变的情况下，计算在图像分割过程中最大方差比的变化情况。如图3．11所示，从图上可以发现，最大方差比在[1，4】的区间内有变化，而且是处于最大值的范围，而在区间【4，10】内则保持平稳，没有变化，所以固有电势口。的最佳取值区间为[1，4】。3．5．2实验分析。囊蕞系散～岫E图3—11衰减系数％和最大方差比取值的对应关系图实验数据包括动物、人、自然景观等在内的任意图像。本文选择了三种类型的图像进行测试，分别是双峰直方图图像、单峰直方图图像和多峰直方图图像。双峰直方图图像是Cameraman和Dragonfly，单峰直方图图像是Fish和Girl，多峰直方图图像是Lena。1)双峰直方图图像首先，我们来讨论双峰直方图图像的分割效果。给出的实验图像包括Cameraman和Dragonfly。实验结果包括灰度直方图、平滑后的直方图、最大方差比变化图、香农信息熵变化图以及每一次迭代后输出的实验结果。我们首先来分析第一幅图像Cameraman。如图3．14所示，第一幅图片为原始图像，后面的十九幅图片为Cameraman图像在每一次迭代之后的输出结果。图3．12和3．13是Cameraman图像的灰度直方图和平滑后的灰度直方图， 博士学位论文结合PCNN模型和最大方差比准则的图像分割从这两幅图像可以很容易看出，Cm'neraman图像是一个双峰直方图图像。·％。4*Ⅻ·，∞7∞1¨Ⅻ4*。∞2∞图3-12Cameraman友虚直方图图3i3Cameraman平滑后的友度直方图再来看图3-14，从第二幅图片开始到第十九幅图片，是Cameraman图像每一次迭代后的输出结果，证明这幅图像得到最终的分割结果是经过了十九次迭代过程。细看每次的分割结果，我们发现第二次迭代后的输出结果为全黑．这是为什么呢?我们从PCNN的迭代公式中可以发现缘由。因为在程序设计的时候，我们会把动态门限值E和内部活动项u的初始值都设为0。在第一次迭代的时候，u首先被计算，因此大部分值都会增大，这个时候在通过比较u和占的大小来决定输出脉冲y的时候，r的值大部分就会是1，所以第一次的迭代结果就可以输出出来。而第二次的时候，由于门限值在第一次的迭代过程中激增，u再次和它作比较的时候，就发现全部小于E的值，所以，此时的脉冲输出全部为0，结果就是，第二次的迭代分割结果输出为全黑。从第三帧到第八帧图片，可以看出图片中的细节信息还是在不断地变化中。从第八帧开始到虽后一帧，以目测的效果来看，图像的细节变化不是很大了，逐渐趋于平稳。接下来，来分析一下最大方差比的变化情况以及相对应的香农信息熵变化情况，来进一步确认分割结果的好坏，分别如图3．15和图3-16所示。首先看图3-15，分析最大方差比的数值变化情况。我们发现，在前八次循环中，最大方差比的变化比较剧烈，每一次迭代后计算得到的最大方差比都和前一次的相差很大，这证明图像内部，前景和背景的像素在不断的分类和聚合。从第九次开始，最大方差比的值的变化就具有一定的规律性，向最大值逼近，每一次迭代后得到的最大方差比和前一次的比较，变化比较缓和，这也在分割后的图像序列上有所反映，即图像的变化也逐渐变小。当循环达到第十九次的时候，前后两次的最大方差比的差值小于给定的闽值(设定最大方差比的阐值为50)。同样道理，在第二次循环的时候，由于是全黑图像，没有两部分对象进行比较，所以最大方差比趋近于零。再次通过验证香农信息熵来确认分割质量。如图3．16所示。香农信息熵在 博士学位论文结合PCNN模型和最大方差比准则的图像分割经过第二次迭代的突变之后，逐渐向最大值逼近。从第九次循环开始，就基本上是一个近似不变的状态(或者说变化十分微小)。对比图3．14的图像，也发现这些帧的图像信息基本保持稳定。b 博士学位论文结台PCNN模型和最大方差比准则的图像分割mnO积_积一积积。．!秧_积S积_拣图3—14Cameraman图像速代分割输出蛄果a)一t)表示每一次速代后的输出结果图3-15Cameraman图像最大方差比数值变化囤6。j15at口12¨16B∞⋯t囤3-16Cameraman图像香农信息熵数值变化图接下来，我们再来看第二幅图像Dragonfly。图3一19里面的第一幅图片是Dragonfly的原图。图3—17和图3-18分别表示的是Dragonfly的灰度直方图和 博士学位论文结台PCNN模型和最大方差比准则的图像分割平滑后的灰度直方图。显而易见，可以看出图像Dragonfly也是--N双峰直方图图像。再来查看图3．19。从第二幅到第十三幅，是Dragonfly的每一次迭代后的分割图像结果。分割结果中的第二幅图像也是全黑的，解释也同Cameraman图像。图3-20是Dragonfly图像在分割过程中最大方差比数值的变化情况。从变化曲线来看，除了第二次意外，在其他迭代次数中，最大方差比的数值变化一直不是很大。第三次到第八次的变化相对来说明显一些，第九次到第十二次的变化就很平缓了。对应到分割结果来看，如图3．19，也是前八次的分割结果相对来说“杂质”多一些，第九次到第十二次的分割结果变化较小。再来看图3．21，Dragonfly的香农信息熵的变化曲线也和最大方差比的数值变化曲线类同，这进一步证明了图像分割的最后结果是第十二次的结果。一1_1∞1∞i¨一々———；——ji——{i———．i—．；i——i图3—17I)ragonfly友度直方骂图3-18DragonfIY平滑后的友度直方冒蠹溺_毛o”∥)。，号歹驴伦为矿．寡薪一 博士学位论文结合PCNN模型和晟大方差比准则的图像分割盛4’扩}一‘?形S，翁矿，J一出1．7‘●l一甚影?图3-l9Drsgonfly图像遮代分割输出结果8)一m)表示每一次选代后的输出结果图3-20Dragonfly图像最走方差比数值变化图圉3—21OragonfIY图像香农熵数值变化图2)单峰直方图图像接下来，我们研究单峰直方图图像的分割结果。图3．24的第一幅图片是Fish原图。第二幅图片到第二十幅图片是每次迭代的分割结果。图3—22和图3．23分别是Fish图像的灰度直方图和平滑后的灰度直方圈。从图上可以看出，是一 博士学位论文结合PCNN模型和最大方差比准则的图像分割个单峰直方图图片，但是严格意义上讲，也可以说是一个双峰的灰度直方图，只是另外一个“I峰”的值比较小而已。再来看图3．24，这个图片系列是每一次的迭代分割结果。除了第二次的结果全黑之外，其他的结果变化都不是很大。对比图3．25的最大方差比数值变化图和图3—26香农信息熵的变化曲线，也可以发现，二者的变化也不是很大，尤其是香农信息熵从第三次开始就一直处于一种微小的变化中。从分割结果和数据分析来看，分割方法获得了较好的分割结果。图3_22Fzsh友度直方图囤3-23Fish平滑后的友虚直方图 博士学位论文结合PcNN模型和最大方差比准则的图像分割国3—24Fish图像迭代分割输出结果8)一t)表示每一次遮代后的输出结果 博士学位论文结台PCNN模型和最大方差比准则的图像分割一棚跚：_聊一《删i￥t■删国3-25Fish图像最大方差比数值变化图囤3—26Fi言h图像香农熵敷值变化圈再看另外一幅图像Girl。图3-29的第一幅图片是Girl的原图。图3．27和图3—28是Girl的灰度直方图和平滑后的灰度直方图。从直方图上可以看出，Girl图像是一幅单峰图像。或者说有一个大“峰”，两个小“峰”的图像。这种图像的难点在于如何确定最佳分割点的问题。从图3—29的分割结果序列来看，G谢的胸前的衣服已经被作为背景去除掉了。不过从人的主观视角来看，还是保留了目标的主要细节信息。在看图3—30和图3-31，最大方差比的数值变化在第四幅到第九幅图片中间变化较大，对应分割结果来看，这几张分割结果中的背景和目标像素的变化也比较多。不过从香农信息熵的值的变化来看，总体变化比较平稳。■_■_■l；二—；：。圈3-27G1r1友度直万目1：，、一一一、：々——i——1r—1i——i手女圈328GLr1平滑后的友度直方图 博士学位论文结合PCNN模型和晟大方差比准则的图像分割囤3—29Girl图像选代分割输出结果a)一o)表示每一斑迭代后的输出蛄果一’一一一——————_—一珊1一O‘。锄n5￡珊／。“：一2¨or十r丁r——i——i——i。。：．T下i——i—_．■gⅨt⋯t图3—30Girl图像最大方差比数值变化圈图3—31Girl图像香农熵数值变化图从这两幅单峰直方图图像的分割结果分析来看，本算法能够完成对单峰直 博士学位论文结合PCNN模型和最大方差比准则的图像分割方图图像的分割任务的，分割结果较好3)多峰直方图图像接下来分析多峰直方图图像的分割结果。图3．34的第一幅图片是Lena的原图像。图3—32和图3—33分别是Lena的灰度直方图和平滑后的灰度直方图。从直方图可以看出，这是一幅多峰直方图的图像。多峰直方图图像的难点在于分割点的确定。图3—32Lena友度直方囤平滑后的友度直方圈二～～。。。：。f卧 博士学位论文结合PCNN模型和最大方差比准则的图像分割飘i撼砒貉、，一、一一』图3-34Lens．图像分割结果a)-q)表示每一次选代后的输出结果从图3．35可以看出，最大方差比的变化出现几次大幅度的反复，从分割结果来看，中间部分的结果也是有很多背景像素被划分到了前景区域。再来看图3．36，可以看出香农信息熵的值也在不断的交错变化。这些都说明了，多峰直方图图像在分割过程中，最佳闽值的确定不能很明确。因此在迭代的过程中，像素的分类也是在不断的反复，反映在分割结果中就是，每次输出的图像变化较大。不过总体上看，虽然细节信息不足，但是分割出来的目标物体还是比较精确的。也证明了算法具有一定的鲁棒性。《∥扎刈∥扎≯孝露髫∥陌～■氍⋯㈨㈤⋯Ⅲ旧瞄鬣㈣踟．j、、。llhj‘R¨¨■Ⅱ●』I．¨¨． 博士学位论文结合PCNN模型和最大方差比准则的图像分割30002500}，∥￡。一1，。“m}I^，广＼=，7J?＼，Z1_＼。，。‘一1s∞l—J1000LJ5∞-J0O246B10121416循环攻救图3-35Lena图像最大方差比数值变化图图3-36Lena图像香农熵数值变化图综上分析，可以看出，本文算法在针对不同种类的图像进行分割时，能够实现较好的分割效果。在分割多峰直方图的图像时，分割效果相对欠缺。接下来，我们将本文算法和其它算法进行比较，对比算法的优劣。3．5．3实验对比首先将本文算法和一些当前应用比较多的分割算法进行比较，选取遗传算法[13】、三维直方图法【14】和二维Otsu法[15】进行对比。这几种方法都是比较具有代表性的图像分割方法。实验结果如图3．37和3．38所示。从图3-37中可以看出，基于遗传算法的图像分割方法对鱼的提取杂质信息较少，两个角上的信息都给去掉了，但是也是的鱼身体上的信息被去除了一些，使得鱼的整体性变差了。基于二维Otsu算法的图像分割方法保留了较少的杂质信息，但是鱼身的整体性也受到了破坏。基于三维直方图法和本文提出的分割方法对鱼身的整体性保留较好，但是也在两个角的位置上保留了一些杂质信息。仔细对照，可以看出本文提出的算法交基于三维直方图的分割方法保留的杂质信息相对较少些。从图3．37来看，总体上来说，本文提出的算法能够较好的完成图像分割，获得的分割效果较好。再看图像3．38，是一幅蜻蜒的图像。分割结果中，基于三维直方图的分割方法获得的结果中包含的杂质块最多，其次是基于二维Otsu的分割算法，然后是基于遗传算法的图像分割方法，本文提出的分割方法获得的结果中包含的杂质最少，而且蜻蜒的整体性保留较好。因此，从图3．38来看，本文提出的分割方法较其他方法具有更好的分割效果。 博士学位论文结合PCNN模型和最大方差比准则的图像分割矿矿氐氐8，、，5，、■～氐A●匿0t、r一。量夥矗／．d’。一—^≥罗琶、；．／图3—38DragonflY图像的分割结果a)原图b)遗传算法c)三雉直方囤d)二维0tsu算法e)本文算法上面只是列出了两组图片的对比效果，对比结果也具有一定的片面性，下。岁 博士学位论文结台PCNN模型和最大方差比准则的图像分割面将利用香农熵准则对四种算法的分割效果做定量分析．香农信息熵的值越大，代表图像中包含的信息越多，反之越少。图3．39显示了四种分割方法对多幅图像进行分割后，获得的香农信息熵的平均值的显示结果。从图上可以看出，基于三维直方图的方法的香农信息熵平均值最小，本文提出的分割方法的香农信息熵平均值最大。因此从图3-39来看，本文提出的算法具有较好的分割效果。圉3—39四种分割算法的香农信息熵平均值对比结果前面的对比是将本文算法同不同的图像分割方法进行比较，接下来将本文算法同同样基于PCNN模型的分割算法进行比较，来判断其分割效果的优劣。选取基于2D．OTSU的PCNN自动分割算法【16】以及基于交叉熵的PCNN自动分割算法[17】进行比较。基于2D—OTSU的PCNN自动分割算法和基于交叉熵的PCNN自动分割算法是两种相对比较经典的基于PCNN模型的图像分割方法，我们拿这两种方法进行实验对比，检验本文算法的实验效果。通过实验对比发现，三种算法都能够很好的完成自动分割，分割效果良好，部分实验结果如图340和图3．41所示。虽然三种算法都能够获得良好的分割效果，以人的视角观察，分割效果没有明显差异，但是它们各自的运行时间却各不相同，基于2D—OTSU的自动分割算法的时间复杂度为。(妒)，基于交叉熵的自动分割算法的时间复杂度为O(册，本文算法的时间复杂度为0(帅。通过对300幅图像的实验验证，在运行时间上，本文提出的算法最快，平均起来要快15％左右。表3-1给出了十幅图像的运行时间对比和香农熵对比结果，可以看出，相对于其他两种算法，大部分情况下，本文提出的算法在运行时间上相对要少一些。三种算法分割后的图像的香农信息熵互有大小，大体上基本相当。图3-42进一步给出了三种算法的平均运行时间，从图上可以看出，相对于其他两种算法，本文提出的算法平均运行时间最少。圈3_43给出了三种算法的平均香农信息熵，从图上可以看出，z，¨0装一Iu=#j##t 博士学位论文结合PCNN模型和最大方差比准则的图像分割三种算法的平均香农信息熵的值相差微小，本文算法的香农信息熵平均值相对大一点点。盎彀：锹．?泰国3—40Cameraman图像的分割结果a)源图像b)2D一0TSUc)交又熵d)本文算法图341细茵图像的分割结果a)源图像b)2D一0TSUc)交叉熵d)本文算法综合起来评价，相对于其他两种算法，本文提出的算法在分割结果的香农信息熵值更太，表明分割后的结果包含更多信息。同时，算法运行时间最少。袁3-1基于2D一0TSU、基于交叉熵厦本文算法的性能评价《*W目(s)o47"o6701o5946o3啪o4787o801706045o3918o5989o4315}《*06027o6655o6155046BBo543105802o6560o6632os啦o6760囤3—42三种算法平均运行时间图3-43三种算法香农信息嫡平均值 博士学位论文结合PCNN模型和最大方差比准则的图像分割3．6本章小结本章结合PCNN模型和最大方差比准则提出了一种新的图像自动分割算法。该算法模拟人类视觉机理进行图像分割。算法首先利用改进的PCNN模型对图像进行增强预处理，然后对做了增强预处理后图像进行PCNN迭代“点火”，在迭代的过程中引入最大方差比准则对每一次的迭代结果进行判定，确定最优迭代次数，获得最优的图像分割结果，最后利用最大香农熵准则进行验证。大量的实验验证了文中提出的分割算法的有效性，证明了该算法能够实现PCNN迭代次数自动判定的目的，实现图像的自动分割，提高了PCNN自动分割的运行速度。不过在实验中，我们也发现两点不足，一个是由于最大方差比准则对于多峰图像分割的局限性，限制了本算法对于多峰图像的最优分割，有时候会出现局部最优解的情况，造成分割错误；另外一点是，对于一些输入图像，将背景和前景错误划分的情况也有发生，这是由于PCNN模型的特点决定的，因为其点火时间只依赖于像素的灰度值，对于图像中所包含的空间信息没有加以利用，如果能够把图像中的空间信息利用起来，结合神经元的区域特性进行“点火”，那么应该可以有效解决这种情况。 博士学位论文基于小波变换多级分解的图像融合4．1引言第四章基于小波变换多级分解的图像融合图像融合作为图像处理的重要研究方向，是目标识别、目标跟踪的基础工作。如何让图像融合的结果更加符合人的感知，使得融合后图像效果最优，一直是各种算法追求的目标。随着对人类视觉机理研究的不断深入，基于人类视觉机理模型的图像融合算法不断被提出，相对于传统融合方法，新方法的融合效果更加符合人类视觉感知。本章提出了一种结合小波变换和PCNN模型的图像融合方法，该方法在对图像分解和系数选择上在一定程度上都模拟了人类视觉的工作机理。实验表明，该方法的图像融合效果较好，融合结果符合人的视觉感知。本章结构如下，首先介绍图像融合的评价体系，然后介绍小波变换的原理，接着详细介绍了本章提出的算法，然后给出实验分析，最后是本章小结。4．2图像融合评价体系图像融合的评价体系有很多种说法，概况起来，可以分成两部分，一部分是主观评价体系，一部分是客观评价体系。4．2．1主观评价体系主观评价方法主要是以人的主观判断为主，对图像融合结果进行定性分析。因为图像融合的最终结果是为人类服务，人的视觉评判在一定程度上具有不可替代的作用。与此同时，由于是人的主观性在评判，就涉及到一个客观性的问题。由于人的主观意识不同，观看事物的角度不同，以及图像类型、应用场合的不同等原因，难以做到精确评价图像的融合质量。因此，客观评价体系就显得很重要。4．2．2客观评价体系客观评价体系是相对于主观评价体系而言的，主要是为了排除人的主观因素的干扰，通过一些评价指标来客观的评价图像融合结果的优劣。到目前为止，客观评价标准主要有这样几种：图像均值、信息熵、标准差、互信息、交叉熵、平均梯度、均方根误差、结构相似性、Petrovic矩阵∥肼和Piella矩阵Q等。45 博士学位论文基于小波变换多级分解的图像融合这些评价标准都能够客观的反映融合图像质量的优劣。接下来，我们对文章中用到的四种评价标准进行详细的论述。(1)均方根误差均方根误差反映的是融合后图像和标注参考图像之间的误差情况。其值越小，表明融合后图像和标准参考图像越接近，即融合效果越好。其定义为：潲E=(4．1)其中，RMSE代表均方根误差，F代表融合后图像，R代表参考图像，胁Ⅳ代表图像尺寸。(2)结构相似性结构相似性[190]描述的是融合后图像和参考标准图像之间的相似程度，其值越大，表明二者之间越相似，融合效果越好。其定义为：SSIM：孥丝肇二921三垒±生2(4．2)(联+群+c0(0-；+0-，2．+c：)盯胙2击善(R确)(E佛)(4-3)其中，SSIM代表结构相似性，CI=(KIL)2，C2=(K2L)2，L像素值的动态范围(8位灰度图像的有256色灰度值)，／(1，飓《1是值很小的常数。心代表参考图像像素的平均值，所代表融合后图像像素的平均值，盯。代表参考图像像素的均方差，盯。代表融合后图像像素的均方差。0-RF代表参考图像和融合后图像的均方差差值大小。(3)Petrovic矩阵Q删FPetrovic矩阵是由Petrovic和Xydeas提出来的[1391，这个方法不需要参考图像，在判定图像质量的时候只考虑源图像的边缘信息的多少。这个方法利用Sobel边缘检测器来计算两幅源图像和融合后图像的每一个像素的力度信息和方向信息。对于两幅源图像4和B，以及融合后图像F，利用Sobel算子对每一个像素提取力度信息g仰，行)和方向信息ct(m，n)：gA(m，n)=4Si(m，玎)2+s；(，竹，甩)2(4-4)ctA(m,n)=tan。1C渊]∽5，其中，彰(聊，，2)和彤∽，，I)是在图像A中，以像素办(所，刀)为中心，中心像 博士学位论文基于小波变换多级分解的图像融合素和相关邻居像素的Sobel卷积的水平输出和垂直输出。源图像彳和融合后图像F的力度值和方向值为：(《矧=慨卜丁I口A(m,n)-ar(m,n)I]㈨6，其中，M：J1i7r矾(m，，z)>繇(聊，川。【一Iotherwise在边缘信息的保留值的定义为：鳐=Fgr。1+ekS(曙叫)。1(1小㈣咆’)～(4．7)最后，Q删F的定义为：胆鼍器件8，Q删F可以利用局部重要性感知因子∥和矿来评估输A-gffQ"w和g盱的边缘信息保留值的数目。W。和扩的定义分别为：wA(m，n)=[gA(聊，胛)】‘和w8沏，胛)=[踟(研，n)r。其中，L是常量。最理想的融合结果是，a删F=1。(4)Piella矩阵姥Piella矩阵[140]的评测标准是通用图像质量指标(UIQI)。为了使用UIQI作为图像融合的评价标准，Piella和Heijmans为Piella矩阵引入了显著性信息的概念：Qp(x，Y，F)=∑c(w)[五Q(x，F1w)+(1一五)Q(】，，F1w)](4—9)其中，X和】，是输入图像，F是融合后图像，c(w)是窗口显著性。五反映的是在窗口W中，图像x相对于图像】，的重要性，旯的定义为：五：兰蚓塑(4．10)s(XW)+s(rlW)s(Xw)表示的是在窗口w中，图像X的显著性。最后，引入人类视觉系统(HVS)的方法，同样的方式就可以用来计算“边界图像”(X’，】，+和F’)，而不是灰度图像(X，Y和F)：姥(x，】，，F)=Q，(X，Y，F)卜2Q，(x’，】，’，F’)8(4—11)其中，参数口∈[0，1】表示的是边界图像相对于原始图像的贡献度。Piella矩阵有一个动态的取值范围[-1，1]。其值越是接近于1，就表示合成图像的质量越高。47 博士学位论文基于小波变换多级分解的图像融合4．3小波变换小波变换的概念最早出现在二十世纪八十年代初期，法国地质工程师Morlet、物理学家Grossman、数学家Meyer[141]、信号处理专家Mallat[1421和比利时数学家Daubechies[143]等为小波变换理论的形成、发展以及在工程中的应用等方面做出了决定性的贡献。1989年，Mfllat在小波分析中引入计算机视觉领域中的多尺度分解思想，提出了Mallat算法，并在图像的分解和重构中得到应用[88】。Daubechies利用离散滤波器迭代法构造正交小波基，使得小波分解可以通过信号和离散滤波器进行卷积来完成。二十世纪90年代，Kovacevic等人提出了“双正交小波”概念[144】，Wickerhauser提出了“小波包”概念[145】。Bijaoui、Starck和Murtagh提出了一种具有移不变性的离散小波变换算法—atrous算法[146】，该算法在图像融合领域取得了较好的融合效果[147]。小波分析是传统傅里叶分析发展的新阶段，小波分析优于傅里叶分析的地方在于它的时域和频域都具有良好的局部化性质。由于对高频成分采用逐渐精细的时域或空间域取样步长，从而可以聚焦到对象的任何细节上。小波变换分为连续小波变换(ContinuousWaveletTransfo珊，CWT)和离散小波变换(DiscreteWaveletTransfoITS，DWT)两种形式。4．3．1连续小波变换函数厂(x)在r(尺)空间上的连续小波变换定义为：睨“咖)2丽1e厂(z)杪洋边(4-12)连续小波变换的逆变换为厂(x)=石1ee％，．r(口，6)虬“x)》(4-13)4．3．2离散小波变换假定尺度参数a=口孑，平移参数b=na孑bo，其中ao，bo>1，则‰J，(f)=舔州2杪(酊”t-nbo)。厂(f)的离散小波变换定义为：d。，。(厂)2Lf(t)gtm，。(Oat(4-14)常用的离散小波变换是二进离散小波变换，即对a和b进行二进采样：a=2～，b=k／2’，／，k∈Z。此时，∥从(f)=2J／2q／(2’t-k)，则二进离散小波变换的定义为： 博士学位论文基于小波变换多级分解的图像融合哆，。(厂)=e邝)瓦劢(4·15)4．4结合小波变换和PCNN模型的图像融合方法4．4．1基于小波变换的图像融合意义一般情况下，图像中不同物体的特征和边缘是会出现在不同大小的尺度上[148]。例如，对于任何一幅特定比例的地图来说，都无法清晰反映所有特征和细节信息。在较大尺度的地图上，大的物体如山脉、海洋、陆地的特征和边缘是可见的，但是“细小”的物体的特征如房屋、街道等的特征就是不可见的了。利用小波变换对图像进行多尺度的分解，可以看作是对图像进行多尺度特征提取，对于融合而言，就可以在不同尺度和方向上，对边缘和细节进行融合处理。人眼对不同方向的高频分量具有不同的分辨率，小波变换具有方向性，如果在融合处理过程中，利用这一特性，选取正确的融合策略，就可以获得良好的视觉效果。利用离散小波变换对图像进行多层次的分解(设分解层数为N)，那么每一层分解产生4幅子图像，分别是LL、LH、HL、删，最终将产生3N+1个不同的频带，如图4．1所示(两层分解示意图)。越高层次的小波分解频带，其图像尺寸就越小，就像金字塔结构一样，所以有时称之为金字塔小波分解。图像在进行了小波分解之后，在进行融合处理时，针对不同频率分量、不同分解层、不同方向都可以采用不同的融合规则进行处理。另外，同一层次上的不同局部区域也可以采用不同的融合算子进行融合，这样可以充分挖掘源图像上的互补及冗余信息，有针对性的强化感兴趣区域的调整和细节信息。4．4．2算法流程图4-1图像小波分解示意图本章结合离散小波变换和PCNN模型，提出了一种新的图像融合算法。算49 博士学位论文基于小波变换多级分解的图像融台法的流程图如图4．2所示，其主要步骤如下：(1)对源图像进行配准；(2)将配准后的图像进行小波分解，得到不同层次的小波系数；(3)利用不同的融合规则对不同层次的小波系数分别进行融合，利用图像局部区域能量准则选取低频系数，利用PCNN模型选取高频系数，最后形成融合后的小波系数；(4)对融合后的小波系数进行一致性验证；(5)利用逆向小波变换将进行了一致性验证的小波系数重构成融合后图像。圈4-2算法流程图基于小波变换的图像融合方法，在利用小波变换对图像进行分解，形成多层小波系数后，如何选取两幅图像对应位置的小波系数就成了关键中的关键，很多算法都在研究这个问题。接下来，我们将对本章提出的算法的融合规则进行详细阐述。421融合规则的选取在利用离散小波对图像进行多层次分解后．生成了不同层次的小波系数，由于小波系数的各分辨率水平方向代表了不同的意义，所以就要采用不同的融合规则对不同层次的小波系数进行融合。研究表明，小波系数的特点如下：(1)低频系数为正数，高频系数则有正有负；(2)小波分解层数越多，其低频系数就越多；(3)边缘位置对应的高频系数具有较大的绝对值，小波分解层数越多，其值越大。小波系数的这些特点表明：(1)小波变换使得图像的空间低频特征和高频特征得到分离：(2)小波分解层数越多，其低频子带中包含的高频信息就越少；(3)源图像中像素值突变的高频特征的小波系数值较大[1491。根据小波系数的特点，其融合规则可大致分为三类：基于单个像素的融合规则；基于区域特征的融合规则；基于全局特征的融合规则。=一坐盏詈参《鱼舞“～墨!日日 博士学位论文基于小波变换多级分解的图像融合(1)基于单个像素的融合规则这类规则主要有：系数最大绝对值法[1501，这种方法适用于高频成分比较丰富，亮度、对比度较高的源图像，否则在融合图像中只会保留其中一幅源图像的特征，其它的特征将被覆盖。源图像的特征基本被保留在融合图像中，融合图像的对比度与源图像基本相同。加权平均法[151]，权重系数可调，可以去除部分噪声，源图像的信息损失较少，但会造成图像的对比度下降。替换法【152]，利用高分辨率的小波系数替代低分辨率的小波系数。最大值法和最小值法虽然能够增强图像的对比度，但是有的时候会丢失图像的细节信息。(2)基于区域特征的融合规则基于区域特征的融合规则是对选取的区域的能量[153]、方差[154]、梯度『139]和距离[1401等特征作为一种指标来指导小波系数的选取，区域的大小一般取3×3，5×5，7×7窗口。这类融合算法的主要流程基本相似，都是先计算窗口内的特征值(能量、方差、梯度和距离等)，然后比较特征值，进行对应的高频子图像融合。假设A和B为待融合的高频子图像，F为融合后的子图像，则融合规则如下：jF(m，，2)=4(m，咒)瓦(啪，甩)≥毛(m，n)(4-16)【F(m，刀)=B(m，刀)疋(m，，?)<毛(聊，胛)其中，丁代表不同的特征值。(3)基于全局特征的融合规则这种融合规则主要特点是：一般先利用各种分割算子对图像进行分割，获得不同的分割特征，利用这些特征计算融合决策图。最后根据融合决策图得到最终的小波系数图，再通过小波逆变换就可以得到最后的融合图像。这种算法比较有代表性的是文献[1551提出的基于区域的小波融合算法。这种算法将特征层融合和像素层融合相结合，以特征层的结果指导像素层的融合。1．低频子带系数的融合规则小波分解后获得的低频子带都是正的值，反映的是图像在该分辨率上的概貌[156]。图像梯度能量(Energyofimagegradient,EOG)反映了图像的梯度信息，对于具有丰富的概貌信息的低频子带来说，可以很好的反映图像信息的变化情况。其公式为：MNEOG=∑∑(e(朋，胛)+e(m，，2))(4．17) 博士学位论文基于小波变换多级分解的图像融合其中，M×N为图像的尺寸大小，，代表像素值，L(m，以)=I(m，，2)一I(m一1，")，，，(聊，n)=I(m，甩)一I(m，刀一1)。为了更好的表示图像在局部区域内的信息，同时为了更好的正确的组合低频子带系数，本文引入了图像局部区域梯度能量(LocalareaenergyofimageFadient，LEOG)概念。定义如下：LEOG(m，刀)=-2∑(e沏+f，以+_，)“；咖+f，，z+J))(4．18)‘’‘一、x、。oy、。o、其中尬×M是局部区域尺寸大小。，代表像素值，Ix(m，门)=／(m，力)．I(m．J，门)，Iy(m，甩)=I(m，以)一l(m，1"1一J)。如果LEOG
此文档下载收益归作者所有
