改进的遗传算法在SVM参数优化中的应用

《改进的遗传算法在SVM参数优化中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３２卷第４期云南师范大学学报Ｖｏｌ．３２Ｎｏ．４２０１２年７月ＪｏｕｒｎａｌｏｆＹｕｎｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙＪｕｌ．２０１２＊改进的遗传算法在ＳＶＭ参数优化中的应用刘虎１，２，罗斌１，吴晟１，侯明１（１．昆明理工大学信息工程与自动化学院，云南昆明６５０５００；２：新疆兵团警官高等专科学校，新疆五家渠８３１３００）摘要：遗传算法是一种具有随机、高度并行、自适应特点的全局最优搜索技术，即以生物界自然选择和遗传机理为基础的智能计算模型，模拟生物的自然进化过程。文章利用改进的遗传算法优化ＳＶＭ参数，提高ＳＶＭ

2、分类器的学习能力和推广能力，实验仿真表明，优化的ＳＶＭ不仅能高准确地预测训练集，而且使分类准确率维持在一个较高的水平。关键词：遗传算法；ＳＶＭ；结构优化中图分类号：ＴＰ１５文献标识码：Ａ文章编号：１００７－９７９３（２０１２）０４－００４７－０５遗传算法（ＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈｍ，简称ＧＡ）最初是由美国Ｍｉｃｈｉｇａｎ大学Ｈｏｌｌａｎｄ教授于１９７５年首［１］次提出的，并出版了专著《ＡｄａｐｔａｔｉｏｎｉｎＮａｔｕｒａｌａｎｄＡｒｔｉｆｉｃｉａｌＳｙｓｔｅｍｓ》，遗传算法这个名称才逐渐为人所知，遗传是生物的普遍

3、特征，生命自从诞生以来，就开始了漫长的进化历程，简单低级的生物逐渐发展为复杂高级的生物，亲代将遗传信息传递给子代，子代具有和亲代相同或者相似的性状；变异则是在遗传过程中，亲代与子代之间在性状上或多或少存在的差异，变异是随机产生的，是维持生物多样性的主要原因；它根据适者生存，优胜劣汰等自然进化规则来搜索求解问题，其特点不受搜索空间是否连续或可微的限制，也适合于大规模的并行计算，对传统数学方法难以解决的或者明显失效的、复杂的、［２］非线性、优化等问题提供了行之有效的新途径。关于支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈ

4、ｉｎｅ，简称ＳＶＭ）参数的优化选取，到目前为止也没有一套成熟的理论，目前最好的方法就是让参数惩罚系数ｃ和核函数ｇ在一定范围内取值，采取试奏的方式最终得到最优的ｃ和ｇ的值，过高的ｃ会导致学习状态发生，使训练分类的准确率很高，但预测效率很低，即分类器的泛化能力很低，所以选择合适的参数对ＳＶＭ相当重要。１支持向量机及交叉验证的基本概念１．１支持向量机的基本概念及特点［３］支持向量机是在统计学的理论基础上发展起来的一种机器学习的算法，用来解决回归、分类问［４］［５］题的一种新的数据挖掘技术。支持向量机的主要思想是建立一个分类超

5、平面作为决策曲面，使得正例和反例之间的隔离边缘最大化。支持向量机主要具有以下优点：（１）通用性强：能够在广泛函数集中构造函数；（２）有效性：在解决问题中总是属于最好的办法之一；＊收稿日期：２０１２－０４－２１基金项目：云南省教育厅项目（０９Ｙ００９２）．作者简介：刘虎（１９７４－），男，新疆乌鲁木齐人，硕士研究生，主要从事领域智能系统等方面研究．通讯作者：吴晟（１９６０－），教授，硕士生导师，主要从事领域信息安全及算法等方面研究．Ｅｍａｉｌ：ｗｓ８１４６＠１６３．ｃｏｍ·４８·云南师范大学学报（自然科学版）第３２卷（３

6、）计算简单：计算的方法实现只需要利用最简单的优化技术；（４）鲁棒性强：不需要额外的微调；１．２ＳＶＭ交叉验证方式［６］交叉验证是用来验证分类器性能的一种统计方法，其思想是将原始数据进行分组，本文采取的交叉验证方法是Ｋ－ＣＶ方法：将原始数据平均分为Ｋ（Ｋ一般大于等于２，实际操作时一般从３开始）组，验证工作将对每个子集数据进行操作，与此同时对其余的子集数据进行训练，从而得到Ｋ组分类准确率，其平均值为Ｋ－ＣＶ方式下分类器的性能指标。２遗传算法优化ＳＶＭ参数的基本框架［７－８］遗传算法是基于自然选择和生物遗传机制，用于全局优化

7、、分类以及对其他数据挖掘技术的适合度进行评价的方法，通常由三种基本操作组成，即双亲选择、父子交叉、子代变异，遗传算法优化ＳＶＭ参数的具体步骤如下：确定参数编码方案，将ＳＶＭ有关参数以二进制的编码方式对参数进行编码。确定适应度函数，以交叉验证方式下的准确率为遗传算法的适应度函数。遗传算法优化操作。遗传优化后得到支持向量机的最佳参数，最后获得所需最好分类结果。整个算法流程如图１：图１ＧＡ优化ＳＶＭ参数流程图Ｆｉｇ．１ＧＡｏｐｔｉｍｉｚａｔｉｏｎｏｆＳＶＭｐａｒａｍｅｔｅｒｓｆｌｏｗｃｈａｒｔ３改进遗传算法３．１编码并生成初

8、始种群编码：为确定在ＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）模型中找到最佳构架，现使用形如ｄ１．．．ｄａｄａ＋１．．．ｄｇｄｇ＋１．．．ｄｋ的二进制符号串对ＳＶＭ参数ｃ，ｇ以及Ｋ进行编码，自变量编码的一组取值可决定一个可行解。其中惩罚系数ｃ的编码对应ｄ１．．．ｄａ，核函数的编码对应ｄａ＋１．．．ｄｇ，分组数目Ｋ的编码对应ｄｇ＋１．．