基于极限学习机的多示例算法研究

《基于极限学习机的多示例算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、10459学校代码学号或申请号201312182146密级硕士学位论文基于极限学习机的多示例算法研究作者姓名：蔡良健导师姓名：王杰教授学科门类：工学专业名称：控制理论与控制工程培养院系：电气工程学院完成时间：2016年5月AthesissubmittedtoZhengzhouUniversityforthedegreeofMasterResearchonMultipleInstanceLeanringBasedonExtremeLearningMachineByLiangjianCaiSupervisor:Prof.JieWangControlTheoryandCon

2、trolEngineeringSchoolofElectricalEngineeringApril,2016关于学位论文的独创性声明：所呈交的学位论文，本人郑重声明，是本人在导师的指导下独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研巧做出重要贡献的个人和集体，均己在文中Ｗ明确方式标明。本声明的法律责任由本人承担。学位论文作者签名；（）日期各／月Ｉ：年日学位论文使用授权声明本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关

3、保留、使用学位论文的规定，同意学校保留或向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可Ｗ将本学位论文的全部或部分编入有关数提库进行检索，可Ｗ采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学一位论文或与该学位论文直接相关的学术论文或成果时，第署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。学位论文作者（签名）：餐的曰期；衣乂年＾月ｆ摘要摘要在许多领域，人们发现很多问题本质上都有多示例设定的背景，例如新药发现，文本分类（信息检索），图像分类（机器视觉），语音识别（

4、信号处理）等等。多示例问题的成为机器学习领域研究的一个重要问题，在过去的几年，有很多方法被研究出来解决多示例问题。但是多示例问题面临的样本多，大多数学习算法训练速度慢，限制了他们在实际中的应用。本文分别从基于包空间的角度和从基于示例的角度提出了了改进极限学习机的两种方法。主要的研究内容如下：1.从基于示例空间的角度，不仅可以预测包层次的标签，也可以对包中示例的分布和示例标签进行预测。本文从基于示例空间的角度提出了改进极限学习机的一种方法MIL-ELM。这种方法考虑到对于一个神经网络来说，包中的示例每有标签，无法进行有监督的学习，但是可以把一个负包中的所有示例当成一个多

5、示例空间上的点，让随机产生的神经网络对所有的示例进行一个评价，通过最大化先验概率，这样就可以挑选出一个包中最有资质的示例来代表这个包。基于多示例的基本假设，一个正包中所有的示例都是正示例。负包中至少有一个示例是负示例。第一阶段，利用单隐层神经网络在负包中挑选最负（负示例概率最大），在正包中挑选正包（正示例概率最大）。在第二阶段，把示例当成包的代表作为训练集，利用极限学习机算法原理重新训练神经网络。实验证明MIL-ELM训练速度快，分类精度较高。2.针对MIL-ELM算法的不稳定性，提出用bagging技术优化MIL-ELM。Bagging优化后的MIL-ELM克服了极

6、限学习机算法先天的随机不稳定性，提高了MIL-ELM的预测精度。3.提出一个基于包空间的方法MI-ELM。此方法应用一个Hausdorff距离度量包之间的距离从而改进了高斯核的极限学习机。隐层节点是由包空间组成的，这个包空间是随机产生的。由于我们不需要调节输入层到隐层节点的参数，MI-ELM学习的速率非常快。又利用了核技巧，有较好的分类回归精度。4.提出多示例算法是为了更好的解决多示例问题，本文提出的算法在药物活性预测成功实现了应用，并取得了较好的药物活性预测的效果。通过基于改进Kmeans的聚类算法对图像分割，成功把MI-ELM和ELM-MIL算法应用到基于内容的图

7、像检索。最后，实现了本文提出的算法在多示例回归问题中应用并取得较好的回归测试效果。关键词：多示例学习；极限学习机；RBF核；图像分类；多示例回归；单隐层神经网络IAbstractAbstractInmanyfields,itisfoundthatmanyoftheproblemsareessentiallyformulatedmakinguseofthemultipleinstancelearning(MIL)setting.Afewfieldsthatusethisframeworkcanbementioned,suchasdrugdiscover