融合无监督和监督学习策略生成的多分类决策树

《融合无监督和监督学习策略生成的多分类决策树》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、融合无监督和监督学习策略生成的多分类决策树邱徳红，陈传波（华中科技大学计算机科学与技术学院，湖北武汉430074）摘要：提出了一种融合无监督和监督两种学习策略生成多分类决策树的方法.它首先利用无监替聚类方法能够发现待分类样本Z间的内在联系和规律的持点，确定出最为符合篡类样本分布持征的决策树的树型，继而利用监擀学习支持向量机的方法对样木进行准饰的分类•通过采用核函数和不对称的Lagrangian系数限制条件，支持向斌机很好的解决了样本特征空间上的线性不可分性和决策树型确定过程中出现的训练样本不对称性的影响.该方法具有较崗的计舁效率和准确性，在实验中取得了比较好的结果.关键词：多

2、分类决策树：无监督聚类：支持向量机中图分类号：TP391.41文献辨识码：A文章编号：1000-1200（2001）01-0555-05ConstructionofMulti-classificationDecisionTreeCombiningUnsupervisedandSupervisedLearningStrategyQTUDe-hong,CHENChuan-bo(ScfioofofComouterScienaandlTecdnofogy.HuazdongVnii^rsilyofScienceandTecfmofo^Wufian430074tcfiina)Abstra

3、ct:Inthispaper,anewmethodwhichcombinesunsupervisedandsupervisedlearningsteategvisputforwardtoconstructthemulti-classificationdecisiontree,Itfirstlyusestheunsupervisedclusteringtodeterminethestructureofthemulti-classificationdecisiontree,whoseeachnodehasabinarybranch.Theunsupervisedclusterin

4、gisabletofindouttherelationshipbetweenthemulit-classes,thereforethedecisiontree"sstructuredeterminedbyitisthebestonethatfitstothedistributionofmulit-classesinfeaturespace.Thon,3supervisedlearningmethod,i.e.supportvectormachine,isusedtoclassiTythetwogroupsofsamplesofeachnodeofthedecisiontree

5、.Mostcasesthemulti-classescannotbeclassificdbya1inearhyperplane,kernelfunctionsarethereforeintroducedintotosolveit.Simultaneously,unsymmotricalconstrainsofl.agrangiancoefficientsaresettoovercomethenegativeinfluencesofunbalaneedtrainsamples・Theseeffortsguaranteetheefficiencyandaccuracyofthem

6、ulti-classificationdecisiontree.Satisfyingresultswereobtainedinexperiment・Keywords:multi-classificationdecisiontree;unsupervisedclustersupportvectormachine1引言筋分类问题是一个比较常见的问题，机器学习理论和方法的研究在解决二分类问题上取得了比较满意的结果名分类问题虽然也冇研究叫但在理论构架和现实方法上还有相当大的闲难.目前解决影分类问题花要运用乡分类决策数，决策树上的每一个节点对应--个二分类器，实际上是利用二分类方法解决

7、多分类问题•生成类分类决策树的方法有（1）'一对其余'，决策树上屮个节点对应的二分类器只判断是某一类还是英余类；（2）'一对一’，决策树上MAH）/2个节点对应的二分类器只能对类中的两类作出是否判断:（3）'一半对一半'，即决策树的廿点对应的二分类器将卩点上的类二等分（允许一类别在两个节点上出现）,直至叶节点.决策树上节点的数□为,其中为大于或等于1。也（血瑕小整数•这三类方法生成的决策树虽然具有不同的计算效率和分类效果，但各自在应用中取得了比较好的结果"I无监擀学习和监骨学习是机器学习方法研究的二大策