资源描述：
《人工智能10学习2(PPT58页).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第10章学习Supervisedlearning监督学习Supervisedlearning正规的参数表示分类回归Classification（分类）WearegivenasetofNobservations{(xi,yi)}i=1..NNeedtomapx∈Xtoalabely∈YExamples:DecisionTrees决策树教材Section18.3学习决策树Problem:基于以下属性决定是否在一家餐馆等座位:1.Alternate（别的选择）:isthereanalternativerestaurantnearby?2.Bar:isthereacomfortablebarare
2、atowaitin?3.Fri/Sat:istodayFridayorSaturday?4.Hungry:arewehungry?5.Patrons（顾客）:numberofpeopleintherestaurant(None,Some,Full)6.Price:pricerange($,$$,$$$)7.Raining:isitrainingoutside?8.Reservation（预约）:havewemadeareservation?9.Type:kindofrestaurant(French,Italian,Thai,Burger)10.WaitEstimate:estimated
3、waitingtime(0-10,10-30,30-60,>60)Attribute-basedrepresentations以下是12个基于这10个属性描述的例子，属性值是布尔、离散和连续的E.g.,situationswhereIwill/won'twaitforatable:Classification（分类）ofexamplesispositive(T)ornegative(F)Decisiontrees一个可能的假设表示E.g.,hereisthe“true”treefordecidingwhethertowait:DecisionTreeLearningExpressivene
4、ss（表达能力）决策树能够表达关于输入属性的任何函数E.g.,forBooleanfunctions,truthtablerow→pathtoleaf（函数真值表的每行对应于树中的一条路径）:Trivially,thereisaconsistentdecisiontreeforanytrainingsetwithonepathtoleafforeachexample(unlessfnondeterministicinx)butitprobablywon‘tgeneralizetonewexamples需要找到一颗更紧凑的决策树Decisiontreelearning目标:找到一颗小的决策树
5、来满足训练样本Idea:(递归地)选择最佳属性作为（子）树的根ChoosinganattributeIdea:一个好的属性选择将样本分割成理想的子集，例如“allpositive”or“allnegative“Patrons?isabetterchoiceUsinginformationtheory（信息论）algorithm落实DTL算法中Choose-Attribute函数的实施InformationContent信息量(Entropy熵):对于一个包含p个正例和n个反例的训练集：Informationgain（信息增益）任何属性A都可以根据属性A的值将训练集E划分为几个子集E1,…,
6、Ev，其中A可以有v个不同的值从属性A测试中得到的信息增益(IG)是原始的信息需求和新的信息需求之间的差异:ChoosetheattributewiththelargestIG信息增益对于训练集,p=n=6,I(6/12,6/12)=1bit考虑属性PatronsandType(andotherstoo):PatronshasthehighestIGofallattributesandsoischosenbytheDTLalgorithmastherootExamplecontd.Decisiontreelearnedfromthe12examples:明显比前面那颗“true”tree要
7、简单得多性能评估Howdoweknowthath≈f?1.Usetheoremsofcomputational/statisticallearningtheory2.Tryhonanewtestset（测试集）ofexamples(usesamedistributionoverexamplespaceastrainingset)Learningcurve（学习曲线）=%correctontestsetasafunctio
