小样本类人概念学习-贝叶斯学习.ppt

《小样本类人概念学习-贝叶斯学习.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、贝叶斯学习岳伟超小样本下的类机器学习Sample：BigdataSample：smallmount深度学习是基于大数据通过多层网络实现机器自动识别有效的特征，显然数据越多其效果相对就会越好。在没有大数据情况下，深度学习的效果将会显著下降。对于人类来说，没有知识的积累，没有相应的专业知识，依然能够模仿学习，因为人类面对陌生环境依然能够通过学习做出适应变化。“小样本机器学习”作为机器学习的另一条途径，由相关领域内的专家人工提取出有用的特征，配合少量的数据进行机器学习。在此主要以Bayesian学习方法为核心。1、小样本机器学习Bayesian频率学派VS贝叶斯学派2、Bayesian基础知识频率

2、派把需要推断的参数Θ看做是固定的未知常数，是确定的一个值，同时样本X是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X的分布；贝叶斯派的观点则截然相反，他们认为参数Θ是随机变量，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数Θ的分布。例如：只看下面有什么牌来决策的就是频率学派除了看下面有什么牌，还考虑了这个牌是谁打出的，什么时候打出的，这个人打出所有牌友什么联系等一系列问题的就是贝叶斯学派；概率论Bayesianandprobability2.1可以根据观察到的每个训练样例能够增量地降低或升高某假设的估计概率。先验知识可以与观察数据一起决定假设的最终概率；贝叶

3、斯方法可允许假设做出不确定性的预测；新的实例分类可由多个假设一起做出预测，用它们的概率来加权；0102030405在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他方法；2、Bayesian基础知识2.2贝叶斯学习方法的特性2、Bayesian基础知识2.2贝叶斯学习应用领域2、Bayesian基础知识2.3贝叶斯学习方法的难度难度之一：获取先验知识需要概率的先验知识，当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率；难度之二：计算复杂度一般情况下，确定贝叶斯最优假设的计算代价比较大（在某些特定情形下，这种计算代价可以大大降低）。2、Ba

4、yesian基础知识2.4理论知识—先验概率VS后验概率先验概率是指根据以往经验和分析得到的概率，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率2、Bayesian基础知识2.4理论知识—贝叶斯法则用P(h)表示在没有训练数据前假设h拥有的先验概率，反映了h是正确假设的机会的背景知识，如果没有P(h)，可以简单地先赋予相同的先验概率类似地，P(D)表

5、示训练数据D的先验概率，P(D

6、h)表示假设h成立时D的概率机器学习中，关心的是P(h

7、D)，即给定D时h的成立的概率，称为h的后验概率2、Bayesian基础知识2.4理论知识—贝叶斯的简单应用Google基于贝叶斯方法的拼写检查P(c)表示某个正确的词的出现“概率”，它可以用“频率”代替。P(w

8、c)表示在试图拼写c的情况下，出现拼写错误w的概率。ByBayesian’Theoremthisisequivalentto:SinceP(w)isthesameforeverypossiblec,wecanignoreit,giving:朴素贝叶斯分类器2.5朴素贝叶斯分类器朴素贝叶斯分类模型

9、（NaïveBayes或SimpleBayesian）假定特征向量的各分量间相对于决策变量是相对独立的，各分量独立地作用于决策变量。朴素贝叶斯的思想基础：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。2、Bayesian基础知识2.5.1朴素贝叶斯分类器数学定义2、Bayesian基础知识设为一个待分类项，而为F的一个特征属性有类别集合朴素贝叶斯分类器是计算出概率最大的那个分类，即求下面算式的最大值：如果则由于各个特征属性是条件独立：2.5.1朴素贝叶斯分类器流程图2、Bayesian基础知识输出：特征属性和训练样本输入：特征属性和训练

10、样本输出：分类器输入：分类器和待分类项输出：待分类项与类别的映射关系2.5.2朴素贝叶斯分类器应用——检测SNS社区中不真实账号2、Bayesian基础知识设C=0表示真实账号，C=1表示不真实账号特征属性：a1：日志数量/注册天数，a2：好友数量/注册天数，a3：是否使用真实头像。1确定特征属性及划分划分：a1：{a<=0.05,0.05=0.2}，a1：{a<=0.1,0.1