模式识别(统计决策方法)PPT课件.pptx
《模式识别(统计决策方法)PPT课件.pptx》由会员分享,可在线阅读,更多相关《模式识别(统计决策方法)PPT课件.pptx(146页珍藏版)》请在咨信网上搜索。
1、模式模式识别自自动化学院化学院统计决策方法决策方法 胡静胡静.自自动化学院化学院第二章第二章 贝叶斯决策理叶斯决策理论22.12.1 引言引言2.2 2.2 最小最小错误率率贝叶斯叶斯决策决策2.32.3 最小最小风险贝叶斯叶斯决策决策2.4 2.4 两两类错误率、率、Neyman-PearsonNeyman-Pearson决策与决策与ROCROC曲曲线2.52.5 正正态分布分布时的的统计决策决策2.6 2.6 关于分关于分类器的器的错误率率2.7 2.7 离散概率模型下的离散概率模型下的统计决策决策举例例.自自动化学院化学院 托马斯贝叶斯(Thomas Bayes,17011761)英国牧
2、师、业余数学家。生活在18世纪的贝叶斯生前是位受人尊敬英格兰长老会牧师,为了证明上帝的存在,他发明了概率统计学原理,遗憾的是,他的这一美好愿望至死也未能实现。贝叶斯思想和方法对概率统计的发展产生了深远的影响。今天,贝叶斯思想和方法在许多领域都获得了广泛的应用。背景介背景介绍3.自自动化学院化学院贝叶斯理论及应用数学领域 贝叶斯分类算法 (应用:统计分析、测绘学)贝叶斯风险 (应用:统计决策论)贝叶斯公式 (应用:概率空间)贝叶斯估计 (应用:参数估计)贝叶斯区间估计 (应用:数学中的区间估计)贝叶斯统计 (应用:统计决策论)贝叶斯序贯决策函数 (应用:统计决策论)经验贝叶斯方法 (应用:统计决
3、策论)工程领域 贝叶斯定理 (应用:人工智能、心理学、遗传学)贝叶斯分类器 (应用:模式识别、人工智能)贝叶斯分析 (应用:计算机科学)贝叶斯决策 (应用:人工智能)贝叶斯逻辑 (应用:人工智能)贝叶斯推理 (应用:数量地理学、人工智能)贝叶斯网络 (应用:人工智能)贝叶斯学习 (应用:模式识别)其他领域 贝叶斯主义 (应用:自然辩证法)有信息的贝叶斯决策方法(应用:生态系统生态学)4.自自动化学院化学院2.12.1 引言引言统计模式模式识别:用概率:用概率统计的的观点和方法来解决模式点和方法来解决模式识别问题基本概念:基本概念:l样本本(sample)l状状态(state)第一第一类:,第二
4、第二类:l先先验概率概率(aprioriprobablityorprior),l样本分布本分布密度密度(sampledistributiondensity)(总体体概率密度)概率密度)l类条件概率密度条件概率密度(class-conditionalprobablitydensity):,5.自自动化学院化学院6统计概率:若在大量重复试验中,事件A发生的频率稳定地接近于一个固定的常数p,它表明事件A出现的可能性大小,则称此常数p为事件A发生的概率,记为P(A),即 pP(A)实际上,求出的P为频率,但是如果统计次数足够大,可以认为此时的频率接近概率 预备知知识-统计概率概率可见概率就是频率的稳定
5、中心。任何事件A的概率为 0=P(A)=1 条件概率:我们把事件B已经出现的条件下,事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率,而称P(A)为无条件概率。.自自动化学院化学院2.12.1 引言引言l后后验概率概率(aposterioriprobablityorposterior):,l错误概率概率(probablityoferror):l平均平均错误率率(averageprobablityoferror):l正确率正确率(proabalityofcorrectness):7和和类条件概率条件概率密度密度对比看看比看看.自自动化学院化学院2.1 2.1 引言引言
6、贝叶斯决策(叶斯决策(统计决策理决策理论)是是统计模式模式识别的基本方法和基的基本方法和基础。是是“最最优分分类器器”:使平均:使平均错误率最小率最小条件条件:类别数一定,数一定,(决策决策论中把中把类别称作状称作状态)已知已知类先先验概率和概率和类条件概率密度条件概率密度 目目标:8贝叶斯决策的前提条件,叶斯决策的前提条件,不是条件概率的条件不是条件概率的条件.自自动化学院化学院2.22.2 最小最小错误率率贝叶斯决策叶斯决策9因因为 ,所以上式等价于:所以上式等价于:for all .for all .而而 If ,assign If ,assign -最小最小错误率率贝叶斯决策,叶斯决策
7、,简称称贝叶斯决策叶斯决策 平均平均错误率率.自自动化学院化学院2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策如何如何计算后算后验概率?概率?已知已知 ,贝叶斯公式叶斯公式:(:(Bayesian TheoryBayesian Theory)If ,If ,then assign then assign .10怎么来的?很难记?.自自动化学院化学院例:假设n次实验中,点目标出现m次,点目标被成功检测出来k次,那么条件概率P(成功检测目标|输入是点目标)=k/m=(k/n)/(m/n)=P(成功检测目标 并且 输入是点目标)/P(输入是点目标的概率)所以有 P(A|B)=P(AB)/P(B)
8、P(B)0贝叶斯公式推叶斯公式推导条件概率:我们把事件B已经出现的条件下,事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率。P(AB)P(B)P(A|B)11.自自动化学院化学院两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即 P(A+B)=P(AB)=P(A或B)P(A)P(B)AB=P(检测出点目标)+P(检测出斑目标)P(检测出点目标或检测出斑目标)P(成功检测|斑目标)贝叶斯公式推叶斯公式推导联合概率也叫乘法公式,表示两个事件共同发生的概率,也可以表示为两个任意事件的乘积的概率,或称之为交事件的概率。A与B的联合概率表示为 P(AB)或者P(A,B
9、),或者P(AB)相互独立事件:事件A是否发生对事件B发生的概率没有影响,反之亦然,这样的两个事件叫做相互独立事件。当A与B是相互独立的事件,有 P(A)P(B)P(AB)=P(A且B)P(算法1成功检测目标)P(算法2成功检测目标)P(算法1成功检测目标 且 算法2也成功检测目标)12.自自动化学院化学院设A1,A2,An是两两互斥的事件,AiAj=,ij,i,j=1,2,n,且A1+A2+,+An=,P(Ai)0A1A2A3AnB另有一事件B=BA1+BA2+BAnP(AiB)P(Ai)P(B|Ai)条件概率公式称满足上述条件的,A1,A2,An为完备事件组.全概率公式贝叶斯公式推叶斯公式
10、推导13.自自动化学院化学院14B=BA1+BA2+,+BAnP(AiB)P(Ai)P(B|Ai)AiAj=全概率公式贝叶斯公式推叶斯公式推导.自自动化学院化学院15例:在我们平时的自测过程中,点目标的丢失率为1%,斑目标的丢失率为2%。现在输入测试图象点目标有40%,斑目标有60%.我们来预估测试数据总的目标检测率 解:设A1,A2分别表示点目标和斑目标,B表示目标丢失事件P(A1)=0.4,P(A2)=0.6,P(B|A1)=0.01,P(B|A2)=0.02,A1A2=P(B)=P(A1B+A2B)=P(A1B)+P(A2B)=P(A1)P(B|A1)+P(A2)P(B|A2)=P(点目
11、标)P(目标丢失|点目标)+P(斑目标)P(目标丢失|斑目标)=0.40.01+0.60.02=0.016 P(成功检测目标)=1-P(目标丢失)=98.4%目标丢失点目标斑目标全概率公式贝叶斯公式推叶斯公式推导.自自动化学院化学院由此可以形象地把全概率公式看成为:“由原因推结果”,每个原因对结果的发生有一定的“作用”,即结果发生的可能性与各种原因的“作用”大小有关.全概率公式表达了它们之间的关系.诸Ai是原因,B是结果A1A2A3AnB全概率公式贝叶斯公式推叶斯公式推导16.自自动化学院化学院该公式于1763年由贝叶斯(Bayes)给出,它是在观察到事件B已发生的条件下,寻找导致B发生的每个
12、原因的概率.设 A1,A2,An是 样 本 空 间 中 的 完 备 事 件 组 且 P(Ai)0,i=1,2,n,另有一事件B,则有 P(点目标|成功检测目标),P(斑目标|成功检测目标)P(目标是飞机|目标特征值为X),P(目标是导弹|目标特征值为X)简单,一眼就看出来复杂,需要判断决策贝叶斯公式推叶斯公式推导17.自自动化学院化学院贝叶斯公式的理解叶斯公式的理解基于条件概率的定义果因证据先验因果似然:likelyhood 可能性18.自自动化学院化学院T1:贝叶斯公式有什么用?是用来干什么的叶斯公式有什么用?是用来干什么的?贝叶斯公式实质上是通过观察B,把状态的先验概率P(Ai)转化为状态
13、的后验概率P(Ai|B)贝叶斯公式的理解叶斯公式的理解19.自自动化学院化学院贝叶斯公式的另一种形式叶斯公式的另一种形式v模式识别领域更常用的贝叶斯公式形式T2:模式:模式识别的的贝叶斯公式中叶斯公式中为什么可以用概率密度?什么可以用概率密度?对连续型随机变量,应用贝叶斯公式时,可以用概率密度函数乘以一个常数表示概率。由于所有的类别都乘了相同的常数,所以这个常数也可以忽略不计,直接用概率密度函数就行。概率密度概率数理统计:20P(B)离散的表示方法连续的表示方法.自自动化学院化学院这里的似然函数也是类条件概率分布函数。作为条件概率其计算公式为:具体计算可以根据已知条件进行实现,如:果因证据先验
14、因果似然:likelyhood 可能性T3:似然函数怎么确定?似然函数怎么确定?贝叶斯公式的理解叶斯公式的理解21.自自动化学院化学院l直接读取前例:在我们平时的自测过程中,点目标的丢失率为1%,斑目标的丢失率为2%。现在输入测试图象点目标有40%,斑目标有60%.我们来预估测试数据总的目标检测率 设A1,A2分别表示点目标和斑目标,B表示目标丢失事件P(A1)=0.4,P(A2)=0.6 P(B|A1)=P(目标丢失|点目标)=0.01,P(B|A2)=P(目标丢失|斑目标)=0.02l计算获得假设n次实验中,点目标出现m次,点目标被成功检测出来k次,那么条件概率P(成功检测目标|点目标)=
15、P(成功检测目标 并且 输入是点目标)/P(输入是点目标的概率)=(k/n)/(m/n)=k/m贝叶斯公式的理解叶斯公式的理解22.自自动化学院化学院T4:离散离散观测条件下条件下类条件概率密度怎么求条件概率密度怎么求?估计类条件概率密度p(x|i)方法1a:概率密度参数估计,基于对p(x|i)的含参数的描述 方法1b:概率密度非参数估计,基于对p(x|i)的非参数的描述 贝叶斯公式的理解叶斯公式的理解23.自自动化学院化学院Kernel-based methods贝叶斯公式的理解叶斯公式的理解24.Non-parametric density estimation贝叶斯公式的理解叶斯公式的理
16、解25.自自动化学院化学院贝叶斯决策叶斯决策v贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率(先验)估计,然后用贝叶斯公式对发生概率(后验)进行修正,最后再利用期望值和修正概率做出最优决策。v贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:v1、已知类条件概率密度参数表达式和先验概率v2、利用贝叶斯公式转换成后验概率v3、根据后验概率大小进行决策分类类条件概率密度参数表达式先验概率证据:概率密度26.自自动化学院化学院2.2 2.2 最小最小错误率率贝叶斯叶斯决策决策最小最小错误率率贝叶斯决策叶斯决策规则的几种等价表达形式:的几种等价表达形式:(1)If ,then(
17、2)If ,then (3)If ,then 27.自自动化学院化学院2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策(4)定义 If ,then 其中,其中,:似然比似然比,:似然比似然比阈值,:对数似然比数似然比28.自自动化学院化学院概率密度函数概率密度函数2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策29.自自动化学院化学院类条件概率密度函数条件概率密度函数2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策30.后验概率比较假设先验概率P(1)=0.2,P(2)=0.8后验概率P(1|X)+P(2|X)=12.2 2.2 最小最小错误率率贝叶斯决策叶斯决策31.自自动化学院化学院
18、 两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X2X1X22.2 2.2 最小最小错误率率贝叶斯决策叶斯决策32.自自动化学院化学院 两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X2X1X22.2 2.2 最小最小错误率率贝叶斯决策叶斯决策33.自自动化学院化学院 两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X22.2 2.2 最小最小错误率率贝叶斯决策叶斯决策34.决策面方程(两类问题):2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策35.自自动化学院化学院v最小错误率准则就是:对于与待判决数据X,寻找一个类别i,使得错误率Pi(e)最小;
19、v最小错误率准则 等价于 求取后验概率P(i|X)最大。将X判决为j类,但实际上X不属于j类,而是属于i类,由此产生了误判,该事件的概率为:2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策37.自自动化学院化学院T5:为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小率最小?对于两类问题,假设X 域,判决面将空间分割为1和2,1区域所有X值:分类器判定属于1类;2区域所有X值:分类器判定属于2类。122.2 2.2 最小最小错误率率贝叶斯决策叶斯决策38.自自动化学院化学院最小最小错误率的率的 Bayes Bayes 决策决策T5:T5:为什么什么这种基于后种基于
20、后验概率的分概率的分类方法方法 的的平均平均错误率最小率最小?对于两类问题,假设X域,判决面将分割为1和2,分析39.自自动化学院化学院最小最小错误率的率的 Bayes Bayes 决策决策T5:T5:为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小率最小?平均错误率可以表示为40.自自动化学院化学院最小最小错误率的率的 Bayes Bayes 决策决策T5:T5:为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小率最小?平均错误率可以表示为判断错误的区域为阴影包围的面积和。l如果分类面不是按照后验概率最大来划分1241.自自动化学院化
21、学院T5:T5:为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小率最小?平均错误率可以表示为判断错误的区域为阴影包围的面积和。l如果分类面不是按照后验概率最大来划分决策面会移动最小最小错误率的率的 Bayes Bayes 决策决策1242.自自动化学院化学院T5:T5:为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小?率最小?平均错误率可以表示为判断错误的区域为阴影包围的面积和。l如果分类面不是按照后验概率最大来划分决策面会移动错误面积会增大最小最小错误率的率的 Bayes Bayes 决策决策1243.自自动化学院化学院T5:T5:
22、为什么什么这种基于后种基于后验概率的分概率的分类方法的方法的平均平均错误率最小?率最小?平均错误率可以表示为决策规则实际上对每个X都使p(e|X)取最小值,移动决策面都会使错误区域增大,因此平均错误率最小。这种基于后验概率的分类方法的平均错误率最小最小最小错误率的率的 Bayes Bayes 决策决策1244.自自动化学院化学院2.2 2.2 最小最小错误率率贝叶斯决策叶斯决策多多类情况:情况:(1 1)If ,then If ,then(2 2)If ,then If ,then 错误率率:45.自自动化学院化学院例例1:1:发报机发送0,1信号,0和1 的发送频率统计约为70%和30%。由
23、于噪声干扰,当发出信号0时,接受到的信号有80%被读为0,有20%被读为1;同样的,当发出信号1时,接受到的信号有90%被读为1,有10%被读为0。问,接收端收到信号0时,发报机发出0,1 的概率。解:先验概率 P(发0)=0.7,P(发1)=0.3类概率(似然)P(收0|发0)=0.8,P(收1|发0)=0.2,P(收0|发1)=0.1,P(收1|发1)=0.9,后验概率 P(发1|收0)=1-P(发0|收0)=0.050846.自自动化学院化学院例例1:1:Matlab 编程解47.自自动化学院化学院例例2:2:先验概率P(导弹)=0.2,P(飞机)=0.8有一个待识别的目标,其亮度为x,
24、从类条件概率密度分布曲线上查到p(x|导弹)=0.2,p(x|飞机)=0.4,对目标进行分类。解:利用贝叶斯公式,分别计算出目标x判定为飞机和导弹的概率。根据贝叶斯决策规则,有P(飞机|X)P(导弹|X),所以判定这个亮度为x的待识别的目标为飞机。48.自自动化学院化学院例例3 3:两类问题,已知的先验概率P(导弹)=0.2,P(飞机)=0.8,假设类概率密度函数满足正态分布,P(X|导弹)的分布满足N(5,1.5),P(X|飞机)的分布满足N(10,2),求平均最小错误率P(e)解:49.自自动化学院化学院50.自自动化学院化学院2.32.3 最小最小风险贝叶斯决策叶斯决策l最小最小错误率只
25、考率只考虑了了错误l进一步可考一步可考虑不同不同错误所所带来的来的损失(代价失(代价)用用决策决策论方法把方法把问题表述如下表述如下:(1 1)把)把样本本 看作看作 维随机向量随机向量 (2 2)状状态空空间 由由 个个可能的状可能的状态(类)组成成:(3 3)对随机向量随机向量 可能可能采取的决策采取的决策组成了决策空成了决策空间,它,它由由k k个决策个决策组成:成:51代表将观测样本X判定为i类的决策。.自自动化学院化学院2.32.3 最小最小风险贝叶斯决策叶斯决策(4(4)对于于实际状状态为 的向量的向量 ,但被判,但被判为 (即即采取决策采取决策 )所所带来的来的损失失为 ,形成,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 统计 决策 方法 PPT 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。