条件随机场CRF专题培训课件.ppt
《条件随机场CRF专题培训课件.ppt》由会员分享,可在线阅读,更多相关《条件随机场CRF专题培训课件.ppt(86页珍藏版)》请在咨信网上搜索。
1、思考:给定文本标注词性o他估算当前的赤字总额在9月份仅仅降低到18亿。oNN、NNS、NNP、NNPS、PRP、DT、JJ分别代表普通名词单数形式、普通名词复数形式、专有名词单数形式、专有名词复数形式、代词、限定词、形容词1复习:Markov Blanketo一个结点的Markov Blanket是一个集合,在这个集合中的结点都给定的条件下,该结点条件独立于其他所有结点。o即:一个结点的Markov Blanket是它的parents,children以及spouses(孩子的其他parent)2Markov Blanket补充知识:Serum Calcium(血清钙浓度)高于2.75mmo1
2、/L即为高钙血症。许多恶性肿瘤可并发高钙血症。以乳腺癌、骨肿瘤、肺癌、胃癌、卵巢癌、多发性骨髓瘤、急性淋巴细胞白血病等较为多见,其中乳腺癌约1/3 可发生高钙血症。毒素3图像模型o考察X8的马尔科夫毯(Markov blanket)4无向图模型o有向图模型,又称作贝叶斯网络(Directed Graphical Models,DGM,Bayesian Network)o在有些情况下,强制对某些结点之间的边增加方向是不合适的。o使用没有方向的无向边,形成了无向图模型(Undirected Graphical Model,UGM),又被称为 马尔科夫随机场或者马尔科夫网络(Markov Rando
3、m Field,MRF or Markov network)5条件随机场o设X=(X1,X2Xn)和Y=(Y1,Y2Ym)都是联合随机变量,若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场(MRF),则条件概率分布P(Y|X)称为条件随机场(Conditional Random Field,CRF)o注:大量文献将MRF和CRF混用,包括经典著作。后面将考察为何会有该混用。6DGM转换成UGM7DGM转换成UGM8条件独立的破坏o靠考察是否有 ,则计算U的祖先图(ancestral graph):9MRF的性质o成对马尔科夫性nparewise Markov propertyo局
4、部马尔科夫性nlocal Markov propertyo全局马尔科夫性nglobal Markov propertyo表述说明:随机变量Y=(Y1,Y2Ym)构成无向图G=(V,E),结点v对应的随机变量是Yv。10考察结点间的独立性11成对马尔科夫性o设u和v是无向图G中任意两个没有边直接连接的结点,G中其他结点的集合记做O;则在给定随机变量Yo的条件下,随机变量Yu和Yv条件独立。o即:P(Yu,Yv|Yo)=P(Yu|Yo)*P(Yv|Yo)12局部马尔科夫性o设v是无向图G中任意一个结点,W是与v有边相连的所有结点,G中其他结点记做O;则在给定随机变量Yw的条件下,随机变量Yv和Yo
5、条件独立。o即:P(Yv,Yo|Yw)=P(Yv|Yw)*P(Yo|Yw)13全局马尔科夫性o设结点集合A,B是在无向图G中被结点集合C分开的任意结点集合,则在给定随机变量YC的条件下,随机变量YA和YB条件独立。o即:P(YA,YB|YC)=P(YA|YC)*P(YB|YC)14三个性质的等价性o根据全局马尔科夫性,能够得到局部马尔科夫性;o根据局部马尔科夫性,能够得到成对马尔科夫性;o根据成对马尔科夫性,能够得到全局马尔科夫性;o可以反向思考:满足这三个性质(或其一)的无向图,称为概率无向图模型。15复习:隐马尔科夫模型16HMM的确定oHMM由初始概率分布、状态转移概率分布A以及观测概率
6、分布B确定。17HMM的参数oQ是所有可能的状态的集合nN是可能的状态数oV是所有可能的观测的集合nM是可能的观测数18HMM的参数oI是长度为T的状态序列,O是对应的观测序列oA是状态转移概率矩阵o其中oaij是在时刻t处于状态qi的条件下时刻t+1转移到状态qj的概率。19HMM的参数oB是观测概率矩阵o其中,nbik是在时刻t处于状态qi的条件下生成观测vk的概率。o是初始状态概率向量:o其中,ni是时刻t=1处于状态qi的概率。20HMM的参数总结oHMM由初始概率分布、状态转移概率分布A以及观测概率分布B确定。和A决定状态序列,B决定观测序列。因此,HMM可以用三元符号表示,称为HM
7、M的三要素:21HMM的两个基本性质o齐次假设:o观测独立性假设:22HMM的3个基本问题o概率计算问题n给定模型 和观测序列 ,计算模型下观测序列O出现的概率P(O|)o学习问题n已知观测序列 ,估计模型 的参数,使得在该模型下观测序列P(O|)最大o预测问题n即解码问题:已知模型 和观测序列 ,求对给定观测序列条件概率P(I|O)最大的状态序列I23概率计算问题o直接算法n暴力算法o前向算法o后向算法n这二者是理解HMM的算法重点24直接计算法o按照概率公式,列举所有可能的长度为T的状态序列 ,求各个状态序列I与观测序列 的联合概率P(O,I|),然后对所有可能的状态序列求和,从而得到P(
8、O|)25直接计算法o状态序列 的概率是:o对固定的状态序列I,观测序列O的概率是:26直接计算法oO和I同时出现的联合概率是:o对所有可能的状态序列I求和,得到观测序列O的概率P(O|)27直接计算法o对于最终式o分析:加和符号中有2T个因子,I的遍历个数为NT,因此,时间复杂度为O(T NT),过高。28前向算法o定义:给定,定义到时刻t部分观测序列为o1,o2ot且状态为qi的概率为前向概率,记做:o可以递推的求得前向概率t(i)及观测序列概率P(O|)29前向算法o初值:o递推:对于t=1,2T-1o最终:30后向算法o定义:给定,定义到时刻t状态为qi的前提下,从t+1到T的部分观测
9、序列为ot+1,ot+2oT的概率为后向概率,记做:o可以递推的求得后向概率t(i)及观测序列概率P(O|)31后向算法o初值:o递推:对于t=T-1,T-2,1o最终:32后向算法的说明o为了计算在时刻t状态为qi条件下时刻t+1之后的观测序列为ot+1,ot+2oT的后向概率t(i),只需要考虑在时刻t+1所有可能的N个状态qj的转移概率(aij项),以及在此状态下的观测ot+1的观测概率(bjot+1)项,然后考虑状态qj之后的观测序列的后向概率t+1(j)33前向后向概率的关系o根据定义,证明下列等式34单个状态的概率o求给定模型和观测O,在时刻t处于状态qi的概率。o记:35单个状态
10、的概率o根据前向后向概率的定义,36的意义o在每个时刻t选择在该时刻最有可能出现的状态it*,从而得到一个状态序列I*=i1*,i2*iT*,将它作为预测的结果。o给定模型和观测序列,时刻t处于状态qi的概率为:37两个状态的联合概率o求给定模型和观测O,在时刻t处于状态qi并且时刻t+1处于状态qj的概率。38两个状态的联合概率o根据前向后向概率的定义,39期望o在观测O下状态i出现的期望:o在观测O下状态i转移到状态j的期望:40学习算法o若训练数据包括观测序列和状态序列,则HMM的学习非常简单,是监督性学习;o若训练数据只有观测序列,则HMM的学习需要使用EM算法,是非监督学习。41再次
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 条件 随机 CRF 专题 培训 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。