搜索引擎开发实践基于概率语言模型的中文分词.ppt
《搜索引擎开发实践基于概率语言模型的中文分词.ppt》由会员分享,可在线阅读,更多相关《搜索引擎开发实践基于概率语言模型的中文分词.ppt(23页珍藏版)》请在咨信网上搜索。
1、搜索引擎开发实践第五讲基于概率语言模型的中文分词主讲人:罗刚概 述l作业讲解:遍历TrieTrie树l概率语言模型分词原理l形成切分词图l动态规划算法求解最佳切分路径l作业:实现地名切分2.作业讲解:遍历Trie树/深度遍历public void deepSearch(ArrayList parentNodes,TrieNode node,StringBuilder ret,int deapth)public void deepSearch(ArrayList parentNodes,TrieNode node,StringBuilder ret,int deapth)if(node!=nul
2、l)if(node!=null)for(int i=0;i deapth;i+)for(int i=0;i deapth;i+)ret.append(|);ret.append(|);ret.append(node.getPath(parentNodes)+n);ret.append(node.getPath(parentNodes)+n);ArrayList newParent=(ArrayList)parentNodes.clone();ArrayList newParent=(ArrayList)parentNodes.clone();newParent.add(node);newPar
3、ent.add(node);for(TrieNode c:node.children)for(TrieNode c:node.children)deepSearch(newParent,c,ret,deapth+1);/deepSearch(newParent,c,ret,deapth+1);/递归调用 /打印树状图public String toString()public String toString()StringBuilder ret=new StringBuilder();StringBuilder ret=new StringBuilder();ArrayList parentN
4、odes=new ArrayList();ArrayList parentNodes=new ArrayList();deepSearch(parentNodes,root,ret,0);deepSearch(parentNodes,root,ret,0);return ret.toString();return ret.toString();3.语言模型预测词序列的概率哪个词序列更有可能出现?l有意见分歧l有/意见/分歧 l有意/见/分歧l这篇文章写得太平淡了。这/篇/文章/写/得/太/平淡/了/。这/篇/文章/写/得/太平/淡/了/。把概率赋予词序列的方法,称为语言模型。4.统计语言模型的
5、中文分词从统计思想的角度来看,分词问题的输入是一个字串C=C=输出是一个词串S=S=对于一个特定的字符串C C,会有多个切分方案S S对应,分词的任务就是在这些S S中找出概率最大的一个。根据贝叶斯公式:其中P(C)P(C)是字串在语料库中出现的概率,只是一个用来归一化的固定值。从词串恢复到汉字串的概率只有唯一的一种方式,所以P(C|S)=1P(C|S)=1。因此,比较P(S|C)P(S|C)的大小变成比较P(S)P(S)的大小。因此:5.计算P(S)独立性假设,一元语法假设每个词之间的概率是上下文无关的 为了避免向下溢出,取log最大似然法估计词语的概率:6.计算最大概率C:C:有意见分歧S
6、1:有/意见/分歧/S2:有意/见/分歧/P(SP(S1 1)=P()=P(有)*P()*P(意见)*P()*P(分歧)=1.8 10)=1.8 10-9-9P(SP(S2 2)=P()=P(有意)*P()*P(见)*P()*P(分歧)=110)=110-11-11可得P(SP(S1 1)P(S)P(S2 2),所以选择S S1 1对应的切分。为了避免向下溢出,取loglog的计算结果:log P(Slog P(S1 1)=log P()=log P(有)+log P()+log P(意见)+log P()+log P(分歧)=-20.135479172044292=-20.135479172
7、044292log P(Slog P(S2 2)=log P()=log P(有意)+log P()+log P(见)+log P()+log P(分歧)=-20.72326583694641=-20.72326583694641log P(Slog P(S1 1)log P(S)log P(S2 2)词语概率有0.0180有意0.0005意见0.0010见0.0002分歧0.00017.与最大长度匹配分词的区别如果每个词出现的概率都相同,则现在的分词方法退化成最少词数的分词。最少词数的分词,即一句话分成数量最少的词串,类似最大长度匹配切分。因为,如果0P(w)10P(w)1,而且nmn(P(
8、w)(P(w)m m 8.切分词图l根据基本词库对句子进行全切分,找出所有可能的词,形成切分词图。l边代表词,边的权重是词的概率。l从切分词图中寻找概率最大的词序列,对应于从有向无环带正权重的图中找最长路径。l其中:没有考虑未登录词日期、数字串等可以用规则匹配,不需要考虑它内部的概率。例如2010年3月23日 这样的日期9.切分词图中的点012345 有 意 见 分 歧如果待切分的字符串有m个字符,考虑每个字符左边和右边的位置,则有 m+1个点对应,点的编号从0到m。10.切分词图第11页“有意见分歧”生成的切分词图 意见 分歧 有意 分 见 意 有012345路径1 1:0 01 13 35
9、 5 对应切分方案:有/意见/分歧/路径2 2:0 02 23 35 5 对应切分方案:有意/见/分歧/计算最大概率等于求切分词图的最长路径11.表示切分词图切分词图的特点:l边比较少,所以是一个稀疏图(Sparse GraphSparse Graph)。稀疏图一般用邻接表表示。l需要找一个节点的前驱词集合,所以用逆邻接表表示。12.逆邻接表(Inverse adjacency list)意见 分歧 有意 分 见 意 有0123450 0/0 01 1/123451 1/3 3/3 3/切分词图逆邻接表13.切分词图中的边切分词图中的边都是词典中的词,边的起点和终点分别是词的开始和结束位置pu
10、blic class CnTokenpublic class CnTokenpublic String termText;/public String termText;/词public int start;/public int start;/词的开始位置public int end;/public int end;/词的结束位置public int freq;/public int freq;/词在语料库中出现的频率public CnToken(int vertexFrom,int vertexTo,String word)public CnToken(int vertexFrom,int
11、 vertexTo,String word)start=vertexFrom;start=vertexFrom;end=vertexTo;end=vertexTo;termText=word;termText=word;14.单向链表 public class CnTokenLinkedList implements Iterable public class CnTokenLinkedList implements Iterable public static class Node public static class Node public CnToken item;public CnT
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 搜索引擎 开发 实践 基于 概率 语言 模型 中文 分词
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。