计算机情报检索系统-自动索引与文档组织.ppt
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算机 情报 检索系统 自动 索引 文档 组织
- 资源描述:
-
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,计算机情报检索系统,第三章 自动索引与文档组织,Speaker:,孙丹霞,content,文档,索引的概念与发展历程,自动索引,文档组织,顺序文档,倒,排,文档,倒,排文档在搜索引擎中的应用案例,信息检索模型,IRM,是一个三元组,IRM=(D,Q,R),,,其中,:,信息检索模型,D:,是文档的集合;,Q:,是用户需求的集合;,R:D,QR,,是集合,D,与,Q,的笛卡尔乘积到实数集,R,的一个映射,对每个用户查询,qQ,,每个文档,dD,,映射,R,将,(d,q),映射为一个实数,称为用户查询,q,与文档,d,的相关度。,因此,一个信息检索模型必须,确定文档的表示,,,用户查询的表示,以及用户查询与文档之间,相关度计算的方法。,信息检索模型是一个四元组,D,Q,F,R(q,i,d,j,),D:,文档集的机内表示,Q:,用户需求的机内表示,F:,文档表示、查询表示和它们之间的关系的模型框架,(Frame),R(q,i,d,j,):,排序函数,给,query q,i,和,document d,j,评分,信息检索模型,Docs,Information need,Index text,query,doc,match,Ranking,信息检索的对象是存储在数据库中的文档,这些文档可能是文本、图像、声音或多媒体文件。,文档(,document,),文档的概念,:,文档是用来表示一个数据或信息的单元,通常是按照一定的结构组织的相关记录的集合。,数据:文本,+,其他媒体,结构:语法结构,+,样式,语法,语义和信息,表现,图,1,文档的含义,PS,:非结构化的数据记录通常特指自然语言文本数据记录,文档是原始数据资源的容器,可以包含文本、图像、图形、视频和音频等各种类型的数据。文档也可以具有自身的信息,它称为元数据。,描述文档的基本属性的元数据称为一般性元数据,它描述的是一般性的通用文档性质,相对于一般性和通用性,就是专业性元数据,它表示文档内容中的主题信息。另还有,Web,元数据和多媒体元数据。,文档(,document,),文本的信息量可以用熵来度量。字、词是信息检索的基本单元。文本中的词服从,Zipf,分布,词汇服从,Heaps,分布。文本中的词频、词汇数和词的平均长度具有相应的统计规律。,图像和图形都是视觉媒体数据,但它们的结构形式不同:图形可以看成是图像中对象的形状元素的抽象。,视频和音频都是时基媒体数据,存取时要考虑时间维度及其逻辑信息单元。,结构性的文档便于被各种应用程序处理。,文档结构化的有效方法是用语言来定义和说明文档的结构,这些语言对文档进行结构化的基本手段就是置标,所以,出现了四种置标语言:,SGML,、,HyTime,、,HTML,、,XML,。,文档(,document,),文档集,一般表示,在向量检索模型中,向量空间中的,N,个文档可以用一个矩阵表示,T,1,T,2,.,T,t,D,1,d,11,d,12,d,1t,D,2,d,21,d,22,d,2t,:,:,:,:,D,n,d,n1,d,n2,d,nt,索引(,Index,),索引是一种传递、揭示和检索文献信息的工具,它是以文献中的具有检索意义的事物名称及特征为记录和检索单元。,索引,是著录书刊中的题名、语词、主题、人名、地名、事件以及其他事物名称,并把他们按照一定的方式编排起来,指明出处的一种,检索工具,。,索引的基本功能是,指示,知识点在正文或者文献款目中的位置。,(快速定位),索引的发展历程,人工索引阶段,机,辅索引阶段,自动索引阶段,人工索引阶段,全部依靠人工完成,优点:准确率较高,缺点:无法处理庞大并快速增长的网络信息资源;缺乏一致性,应用与规模较小且专业性较强的领域。,机辅索引阶段,索引的半自动化。人工完成标目的选取,计算机参与款目编辑排序、校验输入、生成参照、打印排版等事物性工作。,降低了手工劳动量,且质量高、速度快,且成本低于自动索引。,自动索引阶段,自动索引的原理,是借助一定的技术手段,如:词典、词表、词频特征、句法或结构特征等,设计一种,算法,对数字化文本进行词法分析,识别出词与非词、内容词(实词)和功能词(虚词),并采集词的相关信息(如词的出处)。,在此基础上,根据一定的规则进行规范处理得到标目用词,最后将标目用词、出处信息以及其他相关信息共同构成索引款目。,目前,自动索引方式对于范围较小并且相对稳定的文本信息,特别是英文信息的处理较为成功。,然而,对于数量宏大、增长迅速、高度分布、文种多样、结构复杂、变动无常的网上信息而言,由于服务器执行相关算法的计算量异常大、系统可能随时崩溃。,因此,这种索引方式在网络信息检索工具中的应用还有一定的缺陷。对于中文文本信息的自动标引,除了上述的困难外,还涉及词的切分。,自动索引阶段,索引的功能,检索功能,(迅速准确的定位所需信息),分解功能(揭示完整载体的某一部分),梳理,功能(按规律把无序呈现为有序),聚类,功能,(不同角度和层次多维揭示),追踪,功能(主题发展踪迹:动态发展),导航,功能(相关索引:研究的契合点),预测功能(引文索引:未来研究方向),索引的类型,信息内容特征的索引,主题索引和分类索引,人名、地名、机构、会议名、事件名、文件名、化合物、矿物名、生物名、产品名索引等。,信息,外部特征的索引,著者索引(个人著者、团体著者),题名索引(书名、刊名、篇名),信息编号索引(专利号、标准号等),建立索引,如果不建立索引,只能通过顺序查找信息的方法完成检索,将会耗时耗力。,索引的建立是整个检索系统的基础和核心,是服务的先导,因而索引的设计、建立和维护极其重要。,建立索引,用索引的方法组织文档时,通常是在文档本身,(,称为主文件,),之外,另外建立一张表,它指明逻辑记录和物理记录之间的一一对应关系,这张表就叫做索引表,它和主文件一起构成的文件称作索引文件。,索引表中的每一项称作索引项,一般索引项都是由,主关键字,和该关键字所在,记录的物理地址,组成的。,单个索引包括索引款目(标目及副标目、索引地址),参照系统和索引款目导引标志。索引款目是构成索引的基础。,索引款,目:索引标目和索引地址构成。,索引款目,主标,目:揭示被索引或项目的核心部分,决定索引款目的排列位置和检索入口。,副标,目:从属于主标目,含义更具体、专指。(子标题、说明语、限定词、注释以及文献题名等),选题:建立主索引文件,对主索引关键词抽样倒排,建立目标格式文件。,排序与归并。对检索词进行排序,产生目标格式文件。为提高检索速度,可对文件进行分段排序,然后进行归并。,建立索引的步骤,索引文件在存储器上分为两个区:索引区和数据区,前者存放索引表,后者存放主文件。在建立文件过程中,按输入记录的先后次序建立数据区和索引表,这样的索引表其关键字是无字的,待全部记录输入完毕后再对索引表进行排序,排序后的索引表和主文件一起就形成了索引文件。,14,物理地址,1,2,3,4,5,学号,姓名,其他,物理地址,关键字,物理地址,物理地址,关键字,物理地址,1,李明,10,1,1,10,1,1,5,王平,11,5,2,11,3,3,3,张萍,12,3,3,12,4,5,8,陈强,13,8,4,13,5,2,4,马伟,14,4,5,8,4,索引文件的操作特点,检索方式为:直接存取和按关键字存取。“按关键字检索”将分两步进行:先查索引,然后根据索引中指针所指索取记录;,插入记录时,“记录”插入在主文件的末尾,而相应的“索引项”必须插入在索引的合适位置上。因此,最好在建索引表时留有一定“空位”;,删除记录时,仅需删除索引表中相应的索引项即可;,更新记录时,应将更新后的记录插入在主文件的末尾,同时修改相应的索引项。,文档是按照一定的结构组织的相关记录的集合,文档是书目数据库数据组织的基本形式。,文档按其组织方式可以分为顺排文档(,sequential file,)和倒排文档(,inverted file,)等。,文档(,document,),顺排文档(,sequential file,),顺排文档,是指按记录进入文档的先后顺序存放、其逻辑顺序跟物理顺序一致的文档。若顺序文件中的记录按其主关键字有序,则称此顺序文档为顺序有序文档;否则称为顺序无序文档。为了提高检索效率,常常将顺序文档组织成有序文档。,顺序文档的结构特点:,记录在文档中的排列顺序是由记录进入存储介质的次序决定的,即文件物理结构中记录的排列顺序和文档的逻辑结构中记录的排列顺序一致。,顺序文档的操作特点,便于进行顺序存取;,不便于进行直接存取,为取第,i,个记录,必须先读出前,i-1,个记录;,插入新的记录只能加在文档的末尾;,删除记录时,只作标记;,更新记录必须生成新的文件。,倒排文档(,inverted file,),倒,排文档,是将主文档中的可检字段(如:主题词、著者)等抽出,按照某种顺序重新排列起来所形成的一种索引文档。,倒排,文档归并相同词汇,并把顺序文档中的相关记录号集合赋予在索引关键词之后,以保证通过某一特征词能够快速、方便地获取相关记录。,倒排文档(,inverted file,),倒排文档时在计算机检索系统中使用最多的一种文件。,倒排,文档支持快速的多途径检索,能够方便、快速地进行各种逻辑组配和限定检索。在大规模的联机检索系统中,必须利用倒排文档来进行信息检索,以提高检索效率。,倒排文档的组成,组成要素:,关键字(作者、主题、分类号),目,长(记录数),记录号集合(相关的记录号),搜索引擎数据库的倒排文档,倒排索引的生成过程如图:,倒排文档的存储结构,直接决定了搜索引擎系统的检索速度,并且在一定程度上也影响到检索结果的准确度。,网络上的网页繁多,更新迅速,而且信息冗余量大。对数据存储方式的改进也正是根据这些特点,搜索引擎数据库的倒排文档,倒排文档的更新,增加、删除和索引库的整理。,增加时直接放在原有索引库相应位置的后面,如遇空间不够,则需开辟新的存储区域,并建立指针指向新块供检索。,删除时不能直接从库中清除,要先在索引信息前面加删除标志,检索时跳过。后期,定期对索引库进行整理。,整理时是将被删信息真正清除出去,把库的信息前移,覆盖被删信息,使库体积缩小。,倒排文件的主要优缺点,倒排文件的主要优点是:检索记录较快,在处理复杂的多关键字查询时,可在倒排表中确定记录是哪个或哪些,继而直接读取之;,倒排文件的缺点是维护困难:在同一倒排表中,不同关键字的记录数不同,各倒排表的长度也不等。,本章小结,理解文档的基本概念。,掌握各种文件的结构,,,包括顺序文档、索引文档、索引倒排文档等。,理解自动索引的原理。,掌握倒排文档在数据库、网络信息检索中的应用。,PS,:自动抽词、自动索引、自动检索、自动文摘、自动分类、自动翻译,展开阅读全文

咨信网声明:本文档由用户上传并分享,仅供学习交流、研究之用,未经授权,严禁复制、发行、汇编、翻译或网络传播等,侵权必究。
咨信网小贴示:
1、浏览或下载可查看了解,请点击【咨信网告知】。
2、下载文件中如有侵权或不适当内容,将立即纠正。
3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
4、开具发票登录电脑端申请,请点击【索取发票】。
咨信网客服组:【微信客服】
1、浏览或下载可查看了解,请点击【咨信网告知】。
2、下载文件中如有侵权或不适当内容,将立即纠正。
3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
4、开具发票登录电脑端申请,请点击【索取发票】。
咨信网客服组:【微信客服】


计算机情报检索系统-自动索引与文档组织.ppt
















自信AI助手














微信客服
客服QQ
发送邮件
意见反馈



链接地址:https://www.zixin.com.cn/doc/14775199.html