2022年-InfoMall数据检索服务的设计以及全文检索系统的初步实.pptx
2022年-InfoMall数据检索服务的设计以及全文检索系统的初步实.pptx
- 配套讲稿：
如PPT文件的首页显示word图标，表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制：
部分文档作品中含有的国旗、国徽等图片，仅作为作品整体效果示例展示，禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词：
- 2022 InfoMall 数据 检索 服务 设计 以及 全文 检索系统 初步
- 资源描述：
-
InfoMall数据检索服务的设计以及全文检索系统的初步实现杨志丰InfoMall万维网信息博物馆万维网信息博物馆l中国万维网历史信息的存储和展示系统 l维护2001年以来从中国万维网上搜集的近12亿篇网页（约20TeraByte）l以每月1000万的速度增长 现有服务及问题现有服务及问题l目前提供三种服务l根据URL检索历史网页 l提供人工整理的历史事件专题回放 l免费提供网页和日志数据l局限l访问途径单一（只能通过URL）l整理历史事件专题需要大量的人工工作 l只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作InfoMall数据检索服务数据检索服务l目的l整合现有服务l通过统一的数据访问接口，提供更加丰富，更加自动和便利的数据服务lInfoMall数据检索服务l提供以InfoMall历史网页文档为核心数据，以内容、空间、时间为查询纬度的，面向高层应用的客户服务器体系结构的数据检索服务。“三维三维”的数据模型的数据模型算术编码（arithmetic coding）Lorem ipsum dolor sit amet,consectetur adipiscing elit.13、知人者智，自知者明。12:51:0012:51:0012:51Tuesday,October 25,202212:51:0012:51:0012:5110/25/2022 12:51:00 PM12、世间成事，不求其绝对圆满，留一份不足，可得无限完美。12:51:00 下午12:51 下午12:51:0010月-2210月-2210月-2212:51:0012:51:00October 25,20222022/10/25 12:51:0012:51:0025 October 202214、他乡生白发，旧国见青山。12、越是无能的人，越喜欢挑剔别人的错儿。10月-2210月-22Tuesday,October 25,202210月-2210月-2212:51:0012:51:00October 25,2022只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作12:51:0012:51:0012:5110/25/2022 12:51:00 PM检索服务原语检索服务原语lAugmented BNF 语法定义（部分摘录如下）l=“select”“from”“where”1*“max”l=/l例子lselect Web-pages from http:/:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*”系统组成系统组成全文检索系统全文检索系统索引构建流程索引构建流程l（1）从文档源取得文档l（2）对文档进行分词得到三元组l（3）查看词典，把新出现的索引词合并到词典中，得到l（4）当三元组的数量恰好填满内存时，对整个三元组集合执行快速排序l（5）使用“游程编码”处理递增排序的三元组，然后编码压缩，输出到临时顺串文件（run file）l（6）对所有顺串文件执行多路归并，结果输出为最终索引文件l（7）将最终得到的词典存入文件17、一个人即使已登上顶峰，也仍要自强不息。整理历史事件专题需要大量的人工工作11、以我独沈久，愧君相见频。12、故人江海别，几度隔山川。Delta Code算术编码（arithmetic coding）cn:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*.1:22:22 下午1:22 下午13:22:2210月-2214、意志坚强的人能把世界放在手中像泥块一样任意揉捏。17、空山新雨后，天气晚来秋。13、乍见翻疑梦，相悲各问年。InfoMall万维网信息博物馆InfoMall数据检索服务cn:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*.2022/10/25 13:22:2213:22:2225 October 202225 十月 20221:22:22 下午13:22:2210月-22索引压缩索引压缩l目的l减少索引数据空间l提高索引构建的速度l方法l第一步，游程编码，也就是把递增整数序列变换为差分序列（原来相邻整数之间的增量序列）l第二步，采用某种编码方法对整数进行编码编码方法编码方法l统计方法l哈夫曼编码（Huffman coding）l算术编码（arithmetic coding）l特定分布的ad-hoc编码lUnary Code(Prx=2-x)lDelta Code lGolomb Code l字典方法lZiv-Lempel编码 实验结果实验结果本文贡献本文贡献l设计了一个服务：如何利用宝贵的历史网页数据提供公共信息服务以充分发挥信息作为研究工作基础设施的作用 l设计和实现了全文索引系统：重点讨论了利用压缩技术减少全文索引的倒排文件索引的大小，为海量历史网页数据的检索服务提供现实可行的基础设施保障 谢谢！谢谢！l9、静夜四无邻，荒居旧业贫。11月-2411月-24Tuesday,November 5,2024l10、雨中黄叶树，灯下白头人。23:35:3723:35:3723:3511/5/2024 11:35:37 PMl11、以我独沈久，愧君相见频。11月-2423:35:3823:35Nov-2405-Nov-24l12、故人江海别，几度隔山川。23:35:3923:35:3923:35Tuesday,November 5,2024l13、乍见翻疑梦，相悲各问年。11月-2411月-2423:35:4123:35:41November 5,2024l14、他乡生白发，旧国见青山。05 十一月 202411:35:42 下午23:35:4211月-24l15、比不了得就不比，得不到的就不要。十一月 2411:35 下午11月-2423:35November 5,2024l16、行动出成果，工作出财富。2024/11/5 周二 23:35:4423:35:4405 November 2024l17、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。11:35:44 下午11:35 下午23:35:4511月-24l9、没有失败，只有暂时停止成功！。11月-2411月-24Tuesday,November 5,2024l10、很多事情努力了未必有结果，但是不努力却什么改变也没有。23:35:4723:35:4823:3511/5/2024 11:35:48 PMl11、成功就是日复一日那一点点小小努力的积累。11月-2423:35:4923:35Nov-2405-Nov-24l12、世间成事，不求其绝对圆满，留一份不足，可得无限完美。23:35:5023:35:5023:35Tuesday,November 5,2024l13、不知香积寺，数里入云峰。11月-2411月-2423:35:5223:35:52November 5,2024l14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。05 十一月 202411:35:53 下午23:35:5311月-24l15、楚塞三湘接，荆门九派通。十一月 2411:35 下午11月-2423:35November 5,2024l16、少年十五二十时，步行夺得胡马骑。2024/11/5 周二 23:35:5523:35:5505 November 2024l17、空山新雨后，天气晚来秋。11:35:56 下午11:35 下午23:35:5611月-24l9、杨柳散和风，青山澹吾虑。11月-2411月-24Tuesday,November 5,2024l10、阅读一切好书如同和过去最杰出的人谈话。23:35:5823:35:5823:3511/5/2024 11:35:58 PMl11、越是没有本领的就越加自命不凡。11月-2423:35:5923:35Nov-2405-Nov-24l12、越是无能的人，越喜欢挑剔别人的错儿。23:36:0023:36:0023:36Tuesday,November 5,2024l13、知人者智，自知者明。胜人者有力，自胜者强。11月-2411月-2423:36:0123:36:01November 5,2024l14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。05 十一月 202411:36:02 下午23:36:0211月-24l15、最具挑战性的挑战莫过于提升自我。十一月 2411:36 下午11月-2423:36November 5,2024l16、业余生活要有意义，不要越轨。2024/11/5 周二 23:36:0423:36:0405 November 2024l17、一个人即使已登上顶峰，也仍要自强不息。11:36:05 下午11:36 下午23:36:0511月-24MOMODA POWERPOINTLorem ipsum dolor sit amet,consectetur adipiscing elit.Fusce id urna blandit,eleifend nulla ac,fringilla purus.Nulla iaculis tempor felis ut cursus.感感 谢谢 您您 的的 下下 载载 观观 看看专家告诉展开阅读全文
咨信网温馨提示：1、咨信平台为文档C2C交易模式，即用户上传的文档直接被用户下载，收益归上传人（含作者）所有；本站仅是提供信息存储空间和展示预览，仅对用户上传内容的表现方式做保护处理，对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿，我们不确定上传用户享有完全著作权，根据《信息网络传播权保护条例》，如果侵犯了您的版权、权益或隐私，请联系我们，核实后会尽快下架及时删除，并可随时和客服了解处理情况，尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确)，网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据，个别因单元格分列造成显示页码不一将协商解决，平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺，下载前须认真查看，确认无误后再购买，务必慎重购买；若有违法违纪将进行移交司法处理，若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传，付费前请自行鉴别，如您付费，意味着您已接受本站规则且自行承担风险，本站不进行额外附加服务，虚拟产品一经售出概不退款（未进行购买下载可退充值款），文档一经付费（服务费）、不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印，是因预览和防盗链等技术需要对页面进行转换压缩成图而已，我们并不对上传的文档进行任何编辑或修改，文档下载后都不会有水印标识（原文档上传前个别存留的除外），下载后原文更清晰；试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓；PPT和DOC文档可被视为“模板”，允许上传人保留章节、目录结构的情况下删减部份的内容；PDF文档不管是原文档转换或图片扫描而得，本站不作要求视为允许，下载前可先查看【教您几个在下载文档中可以更好的避免被坑】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用；网站提供的党政主题相关内容(国旗、国徽、党徽－－等)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
6、文档遇到问题，请及时联系平台进行协调解决，联系【微信客服】、【QQ客服】，若有其他问题请点击或扫码反馈【服务填表】；文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“【版权申诉】”，意见反馈和侵权处理邮箱：1219186828@qq.com；也可以拔打客服电话：0574-28810668；投诉电话：18658249818。
实名认证
平台协调中心【客服】
自信AI助手
微信客服
客服QQ
发送邮件
意见反馈
链接地址：https://www.zixin.com.cn/doc/5457256.html