多媒体内容分析与检索技术ppt课件.ppt
《多媒体内容分析与检索技术ppt课件.ppt》由会员分享,可在线阅读,更多相关《多媒体内容分析与检索技术ppt课件.ppt(84页珍藏版)》请在咨信网上搜索。
1、多媒体分析与检索技术多媒体分析与检索技术Multimedia Analysis and Retrieval Technology注:本讲内容参考了注:本讲内容参考了北京大学数字媒体研究所北京大学数字媒体研究所数字媒体技术基础数字媒体技术基础课件课件 数字媒体技术基础数字媒体技术基础第五讲(第五讲(8课时)课时)课程内容及安排第一部分:数字媒体导论第二部分:数字媒体基础数字彩色图像基础图像/视频处理基础第三部分:数字媒体关键技术多媒体压缩编码技术多媒体分析与检索技术多媒体通信技术数字版权管理技术2/80教学目标通过本章的学习,掌握“多媒体分析与检索”这一多媒体领域最活跃研究方向的基本研究问题和方
2、法,及其最新进展。ACM MultimediaACM ICMRICME MMM ICIMCS ICCV CVPR ICIP ICPR3/80教学内容多媒体检索概论(2)基于内容的图像分析与检索(CBIR)(2)视频分析与检索(3)音频分析与检索(1)4/80一、多媒体检索概论一、多媒体检索概论5/80Internet Videos,Images,Audio,Flash,Aminations,Local Videos,Images,如何从如此海量的多媒体数据中定位到你所感兴趣的信息?如何从如此海量的多媒体数据中定位到你所感兴趣的信息?How to effectively organize,man
3、age,browse,retrieve?Image/Video indexing should be analogous to text document indexingMultimedia Analysis and Retrieval6/80引言“多媒体搜索引擎”可以搜索多媒体文档的搜索引擎多媒体文档:可包含多种模态,如文本、图像、视频、音频等广义的:可以搜索非文字信息的搜索引擎“视/听觉”信息7/80多媒体文档的特点多媒体文档包含丰富的非文字信息8/80多媒体文档的特点关键字对应的非文字信息可能过于宽泛9/80麦浪滚滚麦浪滚滚多媒体检索概念提供多媒体的查询输入可以方便地输入多媒体和文字查
4、询对多媒体文档进行多媒体索引特征索引:文本特征(字、词、短语)、视觉特征(颜色直方图、Gabor纹理、形状特征、)、音频特征(音高、音调.)语义索引:元数据、概念、事件提供多媒体的结果显示直观地展示多媒体和文字信息直观地展示深层信息跨文档综合(多媒体和文字信息)方便浏览大量文档10/80如何检索?11/80检索方法1:基于文本(QBT)关键问题:如何获得关键字标注?方法1:手工标注工作量巨大-不可行!即使对同一幅图像,不同的人有不同的描述方法2:自动标注各种机器学习的算法性能不佳:只能提取少数概念,准确率也低(30%)12/80检索方法1:基于文本(QBT)关键问题:如何获得关键字标注?方法3
5、:元数据分析-URL、链接文字、标题、关联页面Meta-data元数据元数据东北虎:5老虎:3动物:2中国:1俄罗斯:1长白山:1。13/80检索方法1:基于文本(QBT)关键问题:如何获得关键字标注?方法3:元数据分析-URL、链接文字、标题、关联页面问题:元数据不一定与多媒体文档内容相关没有元数据或不完整!没有元数据或不完整!元数据与图像内容不相关!元数据与图像内容不相关!14/80检索方法1:基于文本(QBT)关键问题:如何获得关键字标注?方法4:网络标注(Social tagging/Folksonomy)向普通用户提供上载和分享平台鼓励所有用户对上载的文档进行评论和标注这些评论和标注
6、是直接针对文档作出的15/80http:/ 16/80QBT的难题需求难以用文字精确描述非文字需求用户不愿意输入很多文字用户需求不是特别具体大多数人的想象力是不够丰富的系统提供的结果会极大地影响用户的需求需要浏览更多的文档才能发现需要的结果最重要:图像/视频/音频往往难以用文字准确描述一图胜千言各种文字标注方法普遍准确率不高18/80视觉信息描述的复杂性19检索方法2:基于内容/样例基于内容的图像/视频检索Content-based image/video retrieval(CBIR/CBVR)Query-by-Example(QBE)什么是“内容”(Content)?图像和视频的视觉特性如
7、何描述?(数学模型)如何匹配?(相似度计算方法)如何索引?(快速找到相似文档)如何提交查询?20/80基于内容的图像/视频检索“内容”的数学模型文本文档:向量模型多媒体文档:特征提取表示视觉的多个物理量组成描述文档内容的特征视觉特征:颜色、纹理、形状、运动音频特征:音频、音质、音调.维数特性布尔运算语义文字超高(10万级)稀疏可离散多媒体高(几千以内)致密不可连续21/80Color Camera motionMotion activityMosaicColor Motion trajectoryParametric motionSpatio-temporal shapeColor Shape
8、PositionTextureVideo segmentsStill regionsMoving regionsAudio segmentsSpoken content Spectral characterizationMusic:timbre,melody,pitch视音频特征示例22基于内容的图像检索 Query by content:Color,texture&ObjectSearchEngineRetrievalImageDB/WWW23基于内容的图像/视频检索相似度计算文字文档:余弦距离多媒体文档:欧氏距离及其改进索引文字文档:倒排文件稀疏的文档向量多媒体文档:高维索引或不索引紧致的
9、文档向量24/80基于内容的图像/视频检索查询提交手段如何让系统获得一个好的“特征向量”?可以较好地描述用户的需求文本查询(QBT:Query By Text)关键字:难以准确描述用户需求自然语言:NLP仍是open issue样例查询(QBE:Query By Example)用户提交一个图像/视频作为样例,查询与样例相似的其它图像/视频概要图查询(QBS:Query By Sketch)要求用户都是优秀的画家也有系统提供手绘界面25/80基于文本 vs.基于内容基于文本查询输入方便,在有准确的文字信息描述时很方便公开难题:如何提取图像/视音频的语义描述目前商业搜索引擎常用基于内容从信号处理
10、角度入手,试图使检索过程符合人的视听觉特性(所见即所得)查询输入不符合人的习惯公开难题:语义鸿沟(Semantic Gap)仍停留在研究阶段26/80多媒体检索框架StorageBrowseAV DescriptionFeature extractionManual/automaticTransmissionEncoding(for transmission)Decoding(for transmission)RecommendationPushSearch/queryPullHuman or machine27多媒体搜索引擎需要的技术多媒体内容分析技术理解多媒体文档的内容,提取语义多媒体查询
11、输入技术方便地提交多媒体查询多媒体结果显示和浏览技术直观、方便地浏览结果多媒体特征的高维索引技术28/80多媒体检索分类图像检索CBIR语义分类、标注相关反馈音频检索音频特征提取自动语音识别(ASR)哼唱找歌视频检索视频分割与分类特定对象检测事件检测与摘要跨媒体检索跨媒体融合29/80图像搜索技术的应用风景图像的替换与补图A.Efros,CVPR,200730/80图像搜索技术的应用Sketch2Photo:互联网图像蒙太奇Chen,SIGGraph 2009技术难点:技术难点:1.自动找到高质量的、包含正确对象的图片自动找到高质量的、包含正确对象的图片2.无缝的对这些子图像进行合成无缝的对这
12、些子图像进行合成31/80图像搜索技术的应用Image2Gps:通过图像搜索推理出图像的拍摄位置A.Efros,CVPR 200832/80图像搜索技术的应用Panoramio:http:/ MM200934/80图像搜索技术的应用广告搜索:Trademark,Logo,Patent商业图像的数据挖掘版权保护商品搜索获取商品信息:用商品图像进行搜索得到相关信息网上购物,货比三家 医学图像检索35/80图像搜索技术的应用http:/www.robots.ox.ac.uk/james/交互式视频技术用户在观看视频时,能够选择视频中出现的各种对象(人物、地点、物品等);在屏幕上展现被选中对象的信息,
13、例如名称等;展现与上述对象相关的业务提供者(例如服装店)链接;用户可以通过IM或者电话进一步与业务提供者联系36/80VideoGoogle:ATextRetrievalApproachtoObjectMatchinginVideoshttp:/www.robots.ox.ac.uk/vgg/research/vgoogle/二、图像分析与检索二、图像分析与检索38/80图像检索概论Datta,ACM CSUR,200839/80Semantic Gap40/80KeywordsDescriptionsClassificationOntologiesHumanIntelligenceDataA
14、 Typical Image Search SystemQueryUserIndexDataQueryFormationRankingIndexingResultPresentationIntention Intention GapGapIntention/Intention/Semantic Semantic GapGapSemantic Semantic GapGapUI and query suggestionUI and query suggestionSearch result organizationSearch result organizationInteractiveInte
15、ractiveFeedbackFeedbackImage Image annotationannotation41/80Designing a real-world image search engine:From a user perspectiveDotta,etal.,Imageretrieval:Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008(1)clarity of the user about what she wants,(2)where she wants to search,and(3)the for
16、m in which the user has her query42/80Designing a real-world image search engine:From a system perspectiveDotta,etal.,Imageretrieval:Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008(1)how does the user wish the results to be presented,(2)where does the user desire to search,and(3)what i
17、s the nature of user input/interaction.43/80CBIR框架Smeulders,PARMI,200244/80图像特征与表示Dotta,etal.,Imageretrieval:Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008An overview of image signature formulation45/80图像特征类型颜色、纹理、形状关键点SIFT位置对象/区域Smeulders,PARMI,200246/80图像特征汇总ColorColor Histogram“Sen
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 内容 分析 检索 技术 ppt 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。