多模态信息搜索行为实验研究.pdf
《多模态信息搜索行为实验研究.pdf》由会员分享,可在线阅读,更多相关《多模态信息搜索行为实验研究.pdf(14页珍藏版)》请在咨信网上搜索。
1、INFORMATION BEHAVIOR信息行为TECHNOLOGY INTELLIGENCE ENGINEERING2023 年第 9 卷第 4 期054多模态信息搜索行为实验研究朱佳雨1李志义2王振芳3 1.中国科学院庐山植物园九江332900;2.华南师范大学经济与管理学院广州510006;3.福建师范大学文学院福州350007摘要:目的/意义 研究多模态信息搜索特征有利于发现用户在图文音频信息搜索过程中的特征,进一步丰富多模态信息搜索以及信息行为的理论研究,为多模态信息系统建设和多模态信息素养提升提供依据。方法/过程 本研究依托经典的信息搜索行为理论,通过实验法和统计分析法,分析受过高
2、等教育群体的多模态信息搜索行为特征,提出多模态信息系统开发与设计和多模态信息素养提升建议。结果/结论 通过实验研究,发现目前多模态信息搜索在准确性上表现较好,而完整性上则表现较差。在需求阶段需求理解上比较费时,普遍存在重复确认现象。在搜索方式上仍以文字搜索和跨平台搜索为主,且搜索策略调整次数较多,在搜索模态上转变较频繁。在信息收集上集中于百科类网页,特别是百度百科占了绝大多数,而社交媒体和电商应用软件也成为用户的多模态信息来源之一。关键词:多模态信息;信息搜索;信息行为中图分类号:G35Experimental Research on Multi-modal Information Searc
3、h BehaviorZHU Jiayu1 LI Zhiyi2 WANG Zhenfang3 1.Lushan Botanical Garden,Chinese Academy of Sciences,Jiujiang 332900,China;2.School of Economics and Management,South China Normal University,Guangzhou 510006,China;3.College of Literature,Fujian Normal University,Fuzhou 350007,ChinaAbstract:Objective/S
4、ignificance Research on the characteristics of multimodal information search is helpful to discover the characteristics of users in the process of audio-visual information search,and further enrich the multimodal information.The theoretical research of information search and information behavior pro
5、vides the basis for the construction of multimodal information system and the improvement of multimodal information literacy.Method/process This study is based on Based on the classical information search behavior theory,this paper analyzes the multi-modal information search behavior characteristics
6、 开放科学(资源服务)标识码(OSID)基金项目广东省哲学社会科学规划 2023 年度学科共建项目面向图书馆智慧参考咨询服务的多模态知识融合研究(批准号:GD23XTS09)。作者简介朱佳雨(1993-),硕士研究生,主要从事信息搜索、学术评价和科技情报等研究。李志义(1968-),副教授,硕士,硕士生导师,主要从事 Web 挖掘研究,E-mail:L。王振芳(2000-),江西九江人,硕士,研究方向为中国古代科技史和中国古代文学。引用格式朱佳雨,李志义,王振芳.多模态信息搜索行为实验研究 J.情报工程,2023,9(4):54-67.doi:10.3772/j.issn.2095-915x.
7、2023.04.005多模态信息搜索行为实验研究TECHNOLOGY INTELLIGENCE ENGINEERING2023 年第 9 卷第 4 期055of the group with higher education through experimental method and statistical analysis,and puts forward multi-modal.The development and design of the state information system and the suggestion of improving multimodal inf
8、ormation literacy.Result/Conclusion Through experimental research,the accuracy of current multimodal information search is shown in the table above The present is better,but the integrity of the performance is poor.It takes a long time to understand the requirements in the requirement stage,and ther
9、e is a common phenomenon of duplicate confirmation.The search method is still text search.The cross-platform search is mainly based on cable and cross-platform search,and the search strategy is adjusted more frequently,and the search mode changes more frequently.Focus on encyclopedic web pages for i
10、nformation collection,especially.Baidu Encyclopedia accounts for the vast majority,while social media and e-commerce applications have also become one of the multimodal sources of information for users.Keywords:Multimodal Information;Information Search;Information Behavior引言信息搜索行为链接着被搜索信息与信息系统的主客体两端
11、,在图片扫描检索、语音识别检索等技术发展完善之前,通常以文字描述进行搜索,至今仍有大量人使用这种搜索方式,无论搜索文字、图片还是音乐,文字语义描述不可避免的一点就是必须克服“语义鸿沟”,这一问题在图片、音乐这些跨模态搜索中尤其突出。早在 2005 年,温超等1就关注过图像检索中的语义差异问题,王靖豪等也认为目前网络环境中的多模态信息缺乏信息层次结构之间的关联,缺少多种模态数据的信息融合,致使相关研究大多依赖于某一种模态数据的信息2,从而影响搜索的查全率和查准率。对此,胡文婷3利用眼动跟踪技术记录人浏览图像时的眼动行为,证实眼动行为可表达语义,克服文字与图片之间的语义边界,网站利用这一点,将可以
12、更高效地推送用户需要的图片。秦静、林鸿飞等4提出了一种基于示例语义的音乐检索模型,使用语义相关标签来标记未知,将音乐映射到“语义空间”满足语义音乐检索的需求。邵曦、郁青玲5分析了文本特征和音乐内容特征潜在的统计关系,通过子空间映射解决了不同模态之间的特征异构问题,再根据欧氏距离的大小衡量两者的相关性,从而实现了音乐跨模态搜索。由于用户的知识背景不同,所以对文字、图片、音乐等信息特征的提炼和归纳能力有所不同,使得每个检索者面临的语义差异问题也有相应的不同。但随着技术发展,网站可以直接扫描图片,匹配相同或相似的图片,音乐也可以通过语音识别,查找或匹配相似信息,王培培等6提出一种基于语句特征的音乐哼
13、唱快速检索技术,将音乐数据库和用户提供的哼唱片段,按自然停顿方式划分音乐语句,使用 BDTW 算法对音乐语句片段进行音高相似性计算,能够减少用户的检索时间。这些技术的突破意味着不再需要用户对被搜索信息进行特征提炼,绕开了“语义鸿沟”这个问题,使单模态信息的查准率和查全率得到了较好解决。随着信息技术的深化与推广,各种文字、图像和视频等互动分享网站日新月异,催生了EXPERIMENTAL RESEARCH ON MULTI-MODALINFORMATIONSEARCH BEHAVIORINFORMATION BEHAVIOR信息行为TECHNOLOGY INTELLIGENCE ENGINEERI
14、NG2023 年第 9 卷第 4 期056大量相同语义而有着多种表现方式的信息多模态信息。多模态信息搜索问题便成为了学者关注的重点,学者 Li7等研究了多模态信息搜索行为影响因素,该研究基于TAM理论模型,认为多模态信息搜索行为与多模态信息的搜索意愿直接相关,而搜索意愿与多模态信息搜索有用性和容易度感知相关,且用户的信息检索能力及信息环境直接影响多模态信息的多模态信息搜索有用性和容易度感知。邱瑾、吴丹8进行了用户协同信息检索行为实验及结果分析,发现任务类型不同,用户“浏览网页”“检索”和“使用图片”行为差距较大,导航类任务涉及专业知识,用户需要输入更多的检索式以便对其有一个全面的认识。对于专业
15、性任务,许多专业人士已经做了一些总结和分析,可能一个图片就包含了大量有用的信息,事务类任务解决的是实践问题,用户在检索过程中思考、探索的时间较多,而浏览页面和检索次数都较少。检索任务类型不同对用户选择的检索式也会有较大影响。综上,不难发现用户的信息需求已呈现出由慢到快、由少到多、由单一到多样的变化,信息搜索行为也逐渐从单一模态信息搜索向多模态信息搜索转移。而当前国内学者缺乏对多模态信息搜索行为特征的挖掘,使多模态信息搜索行为研究存在空白,为提高多模态信息搜索效率,有必要坚持以人为本的研究理念,以用户为中心,围绕用户在信息技术、网络技术发展进程中突现的日益增长的多模态信息需求,研究其搜索多模态信
16、息行为特征。因此,本文通过设计多模态搜索任务,研究用户的多模态信息行为特征,将有利于丰富信息搜索理论,为实现多模态信息系统建设、提升多模态信息素养提供依据。1研究设计1.1多模态信息搜索行为分析指标对于信息搜索行为研究,基于用户信息搜索过程的,比较著名的有 Willson 模型、Kuhlthau 模型和 Choo 三阶段模型9。其中Willson 模型重点对影响搜索需求到搜索行为发生整个过程的因素进行了较全面的分析。Kuhlthau 模型重点对信息搜索全过程中的用户认知影响进行了分析10。Choo 模型将信息搜索活动分为信息需要、信息搜索和信息利用 3 个过程,并检验了认知、情感和情境因素对这
17、些过程的影响11。国内学者甘利人将用户的多模态信息搜索行为过程划分为信息定义、信息搜索和信息收集三个阶段,并根据不同阶段的具体行为表现归纳用户的行为特征12。对此本文在借鉴前人研究成果的基础上,将多模态信息搜索行为分成三个阶段进行分析,并确定了多模态信息搜索行为特征分析指标,如表1所示。1.2实验任务与流程在搜索任务划分上,有依据搜索路径将搜索任务分为水平性任务、简单性任务和垂直性任务20;或根据任务的多个属性将信息任务划分为事实性、解释性和探索性任务21。Brod-er22则将搜索任务划分为导航型任务、事实型任务和事务性任务。孙丽23根据任务的实际应用情景将网络健康信息搜寻任务类型划分为开放
18、式任务和封闭式任务。doi:10.3772/j.issn.2095-915x.2023.04.005多模态信息搜索行为实验研究TECHNOLOGY INTELLIGENCE ENGINEERING2023 年第 9 卷第 4 期057表 1 多模态信息搜索行为分析指标行为阶段维度变量变量来源任务定义需求理解搜索任务阅读时长李法运(2003)13;丁莉(2018)14;需求确认重复阅读次数信息搜索选择搜索途径搜索路径吴丹等(2014)15;张云秋(2014)16;朱明泉(2006)17;Allison(2002)18;罗赛峰(2015)19;选择搜索方式搜索形式浏览搜索结果浏览时长、网页浏览次数
19、调整搜索策略途径、搜索词、转换情况信息收集提取搜索结果网站类型、网站数量甘利人等(2007)12考虑多模态信息搜索不仅搜索模态多,搜索路径也多,因此本文按照不同模态进行划分,分别从文本、图片和音频三个搜索模态设计实验任务,三类实验任务定义如表 2。每个被试者均需依次完成三个任务,在执行任务的过程中可以根据实际情况运用一种或多种模态进行搜索。表 2 任务类型定义任务类型任务定义文本搜索指用户根据文本描述内容,输入关键字、自然语言等搜索相同主题的不同模态信息图片搜索指用户根据信息需求,向系统直接输入图片或图片的语义描述搜索相同主题的不同模态信息音频搜索指用户根据信息需求,向系统直接输入一段声音或音
20、频的语义描述搜索相同主题的不同模态信息任务 1(文本搜索任务):假设你看完某个电影后便喜欢上了李安导演。你想通过上网搜索了解更多的关于他的信息,现请你把他的基本信息、照片和他的相关视频通过网络搜索整理出来。(参考用时 8 分钟)任务 2(图片搜索任务):请你根据图片 1,通过网络搜索,将图片名称、作者的基本信息以及其他相似图片搜索出来。(参考用时 10 分钟)图 1 实验图例任务 3(音频搜索任务):请你根据实验员播放的音频,通过网络搜索,将音频名称、作者的基本信息和及其他相似音乐搜索出来。(参考用时 12 分钟)1.3实验流程实验流程主要包括被试者招募、实验平台安排和实验过程设计等。在被试者
21、招募方面,笔者根据研究目的,并考虑实验任务需具备一定知识储备,因此将EXPERIMENTAL RESEARCH ON MULTI-MODALINFORMATIONSEARCH BEHAVIORINFORMATION BEHAVIOR信息行为TECHNOLOGY INTELLIGENCE ENGINEERING2023 年第 9 卷第 4 期058招募对象设为受过高等教育的群体。通过微博、微信等发布有偿招募实验志愿者公告,并根据报名情况筛选符合研究条件的被试者。周晓英等24在研究互联网信息搜索用户行为模型时的样本数量为 32 人。吴丹等25在研究移动搜索策略时选取了 30 名大学生为研究对象。因
22、此本研究最终招募了 45 名被试者。在实验平台设计方面,本研究考虑到实验过程的连续性,实验数据的完整性,且为了避免用户实验受陌生机型及应用的影响,故将本研究的实验平台设定为被试者自带的智能移动手机。实验前统一安装录屏软件,用于录制多模态信息搜索全过程。考虑到录制过程会涉及到隐私信息,如搜索历史等,故在实验开始前会温馨提示被试者整理手机可能会涉及到的隐私信息。在实验前,组织者向受试者讲解实验过程和注意事项。实验顺序依次为任务 1、2、3,每个任务流程为:阅读题目-实施搜索-保存搜索结果。每项搜索任务完成后,被试者需将每个任务的搜索结果收集整理发给实验负责人,以此类推,直至三个任务全部完成。在实验
23、过程中,为使被试者端正态度提高搜索效率,每项搜索任务提供参考用时,且实验员将进行计时操作,但为了体现实验的完整性,故即使被试者用时超过参考用时也不会被打断。实验完成后,评委会根据网络信息搜索常用指标“准确性”“完整性”26对被试者的搜索结果进行评分,并以此奖励被试者。准确性表示搜索目标与搜索任务的匹配度,分值为 5。完整性指搜索到的信息在模态、数量以及任务完成的情况,分值为 5。每项任务的分值为 10,三个任务总分为 30 分。2结果与讨论本研究共有 45 名符合研究条件的志愿者参与。其中女性被试者为 26 人,占比约 57.78%,男性被试者为 19 人,占比约 42.22%。被试者学历大专
24、有 1 人,本科有 19 人,研究生学历25 人(含硕士研究生 23 人,博士研究生 2 人),群体涉及有社会在职人员与在校学生,专业涉及生物工程、农学、法学、金融学、理论物理、光学工程、中国现当代文学、情报学和图书馆学等。删除画质不清、实验不完整视频,最终获得有效实验数据 41 份。41 份实验数据共约691 分 48 秒,减去程序加载、网页缓冲和其他与任务搜索无关时间等,最终具有统计分析意义时间约 606 分 52 秒。2.1多模态信息搜索结果分析本研究邀请了来自图情领域与非图情领域的三名学者为评委,对实验者的搜索结果进行评分,用三者评分的平均分作为被试者多模态信息搜索结果的最终得分,以此
25、分析调查者的多模态信息搜索的效率,其中包括了多模态信息搜索的准确性、完整性。如表 3。表 3多模态信息搜索任务完成情况 指标任务准确性(5分)完整性(5分)总分平均分文本搜索1931793729.07图片搜索1631683318.07音频搜索1751653408.29总分531512104325.43doi:10.3772/j.issn.2095-915x.2023.04.005多模态信息搜索行为实验研究TECHNOLOGY INTELLIGENCE ENGINEERING2023 年第 9 卷第 4 期059数据显示,从整体上看,多模态信息搜索准确性较好,在完整性上表现较差。从不同模态看,文
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多模态 信息 搜索 行为 实验 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。