虚拟现实环境中基于多维传感系统的学习投入综合模型研究_马婧.pdf
《虚拟现实环境中基于多维传感系统的学习投入综合模型研究_马婧.pdf》由会员分享,可在线阅读,更多相关《虚拟现实环境中基于多维传感系统的学习投入综合模型研究_马婧.pdf(7页珍藏版)》请在咨信网上搜索。
1、2023年第2期(总第358期)虚拟现实环境中基于多维传感系统的学习投入综合模型研究马婧1,姜萌1,董艳2(1.郑州大学 教育学院,河南 郑州450001;2.北京师范大学 教育学部,北京100875)摘要基于虚拟现实技术的学习者学习投入模型研究,是开发虚拟现实硬件及资源、进行相应教学设计的重要依据。目前,对虚拟现实环境的学习投入模型研究存在数据采集偏主观、实施采样困难、不易构建动态模型等问题,且模型分析维度单一,对特征值间的关联性分析不足。为了构建更为真实客观动态的学习投入模型,研究利用现代检测技术与虚拟现实相结合的分布式传感器系统,实现对学习者多维生理信息的实时监测,并对采集的多参数、多维
2、度特征间的关联性进行分析。针对学习投入的情感、认知、行为三个维度,以电生理信号采样、语音特征提取、语义识别等现代计算机与模式识别技术为主要分析手段,实现对情绪类型的识别,并对唤醒度及情绪正负面程度进行量化;采用覆盖模型和约束模型,引入语音、语义及反应行为等信息以实现对认知投入和行为投入的分析。通过研究虚拟现实环境中学习者的学习投入综合模型,为深入分析虚拟现实教学策略与模式,优化虚拟现实学习环境提供了理论与实践支持。关键词虚拟现实;学习投入;传感系统;模型建构;学习分析中图分类号 G434文献标志码 A作者简介马婧(1983),女,河南新乡人。副教授,博士,主要从事高校信息化教育教学改革与发展、
3、虚拟现实环境与教学模式研究。E-mail:。董艳为通讯作者,E-mail:。基金项目:2022年度国家社会科学基金教育学一般课题“支持个性化学习的高校混合教学学生画像构建研究”(课题编号:BCA220214)DOI:10.13811/ki.eer.2023.02.013学 习 环 境 与 资 源一、引言近年来,虚拟现实技术(简称VR、虚拟现实)的快速进步为教育教学发展带来了新的机遇和挑战。虚拟现实技术的沉浸性、交互性和想象性等基本特征,使其突破了传统教学的限制,能够在很大程度上优化教育教学环境,增强学习体验,在教育教学领域有着广阔的应用前景。但目前国内外针对虚拟现实环境学习者过程性数据的学习投
4、入分析和模型建构研究还比较缺乏。相关研究面临特征值的获取偏主观性、分析通常不具备实时性和动态建模功能、不适用于背景噪声较强的实际课堂教学和群体性环境、分析维度单一和片面、较少考虑多维度投入特征值间的耦合性和关联性等挑战。为解决这些难题,研究以虚拟现实技术为手段,结合多维生理信息采集及分析技术,对实际课堂教学中学习者多维生理信息和语音数据及学习行为进行采集和记录,探究能够实现人机互动操作,基于虚拟现实技术的学习投入信息反馈式可穿戴教学设备,获取真实、客观、及时性的学习者学习投入特征数据,并进行学习投入多特征、多维度之间的关联性分析,从而构建学习者学习投入的多模态数据融合模型。二、学习投入多模态数
5、据融合脉络分析学习者学业成就的获取在很大程度上由其学习投入水平决定。VR教学方法与传统的课堂教学、线上教学在形式上有很大的不同,学习者在VR教学活动中的学习投入分析存在许多新的问题与挑战,与此同107电化教育研究时,个人VR平台的可穿戴性、多接口兼容性和无线入网能力使许多新传感技术、新数据分析方法能够在动态、连续学习投入分析中得到应用。本文将从学习投入多维度特征值分析、多特征间的关联性分析以及学习者多维度学习投入模型构建入手,分析现有的研究方法与研究成果,讨论所存在的问题与待改良之处,并以此为基础探讨研究思路。(一)学习投入多维度特征值分析学习投入是一个多维度变量,被普遍接受的概念是学习投入包
6、括三个既独特又相互关联的维度,分别为:情感投入(Emotional Engagement)、认知投入(Cognitive Engagement)和 行 为 投 入(BehavioralEngagement)1。情感投入表征了学习者在学习过程中的情感反应与情绪波动,涉及学习者兴趣、态度以及高兴、焦虑等情绪;认知投入指学习者花费在学习项目中的智力努力程度,以及内在动机、自主学习、运用和实施学习策略的能力;行为投入被认为是情感投入、认知投入的基本载体,是用来描述学习者在学习活动中积极参与、完成任务的情况。1.情感投入分析教育心理学的研究表明,情感投入的研究多从学习者的情绪变化展开,学习者情绪检测方法
7、主要包括基于认知情感的评价模型、基于问卷调查的方法、基于行为分析的方法以及基于生理信息的方法。奥托尼,克罗尔和柯林斯基于情感认知理论构建了第一个易于计算实现的认知型情感评价模型,简称OCC模型,该模型是认知心理学研究中影响最为广泛的情感理论模型,通过不同认知条件推导归纳出学习者的22种情感类型2,具有完善的情绪分析能力。OCC模型以及基于问卷调查的方法都不可避免地带有学习者主观性的影响,且难以分析学习者在学习过程中的连续情感投入变化。随着计算机技术、心理学、神经医学的发展,越来越多的基于行为分析的检测手段被用于学习者连续情绪变化研究。如斯坦福温斯顿实验室推出了能够根据面部表情识别被试者情绪的机
8、器人Agent,能够对6种学习相关情绪达到92%以上的成功识别3。通过整合面部表情、头部姿势、眼神移动等多种基于行为的数据对学习者的学习投入进行自动测量与监控4。这些方法能够较为准确地识别学习者所处情绪或者情感参数的变化,但被试者必须处于实验室环境,用面部识别摄像装置在专用背景配合下进行试验,且面部不能遮挡,算法所需计算资源也难以用可穿戴设备终端进行实时分析,因此,不适用于背景噪声较强的实际课堂环境和VR教学设备。根据学习者生理信息进行情绪识别的方法是一种纯客观的检测方法,相较于外显的情感行为,不易被主观意愿掩饰、隐瞒,可信度较高,能够更精确、客观地反映人类真实情感5。基于生理信息进行情绪识别
9、的方法涉及中枢神经系统相关指标(主要指脑电信号)与自主神经系统相关指标(心率、血压、体温、皮肤电、心电、肌电等信号)两种。基于中枢神经系统相关指标的情绪识别具有较高的分辨率,能对较小的情绪变化做出反应。但是脑电信号极其微弱,易受到外界电磁环境的干扰,几乎很难实现与其他穿戴设备共同使用,而且被试者需要进行基础信号标定等预实验步骤。因此,在现有技术条件下无法在一般教学环境里对普通学生进行使用,也不能和需要无线通信的头戴VR设备实现电磁兼容。基于自主神经系统相关指标的情绪识别方法具有便于采样、鲁棒性好、非侵入性等优点。如西尔维亚科瑞迪克等人综合11种电生理信号,通过电生理诱导的方式实现了害怕与悲伤情
10、绪的区分模型,并证明了多元自主神经信息的组合测量可以有效区分相似性较高的基本情绪6。2.认知投入分析现有的学习者认知投入的分析研究主要针对知识状态表征,较为常用的知识状态表示模型有铅板模型、覆盖模型、约束模型和贝叶斯模型。铅板模型是最早使用的一种认知评分模型,通过考察学习者对知识的认知程度,对学习者进行分类,较易实现但分类精度很低,不能建立复杂的学习者模型;覆盖模型通过一系列2值逻辑判断学习者对知识内容的掌握情况7,是目前使用最为广泛的学习者认知建模方法;约束模型通过领域知识的约束形式建立学习者的认知投入衡量方式,通过模式匹配的方法可以实现较为高效的运算,对认知偏差的情况有很高的灵敏度8,多用
11、来进行课程设计、知识点的教学反馈应用;基于贝叶斯模型的认知投入出现较晚,是将计算机技术引入学习者认知投入评估的经典模型,能够以概率的形式表达学习者对知识认知程度的不确定性,从学习全过程视角对学生认知情况进行评估9。通过将学习者的各种特征,如学习风格、学习目标、个人性格等,以节点的形式引入原有模型并通过制作、修改概率量表,对模型进行优化改良。目前,认知投入测量的方法还包括基于内容的分析、基于问卷的分析、基于生理信号的分析。在线学习环境下,学习者与材料或他人的互动被系统捕获时,采用基于内容的分析是衡量投入度常用的方法10。但1082023年第2期(总第358期)基于内容和问卷分析认知投入的方法具有
12、滞后性,无法及时反馈学习者在学习过程中的认知投入度。当生理测量技术发展起来之后,学习者的生理信号也被用于认知测量。如利用腕表监测心率来表征学习者在课程中的认知投入,发现从课程开始到课程结束,学习者的心率呈下降趋势;而学生活动能够显著提升学习者的心率,进而提升学习者的学习投入11。瞳孔扩张与心率变异性(HRV)可以用来诊断视频学习环境下学习者的认知负荷变化12。当前,对于认知投入的研究主要还是依靠教学互动、引导学生解决问题并以记录其完成情况的形式建立数据基础,然后进行分析。传统的数据采集方法对于学习者解决问题中的各种行为、情绪等实时特征缺乏考虑。运用基于VR的教学平台,学习者在解决问题时的情绪变
13、化、注意力、反应力、消耗时间等实时变化特征都成为可引入模型的参考信息,但相应的动态建模方法还处于研究匮乏状态。3.行为投入分析在线学习平台的出现与广泛使用使许多学习行为投入的研究水平迈上了一个新台阶,基于在线学习行为分析研究已经成为该领域主流,操作次数、知识点的停留时间等成为可观测变量。如陈侃等人通过实证研究表明,在线学习时学习者视频观看跳转的行为是学习行为投入衡量的重要指标,打破了以往用完成率来作为测量指标的现状13。还可以通过对学习者操纵键盘和鼠标等行为的监测,获得击键的频率和力度、滚轮的频率和速度以测量在线学习时的行为14。还有研究者通过检测生理信号对学习者行为进行分析。如彭山等人采用脑
14、电图信号分析方法收集网络成瘾学生的脑电图信号、前额叶SPN和P300波形,从行为学和脑电图两方面分析网络成瘾学生的行为特征15。但以上这些分析方法与模型需要在线设备达到非常高的实时性,相关实验也需要在特殊改造的多媒体教室进行,不适用于依赖全仿真、高沉浸度,且互动延迟性受到移动网络限制的VR教学平台。因此,需要在已有研究基础上以VR教学系统为前提选择合适的特征量并建立行为投入分析模型。(二)学习投入多特征间关联性及多维建模研究迄今为止,与学习投入相关的建模分析并未超出情感投入、认知投入、行为投入的理论框架,且大多数的学习投入模型研究是对其单一维度的分析建模。此类方法对于引进模型的各类生理信息之间
15、的相互关联性的强弱以及是否具有正交性、多尺度归一性等并没有专门讨论研究。近年来出现的贝叶斯分析模型,是建立在数据分析基础上,以专家为中心、数据为中心的经验算法,并没有专门对引入的变量进行解耦。特定的生理特征之间所具有的耦合性因为人体差异、环境影响都有可能出现变化。因此,需要针对VR设备寻找本身关联性较弱的生物特征,或者将具有较强关联性的特征进行解耦处理。此外,近年来除了基于单一维度的分析建立模型,也出现了部分两种投入综合分析的二维关联度分析模型。但由于传统的学习行为受限于教学环境、学习方法,使得许多实时观测手段与技术无法使用。三、基于多维传感数据的学习投入模型构建学习者的学习过程是一个复杂的过
16、程,学习者在各维度的学习投入可以看做是非线性、时变、多变量耦合的复杂系统。得益于VR教学平台提供的高沉浸性和互动性,其与可穿戴传感器阵列的多通道全时域信息采集与反馈功能,以及现代模式识别方法与计算机技术,使得充分考虑特征值、多维度的相关性以构建综合三个维度的学习投入模型成为可能。学习者的生理特征量之间、三个学习投入维度之间、被动行为特征与主动答题互动都有着较强的耦合关系,各种信息间的关联性、随动性具有极高的研究价值。建立基于三个维度学习投入、支持多模态数据融合的多输入模型,将为VR学习环境中测量和评估学习者表现提供实践依据。多模态学习分析具有跨模态、跨空间、跨数据、跨分析的独特属性16。201
17、2年,第十四届“多模态交互国际会议”上正式提出了多模态学习分析(MultimodalLearning Analytics)概念:多模态数据、教学学习和计算机支持分析相融合,形成三角关系用以描述复杂的学习系统17。在通过摄像、收音等固定设备对学习者动作、手势和面部表情进行精准捕捉的同时,可穿戴传感技术的发展实现了对学习者生理性数据的多通道全时域采集,这使得内外部显性和隐性数据的整合分析成为可能。基于多模态分析理论,虚拟现实环境下学习投入可采集完整多元数据,增加解读有效性,准确判定学生学习状况,提升教育质量。本研究基于虚拟现实教学技术提出了学习者综合投入模型,通过学习过程中的介入式问答互动、被动式
18、的语音、生理信息传感等实现对学习者的全方位信息采集,并通过相关性算法揭示隐藏在数据后的学习投入三个维度之间的相互关系。根据前文分析,在建立学习者投入模型前,需要对引入的特征参数之109电化教育研究间、维度之间的关联性进行分析:首先,要确定模型参数,建立三个学习投入维度上的各参数与输出的非线性映射关系;其次,对三个学习投入维度间相互关联性进行分析,采用智能解耦算法如神经网络解耦算法等方法进行参量间、维度间的解耦;最后,建立学习者多输入学习投入模型。多维传感系统学习投入综合模型的建模思路如图1所示。相比以往研究,本研究设计的系统平台可以对学习者的学习过程实现时域连续观测,实现学习者学习投入的一体化
19、建模。研究所提出的多维传感系统学习投入综合模型由多模态信息采集与输入层、信息预处理层、三维学习投入建模层三个功能层次组成,包含从学习者数据来源到最终实现模型建立的全部功能,以下分层讨论。图1多维传感系统学习投入综合模型(一)多模态信息采集与输入层虚拟现实环境下的教学过程可以实现课程进度与教学活动的多媒体化、信息采集的实时化。由基于VR平台的多维电生理传感器阵列系统、语音采集系统、计算机后台操作记录系统配合完成学习者信息采集任务。电生理传感器阵列系统用以监测学习者的心率、血压、脑电、皮肤电等信息,实现对学习者生理信息的连续多通道、全过程主动采样,直接与课程进度建立时域映射关系。语音采集功能主要用
20、以在课间问答时对学习者口头回答问题的语音信息进行采集,为后续的答案判断、情绪识别以及知识点熟练度掌握提供数据分析基础。后台操作记录主要用于监测学习者在课程中的回馈反应以及主动操作行为,课程中的互动反馈可以监测学习者注意力的集中程度,而课中间歇的复习操作可以体现学习者学习主动性与知识点掌握情况。本研究基于VRSHINECON虚拟现实设备搭载自研多维生理信息传感器阵列,对学习者在学习过程中的被动生理信息、主动操作行为、语音信息进行全程采集。头盔式VR在支持虚拟授课环境的同时,加载嵌入式设备对传感器阵列进行实时采样,并通过SIM卡将采样信息传递给计算机终端。腕带传感器及其他可穿戴传感设备也将承担生理
21、信息采集任务,并通过zigbee网络或蓝牙射频的方式实现与VR头盔的无线数据交互。(二)信息预处理层预处理层负责对输入层的输入信息进行预处理,通过数据处理与定性定量分析实现了语音语义分析识别、课堂问答及行为的特征提取、电生理信息特征提取与滤波以及多维信息的归一化处理等功能。对信息的预处理,对学习中的操作行为进行记录与特征提取,可以为进一步分析学习者的行为投入情况提供分析依据。答题的准确度和速度可以作为定性定量衡量认知投入的依据。电生理信息的特征分析可以判断该学习者在学习过程中的情感变化,人体生理特征决定情感投入所涉及的心率、血压、皮肤电等自主神经系统生理信息,相互间具有很强的关联性,一种参数的
22、变化一定会引发另外两种参数的连带变化,因此,在引入分析模型以前需要进行解耦,保证参数间的相互独立性。采用神经网络算法建立多参数的输入输出模型,设计目标函数以及参数寻优算法降低耦合度,建立映射关系,提高参数独立性。神经网络可以实现多输入多输出映射,并实现对任意函数到任意精度的逼近,以及对时变、非线性、对象未知的模型解耦。通过语音采集装置与语义识别算法,实现学习者与教学内容的互动,并通过对音频的采集为后续实验对象的学习情绪、学习行为分析提供数据。语音数据通过无线互联网传输给远程服务器,语音的分贝、语速、基音等特征信息提取与处理以及语义对比识别由集成在VR设备里的本地数据处理程序以及语义对比数据库完
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 虚拟现实 环境 基于 多维 传感 系统 学习 投入 综合 模型 研究 马婧
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。