面向儿童教育机器人的多模态融合情感认知计算的研究.pdf
《面向儿童教育机器人的多模态融合情感认知计算的研究.pdf》由会员分享,可在线阅读,更多相关《面向儿童教育机器人的多模态融合情感认知计算的研究.pdf(79页珍藏版)》请在咨信网上搜索。
1、摘要随着信息技术的不断发展,人机交互,情感计算和社会科学领域也开始飞速 发展,学术界与公众也增加了对开发人机协作的社交机器人的兴趣。至1980年 开始,社交机器人的数目每年都成倍增长,儿童教育机器人也开始走进家庭使用 中。然而市场上销售的机器人,大多以单纯的游戏等娱乐功能为主,在人机交互 上主要采用单一的语言交互。根据调查,市面上的早教机器人尽管价格相对低廉,但是并不能完全令家长放心,不能给孩子全方位的陪伴与教育。因此针对该现状,我们提出了基于多模态信息的情感计算认知框架。该框架可以被应用于儿童教育 机器人当中,并结合心理学相关知识,辅助儿童在日常生活中的教育与陪伴。本文从情感计算与认知计算两
2、个方面对儿童教育机器人进行了深入研究。对 于情感计算而言,多模态信息对于情感的捕捉是至关重要的,我们使用Intel RealSense对儿童的多模态信息进行获取,利用PAD模型对多模态信息进行融 合计算,将计算结果进行情绪空间映射获取儿童的情感状态;对认知计算而言,由于机器人的认知直接影响到与儿童交互时的行为决策,在情感计算基础上进行 认知决策可以起到提高准确率与真实性的作用。我们采用了 LSTM框架进行认 知计算,在交互过程中不断更新训练数据,做到机器人因人而异并随着儿童的变 化而变化。机器人行为决策后的交互输出是结合心理学知识而设计的,其目的是 提高儿童的情感识别能力,情感表达能力,对儿童
3、教育起到一定作用。在论文的实验部分,我们招募了一批6/2岁的儿童进行了分模块测试与总 体测试,根据实验数据可分析出多模态信息提高了情感计算的准确度,而情感因 子在认知计算中帮助决策过程,可以让机器人与儿童交互更具有真实性,提高儿 童的社会情感能力。关键词:人机交互;情感计算;认知决策;教育机器人AbstractWith the development of informatics technology,the academia and the public are getting interested in developing collaborative social robots.Sinc
4、e 1980,the number of social robots has doubled every year.However,most of the robots in the market are merely designed for entertainment,such as games,and could only be interacted by a single modality of speech.According to the survey,although tlie price of early educational robots is relatively low
5、,it cannot provide children with a full range of companionship and education.Therefore,in order to assist parents in the education and companionship of childrens daily lives,we propose a cognitive framework based on multimodal affective computing.We make research on children educational robots from
6、two aspects:1.Affective Computing:we use Intel RealSense to obtain the users multimodal information,calculate the fusion data by the PAD model to get the users emotional state;2.Cognitive Computing:the LSTM framework is used for cognitive computing,and the training data is continuously updated durin
7、g the interaction process,so that the robot can be customized according to the user*s own needs.The interactive output after behavioral decision-making is designed in combination with psychological knowledge,in order to improve the users ability to recognize emotions and express emotions,so that it
8、could play a role in childrens education.We recruited a group of children aged 6-12 fbr sub-module testing and overall testing.According to the experimental data,multimodal information improves the accuracy of affective computing.And affective factors help the decision-making process in cognitive co
9、mputing,which can make childrens interaction more authentic and improve childrens social emotional ability.Keyword:Human-computer Interaction;Affective Computing;Cognitive Computing Decisions;Educational Robot目录第一章雌.11.1 研究背景与研究意义.11.1.1 研究背景.11.1.2 研究意义.11.2 本文的研究思路和体系结构.21.2.1 研究思路与方法.21.2.2 论文结构.
10、3第二章相关背景介绍.52.1 社交机器人发展困境.52.2 多模态信息.52.3 情感计算.62.4 认知模型.72.5 本章小结.8第三章基于多模态情感认知计算的儿童教育机器人.93.1 用户分析.93.2 版本迭代.103.3 框架介绍.123.4 本章小结.15第四章多模态情感计算.164.1 多模态信息获取与处理.164.1.1 非语言信息.164.1.2 语言信息.324.2 多疑信息的PAD 蝇.344.3 多模态情感计算.354.4 本章小结.39in第五章认知计算.405.1 适用于情感的认知模型.405.2 记忆模块设计.425.3 决策模型设计.475.4 决策训练更新.
11、495.5 决策输出.505.6 本章小结.54第六章实验与测试结果分析.566.1 决策层准确度测试.576.2 决策模块验证.606.2.1 模型选择.606.2.2 认知模块验证.606.3 系融体测试.636.4 讨论.66第七章总结与展望.677.1 本文的研究成果.677.2 研究的不足之处.677.3 有待进一步研究的问题.68然文献.69攻读硕士学位期间取得的科研成果.72致谢.73IVContentsChapter 1 Preface.11.1 Background and significance of Research.11.1.1 Background of Resea
12、rch.11.1.2 Significance of Research.11.2 Research ideas and architecture.21.2 A Research ideas and methods.21.2.2 Architecture.3Chapter 2 Related Background.52.1 Development Dilemma of Social Robots.52.2 Multimodal information.52.3 Affective computing.62.4 Cognitive framework.7Chapter 3 Educational
13、robots based on affective computing.93.1 User analysis.93.2 Version iteration.103.3 Introduction of framework.123.4 Chapter Summary.15Chapter 4 Multimodal affective computing.164.1 Acquisition and processing of Multimodal information.164.1.1 Nonverbal information.164.1.2 Verbal information.324.2 PAD
14、 mapping of multimodal information.344.3 Affective computing.354.4 Chapter Summary.39Chapter 5 Cognitive computing.405.1 Cognitive models applied for emotion.405.2 Design of Memory module.42v5.3 Design of decision model.475.4 Updates of decision training.495.5 Decision output.505.6 Chapter Summary.5
15、4Chapter 6 Analysis of Experiments and Test Results.566.1 Test of decision-level accuracy.576.2 Verification of decision module.606.2.1 Model selection.606.2.2 Verification of cognitive module.606.3 Test of system.606.4 Discussion.60Chapter 7 Conclusions and Future Works.677.1 Results of research.67
16、7.2 Shortcomings of research.677.3 Future Works.68References.69Research Achievement During Master Degree.72Ackonwledge.73VI第一章绪论第一章绪论1.1 研究背景与研究意义1.1.1 研究背景随着认知科学的发展,社交机器人领域也越来越受到重视。情境认知理论与 认知机器人的发展较为成熟。近年来,越来越多的科学家和技术人员在设计智能 机器人的认知模型方面取得研究成果。但目前已有的应用机器人的研究往往着眼 于如何控制虚拟人的行为,使虚拟人更加类人。但对于从交互对象的非语言行为 中理
17、解其情绪、情感,将多模态信息进行融合计算的研究还较少。机器人通常通 过单一的决策模型进行行为的选择,而不能像人类一样受到情绪的影响。在社交机器人领域中,若陪护机器人可以通过用户的生理表现准确识别用户 当前的情绪状态及情感趋势,并以表情、动作及语言对用户进行交互回应,用户 的交互沉浸度会大大增加。目前已有的情感计算通常基于面部表情或语言来进行,而缺少多模态信息的输入来对用户情感进行一个更为全面的分析。本课题在已有的机器人情感计算体系及信息融合的基础上,针对社交机器人 的应用场合和用户群体,构建了基于多模态情感表征的情感计算方法,将心理学 原理运用到机器人的情感计算体系里,使机器人能够更清晰地了解
18、人类的当前情 感状态,并进行后续的人机交互。在获取用户的情感信息后,利用和人体生物学 相关的长短期记忆方式来进行认知计算,将正确的用户交互的内容存储于机器人 大脑中,增加认知的准确性。同时利用心理学知识,对用户进行情绪引导,设计 一系列可视化交互,提供可玩性与学习性。1.1.2 研究意义基于多模态融合情感计算的认知框架有很深的理论价值与应用价值。(1)加深多模态信息在情感表征中的相关理论,提高该领域的理论结构。情 绪的表达方式有很多种,单单依靠语音信息或者非语言信息是无法准确获取用户 情绪的。如何正确的获取多模态信息并将其进行融合计算,在业内并没有很准确 的认识。本研究可以为该领域提供一种思路
19、,能够进一步丰富其理论知识,帮助 构建更全面,系统的体系。面向儿童教育机器人的多模态融合情感认知计算的研究(2)基于长短期记忆的认知框架,根据人体学知识,将长短期记忆进行分类,减少数据的冗余,在认知计算领域提供一种计算方式。(3)有助于人机交互领域的发展。在人机交互领域中,情感计算和认知计算 两个领域都是被重点关注的,情感计算加强用户的交互体验,认知计算使得机器 人更加类人化,提高用户与其交互的可能性。现阶段,这两个领域的研究都不算 是深刻,本课题提出的方法能为其提供一种思路。(4)社交应用。随着二孩政策的开发,有许多二孩家庭的父母没有时间陪伴 孩子,该框架可适用于2-6岁儿童,对其进行陪伴与
20、教育。在父母无暇陪伴过程 中,机器人辅助父母完成对儿童的情绪引导作用。因此基于多模态情感计算的认知框架不仅在理论研究上有重大意义,同样在 社会应用中也有着其价值。L2本文的研究思路和体系结构为了准确的把握项目的开发研究方向,在研究了国内外基于情感计算研究方 法的相关文献后,对现有的社交机器人存在的缺点与不足进行对比分析。希望提 高机器人在社交领域尤其是儿童教育机器人领域的使用,本文提出了基于多模态 信息融合情感计算的认知框架,该框架可应用于儿童教育机器人当中,起到很好 的陪伴与教育作用。1.2.1 研究思路与方法在多媒体情感交互方面,我们观察到以下事实,并针对其提出了研究方法。(1)情感信息在
21、人机交互中起到了重要作用,情感是人类固有的一种特质。在人机交互中,机器人若无法捕捉用户情感,则该互动就无法达到真实效果,给 不了用户沉浸感。(2)多模态信息能够更准确的获取用户的情感信息、。单模态信息仅仅是人机 交互中的某一小部分信息,无法完整代表用户。多模态信息来源于用户,能够更 准确的代表用户状态,如何获取用户多模态信息是至关重要的。(3)认知框架是认知机器人中的重点,如何做到因人而异,随着用户的改变 而改变是至关重要的。由于用户表达情感的方式不同,需要的交互场景也不一样,因此,认知框架需要随着用户而修改,不能一成不变。2第一章绪论根据上述的研究思路,本文提出了基于多模态信息融合情感计算的
22、认知框架 这一主题。主要分为了两个部分,一为情感计算,二为认知计算。对于情感计算 主要包括了获取用户信息以及将多模态信息进行融合,认知计算则包括了基于情 感信息的决策以及决策训练的更新。首先,利用捕捉设备获取用户的多模态信息。其次,通过分析各个模态信息的不一致性,确定情感融合的方式,利用PAD心 理学模型对用户信息进行融合,获取最终的情感状态;再次,根据人体生物学知 识,使用长短期记忆对认知框架进行设计,在根据用户的不一致性设置认知模型 的更新训练,做到因人而异。1.2.2 论文结构本文对提出的基于多模态信息情感计算的认知框架进行了具体介绍,本文一 共7个章节,各章的主要内容如下。第一章,绪论
23、,介绍本文的选题背景与意义,讨论了在各个领域该研究方向 的作用,并介绍了文章的研究思路与研究方法。第二章,相关背景介绍,主要介绍了社交机器人领域的相关知识,阐述了现 有社交机器人的缺陷,并介绍了国内外关于多模态信息处理与认知计算的相关内 容,为进一步论文的展开提供了基础。第三章,基于多模态情感认知计算的儿童教育机器人,整体介绍了本文提出 的儿童教育机器人框架。本文提出的技术框架包括了三个部分为多模态信息融合 计算,认知计算与交互输出,其具体的内容将在后续章节中一一介绍。第四章,多模态情感计算,介绍了多模态信息的获取与处理以及情感计算方 式。主要方式为在获取多模态信息之后,在其不同的通道中对信息
24、进行预处理。利用PAD情感模型对其进行了融合计算与情感空间映射,获取用户的最终情感 状态。第五章,认知计算,主要介绍了认知框架中的核心,认知计算。本文利用了 LSTM模型对用户进行决策输出,根据上文提到的所获取的情感信息,进行认知 决策,将输出用户反馈,该反馈包括语音,表情以及可视化输出。第六章,实验与测试结果分析,主要介绍了系统的各部分是如何进行工作,并对其进行了实验,实验包括了决策层准确度测试以及系统整体测试。3面向儿童教育机器人的多模态融合情感认知计算的研究第七章,总结与展望,主要讨论了本文研究的成果,以及在研究中存在的不 足之处与作者后续要进行的提升工作。最后的致谢对在研究阶段给过作者
25、帮助的老师同学们致以深深的谢意。4第二章相关背景介绍第二章相关背景介绍在目前的人机交互领域,机器人面临着许多发展困境,为了达成真正的智能 化,儿童教育机器人需要有准确的情感计算能力,以及可以根据情感信息进行认 知计算的能力。在情感计算的过程中,多模态信息对其准确度又起到了至关重要 的作用,因此本章节主要介绍了儿童教育机器人领域相关的国内外技术发展,给 后续的社交提供了相关思路。2.1 社交机器人发展困境至1980年开始,每12个月,智能机器人的数量就翻一倍,在2020年,机 器人也变得智能和自动化。认知框架的发展让人机交互智能化成为可能,社会对 于社交机器人的要求也越来越高,希望机器人能尽可能
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 儿童教育 机器人 多模态 融合 情感 认知 计算 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。