面向儿童教育机器人的多模态融合情感认知计算的研究.pdf

摘要随着信息技术的不断发展，人机交互，情感计算和社会科学领域也开始飞速 发展，学术界与公众也增加了对开发人机协作的社交机器人的兴趣。至1980年 开始，社交机器人的数目每年都成倍增长，儿童教育机器人也开始走进家庭使用 中。然而市场上销售的机器人，大多以单纯的游戏等娱乐功能为主，在人机交互 上主要采用单一的语言交互。根据调查，市面上的早教机器人尽管价格相对低廉,但是并不能完全令家长放心，不能给孩子全方位的陪伴与教育。因此针对该现状,我们提出了基于多模态信息的情感计算认知框架。该框架可以被应用于儿童教育 机器人当中，并结合心理学相关知识，辅助儿童在日常生活中的教育与陪伴。本文从情感计算与认知计算两个方面对儿童教育机器人进行了深入研究。对 于情感计算而言，多模态信息对于情感的捕捉是至关重要的，我们使用Intel RealSense对儿童的多模态信息进行获取，利用PAD模型对多模态信息进行融 合计算，将计算结果进行情绪空间映射获取儿童的情感状态；对认知计算而言，由于机器人的认知直接影响到与儿童交互时的行为决策，在情感计算基础上进行 认知决策可以起到提高准确率与真实性的作用。我们采用了 LSTM框架进行认 知计算，在交互过程中不断更新训练数据，做到机器人因人而异并随着儿童的变 化而变化。机器人行为决策后的交互输出是结合心理学知识而设计的，其目的是 提高儿童的情感识别能力，情感表达能力，对儿童教育起到一定作用。在论文的实验部分，我们招募了一批6/2岁的儿童进行了分模块测试与总 体测试，根据实验数据可分析出多模态信息提高了情感计算的准确度，而情感因 子在认知计算中帮助决策过程，可以让机器人与儿童交互更具有真实性，提高儿 童的社会情感能力。关键词：人机交互；情感计算；认知决策；教育机器人AbstractWith the development of informatics technology,the academia and the public are getting interested in developing collaborative social robots.Since 1980,the number of social robots has doubled every year.However,most of the robots in the market are merely designed for entertainment,such as games,and could only be interacted by a single modality of speech.According to the survey,although tlie price of early educational robots is relatively low,it cannot provide children with a full range of companionship and education.Therefore,in order to assist parents in the education and companionship of childrens daily lives,we propose a cognitive framework based on multimodal affective computing.We make research on children educational robots from two aspects:1.Affective Computing:we use Intel RealSense to obtain the users multimodal information,calculate the fusion data by the PAD model to get the users emotional state;2.Cognitive Computing:the LSTM framework is used for cognitive computing,and the training data is continuously updated during the interaction process,so that the robot can be customized according to the user*s own needs.The interactive output after behavioral decision-making is designed in combination with psychological knowledge,in order to improve the users ability to recognize emotions and express emotions,so that it could play a role in childrens education.We recruited a group of children aged 6-12 fbr sub-module testing and overall testing.According to the experimental data,multimodal information improves the accuracy of affective computing.And affective factors help the decision-making process in cognitive computing,which can make childrens interaction more authentic and improve childrens social emotional ability.Keyword:Human-computer Interaction;Affective Computing;Cognitive Computing Decisions;Educational Robot目录第一章雌.11.1 研究背景与研究意义.11.1.1 研究背景.11.1.2 研究意义.11.2 本文的研究思路和体系结构.21.2.1 研究思路与方法.21.2.2 论文结构.3第二章相关背景介绍.52.1 社交机器人发展困境.52.2 多模态信息.52.3 情感计算.62.4 认知模型.72.5 本章小结.8第三章基于多模态情感认知计算的儿童教育机器人.93.1 用户分析.93.2 版本迭代.103.3 框架介绍.123.4 本章小结.15第四章多模态情感计算.164.1 多模态信息获取与处理.164.1.1 非语言信息.164.1.2 语言信息.324.2 多疑信息的PAD 蝇.344.3 多模态情感计算.354.4 本章小结.39in第五章认知计算.405.1 适用于情感的认知模型.405.2 记忆模块设计.425.3 决策模型设计.475.4 决策训练更新.495.5 决策输出.505.6 本章小结.54第六章实验与测试结果分析.566.1 决策层准确度测试.576.2 决策模块验证.606.2.1 模型选择.606.2.2 认知模块验证.606.3 系融体测试.636.4 讨论.66第七章总结与展望.677.1 本文的研究成果.677.2 研究的不足之处.677.3 有待进一步研究的问题.68然文献.69攻读硕士学位期间取得的科研成果.72致谢.73IVContentsChapter 1 Preface.11.1 Background and significance of Research.11.1.1 Background of Research.11.1.2 Significance of Research.11.2 Research ideas and architecture.21.2 A Research ideas and methods.21.2.2 Architecture.3Chapter 2 Related Background.52.1 Development Dilemma of Social Robots.52.2 Multimodal information.52.3 Affective computing.62.4 Cognitive framework.7Chapter 3 Educational robots based on affective computing.93.1 User analysis.93.2 Version iteration.103.3 Introduction of framework.123.4 Chapter Summary.15Chapter 4 Multimodal affective computing.164.1 Acquisition and processing of Multimodal information.164.1.1 Nonverbal information.164.1.2 Verbal information.324.2 PAD mapping of multimodal information.344.3 Affective computing.354.4 Chapter Summary.39Chapter 5 Cognitive computing.405.1 Cognitive models applied for emotion.405.2 Design of Memory module.42v5.3 Design of decision model.475.4 Updates of decision training.495.5 Decision output.505.6 Chapter Summary.54Chapter 6 Analysis of Experiments and Test Results.566.1 Test of decision-level accuracy.576.2 Verification of decision module.606.2.1 Model selection.606.2.2 Verification of cognitive module.606.3 Test of system.606.4 Discussion.60Chapter 7 Conclusions and Future Works.677.1 Results of research.677.2 Shortcomings of research.677.3 Future Works.68References.69Research Achievement During Master Degree.72Ackonwledge.73VI第一章绪论第一章绪论1.1 研究背景与研究意义1.1.1 研究背景随着认知科学的发展，社交机器人领域也越来越受到重视。情境认知理论与 认知机器人的发展较为成熟。近年来，越来越多的科学家和技术人员在设计智能 机器人的认知模型方面取得研究成果。但目前已有的应用机器人的研究往往着眼 于如何控制虚拟人的行为，使虚拟人更加类人。但对于从交互对象的非语言行为 中理解其情绪、情感，将多模态信息进行融合计算的研究还较少。机器人通常通 过单一的决策模型进行行为的选择，而不能像人类一样受到情绪的影响。在社交机器人领域中，若陪护机器人可以通过用户的生理表现准确识别用户 当前的情绪状态及情感趋势，并以表情、动作及语言对用户进行交互回应，用户 的交互沉浸度会大大增加。目前已有的情感计算通常基于面部表情或语言来进行,而缺少多模态信息的输入来对用户情感进行一个更为全面的分析。本课题在已有的机器人情感计算体系及信息融合的基础上，针对社交机器人 的应用场合和用户群体，构建了基于多模态情感表征的情感计算方法，将心理学 原理运用到机器人的情感计算体系里，使机器人能够更清晰地了解人类的当前情 感状态，并进行后续的人机交互。在获取用户的情感信息后，利用和人体生物学 相关的长短期记忆方式来进行认知计算，将正确的用户交互的内容存储于机器人 大脑中，增加认知的准确性。同时利用心理学知识，对用户进行情绪引导，设计 一系列可视化交互，提供可玩性与学习性。1.1.2 研究意义基于多模态融合情感计算的认知框架有很深的理论价值与应用价值。（1）加深多模态信息在情感表征中的相关理论，提高该领域的理论结构。情 绪的表达方式有很多种，单单依靠语音信息或者非语言信息是无法准确获取用户 情绪的。如何正确的获取多模态信息并将其进行融合计算，在业内并没有很准确 的认识。本研究可以为该领域提供一种思路，能够进一步丰富其理论知识，帮助 构建更全面，系统的体系。面向儿童教育机器人的多模态融合情感认知计算的研究(2)基于长短期记忆的认知框架，根据人体学知识，将长短期记忆进行分类,减少数据的冗余，在认知计算领域提供一种计算方式。(3)有助于人机交互领域的发展。在人机交互领域中，情感计算和认知计算 两个领域都是被重点关注的，情感计算加强用户的交互体验，认知计算使得机器 人更加类人化，提高用户与其交互的可能性。现阶段，这两个领域的研究都不算 是深刻，本课题提出的方法能为其提供一种思路。(4)社交应用。随着二孩政策的开发，有许多二孩家庭的父母没有时间陪伴 孩子，该框架可适用于2-6岁儿童，对其进行陪伴与教育。在父母无暇陪伴过程 中，机器人辅助父母完成对儿童的情绪引导作用。因此基于多模态情感计算的认知框架不仅在理论研究上有重大意义，同样在 社会应用中也有着其价值。L2本文的研究思路和体系结构为了准确的把握项目的开发研究方向，在研究了国内外基于情感计算研究方 法的相关文献后，对现有的社交机器人存在的缺点与不足进行对比分析。希望提 高机器人在社交领域尤其是儿童教育机器人领域的使用，本文提出了基于多模态 信息融合情感计算的认知框架，该框架可应用于儿童教育机器人当中，起到很好 的陪伴与教育作用。1.2.1 研究思路与方法在多媒体情感交互方面，我们观察到以下事实，并针对其提出了研究方法。(1)情感信息在人机交互中起到了重要作用，情感是人类固有的一种特质。在人机交互中，机器人若无法捕捉用户情感，则该互动就无法达到真实效果，给 不了用户沉浸感。(2)多模态信息能够更准确的获取用户的情感信息、。单模态信息仅仅是人机 交互中的某一小部分信息，无法完整代表用户。多模态信息来源于用户，能够更 准确的代表用户状态，如何获取用户多模态信息是至关重要的。(3)认知框架是认知机器人中的重点，如何做到因人而异，随着用户的改变 而改变是至关重要的。由于用户表达情感的方式不同，需要的交互场景也不一样，因此，认知框架需要随着用户而修改，不能一成不变。2第一章绪论根据上述的研究思路，本文提出了基于多模态信息融合情感计算的认知框架 这一主题。主要分为了两个部分，一为情感计算，二为认知计算。对于情感计算 主要包括了获取用户信息以及将多模态信息进行融合，认知计算则包括了基于情 感信息的决策以及决策训练的更新。首先，利用捕捉设备获取用户的多模态信息。其次，通过分析各个模态信息的不一致性，确定情感融合的方式，利用PAD心 理学模型对用户信息进行融合，获取最终的情感状态；再次，根据人体生物学知 识，使用长短期记忆对认知框架进行设计，在根据用户的不一致性设置认知模型 的更新训练，做到因人而异。1.2.2 论文结构本文对提出的基于多模态信息情感计算的认知框架进行了具体介绍，本文一 共7个章节，各章的主要内容如下。第一章，绪论，介绍本文的选题背景与意义，讨论了在各个领域该研究方向 的作用，并介绍了文章的研究思路与研究方法。第二章，相关背景介绍，主要介绍了社交机器人领域的相关知识，阐述了现 有社交机器人的缺陷，并介绍了国内外关于多模态信息处理与认知计算的相关内 容，为进一步论文的展开提供了基础。第三章，基于多模态情感认知计算的儿童教育机器人，整体介绍了本文提出 的儿童教育机器人框架。本文提出的技术框架包括了三个部分为多模态信息融合 计算，认知计算与交互输出，其具体的内容将在后续章节中一一介绍。第四章，多模态情感计算，介绍了多模态信息的获取与处理以及情感计算方 式。主要方式为在获取多模态信息之后，在其不同的通道中对信息进行预处理。利用PAD情感模型对其进行了融合计算与情感空间映射，获取用户的最终情感 状态。第五章，认知计算，主要介绍了认知框架中的核心，认知计算。本文利用了 LSTM模型对用户进行决策输出，根据上文提到的所获取的情感信息，进行认知 决策，将输出用户反馈，该反馈包括语音，表情以及可视化输出。第六章，实验与测试结果分析，主要介绍了系统的各部分是如何进行工作，并对其进行了实验，实验包括了决策层准确度测试以及系统整体测试。3面向儿童教育机器人的多模态融合情感认知计算的研究第七章，总结与展望，主要讨论了本文研究的成果，以及在研究中存在的不 足之处与作者后续要进行的提升工作。最后的致谢对在研究阶段给过作者帮助的老师同学们致以深深的谢意。4第二章相关背景介绍第二章相关背景介绍在目前的人机交互领域，机器人面临着许多发展困境，为了达成真正的智能 化，儿童教育机器人需要有准确的情感计算能力，以及可以根据情感信息进行认 知计算的能力。在情感计算的过程中，多模态信息对其准确度又起到了至关重要 的作用，因此本章节主要介绍了儿童教育机器人领域相关的国内外技术发展，给 后续的社交提供了相关思路。2.1 社交机器人发展困境至1980年开始，每12个月，智能机器人的数量就翻一倍，在2020年，机 器人也变得智能和自动化。认知框架的发展让人机交互智能化成为可能，社会对 于社交机器人的要求也越来越高，希望机器人能尽可能了解用户，能够与用户进 行情感交流。如果将准确的情感计算应用于社交机器人，可以大大提高机器人的 情感认知能力，从而给用户带来真实自然的人机交互体验。2016年，Ibrahim A 开发的一种基于自然语言处理的社交智能机器人，同年，Michal Luria等人提 出的智能家居机器人可以通过语音与触摸控制来完成交互，但是仅仅是基于语 言信息的情感计算远达不到良好人机交互的需求。2016年研制出的机器人 Sophia内,能够进行语音识别和面部识别，但也未达到社交机器人，特别是陪护 与教育机器人针对交互对象情感体察的能力。目前，机器人情感认知还面临着获 取的信息模态单一、情感计算的准确率不高、不完整的情感交互信息制约了机器 人的实时决策的准确性、不能针对不同交互对象达到准确的个人情感计算与行为 认知决策等问题。机器人的认知决策过程也需要根据用户的喜好，进行更新与迭 代141。机器人的发展若不能满足用户需求，那么其就算不上是合格的助手，如何 将情感信息结合进机器人的发展过程中，是当前面临的一个巨大问题。2.2 多模态信息在人机交互领域，多模态信息的应用慢慢被重视起来。多模态信息更能体现 用户的当前状态与用户需求，结合多模态信息能够给用户提供强有力的，灵活性 高的，具有适应性的以及更自然的用户交互。多模态信息包括了语言信息与非 5面向儿童教育机器人的多模态融合情感认知计算的研究语言信息，语言信息又包括语言内容，语音，语调等，非语言信息包括了面部表 情，身体姿态等。在用户交互中，用户情感的表达往往更依赖于多模态信息，而非单模态网。因此如何获取信息并将其进行融合也是该领域一项重要的研究。对话语言是在人机交互的众多方式中的一种，我们可以看到有很多机器人目前只 使用某一种单一的模态进行交互，例如Nieto,Diego等人开发的社交机器人仅仅 利用语音对话来指导用户旅游路线，给用户并不真实的用户体验阴。一些仅仅通 过语言，甚至只能通过按钮的交互方式，达不到用户需求，不能给用户舒适的交 互体验。我们可以了解到由于单模态的局限性,交互过程中获取的信息并不完整，缺乏非语言或语言信息数据会影响交互的顺畅性和真实性，必然在交互过程中，会遗失很多重要的信息，使人机交互不那么自然，而多模态信息的融合可以提供 补充信息并提高整体决策过程的准确性“】。在人机交互过程中，用户的语言信息 和非语言信息都包含着情感因子，这些信息在不同通道中，但是都能传递给对方。单独对语言信息进行分析，并不能准确的获取到用户的完整状态，某一种非语言 信息同样获取不了信息的完整度，给不了用户良好的用户体验。而多模态信息的 获取和融合，能完整获取用户状态。为了增强人机交互的社会需求，2015年，Asier Lopez-Basterretxea等人提出 了一种新的交互模式，使用平板电脑上自带的摄像头进行眼球运动以及手势运动 的捕捉，通过眼动或者手部动作来控制某些特定的APPUL2016年。Yang,Kailun 等人提出了利用RealSense的新交互方式来对视障者进行可穿越区域进行检测，这种交互因为设备的更新带来了新的体验1。我们可以知道，在人机交互过程中,准确的信息获取,才能给出准确的判断,给用户正确的反馈,提高用户的体验感。如何将多模态信息进行融合计算是现在计算机科学领域重要的新兴课题,它可能 应用到的语句分析，情感识别，语境分析，人体追踪，图像识别，视频分类等多 种应用。多模态融合需要将多个通道中的不同数据进行一个提取与处理，利用一 种或多种算法完成融合，情感计算则是通过融合后的数据结果进行计算，决策出 最终的情感状态。2.3 情感计算情感计算在人机交互中是一个巨大的挑战，而情感信息在人机交互中帮助机 6第二章相关背景介绍器人了解用户意图，可以提高用户的体验感，情感计算的准确度也至关重要口叫 情感计算的研究和开发可以让设备识别，解释，处理和模仿人类情感，了解情绪 是对重要的内部和外部事件的反应口例均。情绪和情感可以帮助人们学习，交流，做出决定并提高态势意识【。在认知机器人领域中情感计算能够提高人机交互 中的用户体验，而利用的情感模型也决定了情感计算的准确度。为了加强机器人 情感认知的能力，很多研究都将心理学的情感模型应用于机器人的情感计算中。Mehrabian 提出了一种三维空间理论 PAD(Pleasure,Arousal,Dominance)来描述 情绪状态口刀。其中，P-Pleasure表示个体情绪状态的正负特征;A-Arousal表示个 体的神经生理活化；D-Dominance表示个人对局势和其他人的控制，利用这三个 维度的数据对用户情感进行计算。PAD模型描述的情绪可以从情绪维度空间获 得，用于描述情绪的维度空间是渐进和稳定的，非常适用于连续的人机交互的情 感计算。由于情感状态不是一个离散的数值，PAD模型可以空间区域中表示情感 的变化，更准确的表达出用户情感状态。另外，Ortony,Clore和Collins提出的 OCC模型【网，将情绪定义为价值反应，即基于感知事物的好或坏的情感反应，通常被使用来对语言信息进行处理，包括了语义与语音处理。但是，OCC模型 所表达的情感信息为离散的情感信息，并不直接适用于人机交互中机器人对交互 对象的连续的情感认知的需求。提高情感计算的准确的才能在后续的认知计算中,提高决策的准确度。2.4 认知模型社交机器人想要模拟人的大脑，就需要有其认知功能。人类的大脑可以通过 感官来获取外界信号，感官包括了视觉，听觉，触觉等。在获取到这些表层信息 后，人脑可以处理出深层信号，了解到用户的情感状态以及要表现出的深层含义。认知计算在社交机器人上也展现其重要性，越来越多的研究学者也进入了该领域。近年来，越来越多的科学家和技术人员在设计智能机器人的认知模型方面取得研 究成果，不同的认知框架也被应用于社交机器人。众多学者提出了一些认知框架，例如John R.Anderson设计的一种ACT认知架构”到，他的研究结合了长期记忆 和思维过程的相关知识。CLARION是一个综合体系结构，由许多不同的子系统 组成，每个子系统具有双重表示结构，它的学习可以分别用显性知识和隐性知识 7面向儿童教育机器人的多模态融合情感认知计算的研窕来表示，同时也可以表示自下而上和自上而下的学习2。对于用于教育的儿童机 器人来说，现有的认知框架存在着以下的缺陷，大部分的模型没有结合心理学的 知识，因此很难做到完整的人机交互；还有一些模型混合了各种概念，但是丝毫 没有什么帮助；有些模型在一些领域适用，但是去不适用于人类的交互中。Bellas 提出的认知结构称为多层级达尔文大脑认知结构(Multilevel Darwinist Brain,MDB)MDB模型最初主要应用于物理行为设计实验，对外界环境进行认知 并做出一系列决策，而没有考虑到基于人类的情感做进一步设计与验证，并不完 全适用于社交机器人的认知计算。拥有认知功能的机器人能更好的完成用户交互，提高用户的参与感。人体功 能学科表示用户的长期记忆是经过训练后才从短期记忆中保存的，认知框架利用 该方式更符合其结构，如何提高认知计算的准确度，也是该领域的重要方向，利 用深度学习进行数据训练，将多模态信号处理后保存为深度数据，用于后续的交 互过程，保证数据准确性，交互完整性。由于现有的认知模型缺乏对多模态信息 获取与处理部分，没有对情感进行结合，因此我们认为需要利用多媒体信息进行 情感融合计算。2.5 本章小结本章对社交机器人的发展困境进行了分析，列出了现有的社交机器人对于儿 童教育的不足性。同时介绍了与本系统框架相关的领域技术,包括了多模态信息，情感计算与认知计算。这些领域上的国内外技术发展，为我们的后续工作提供了 借鉴与指导。8第三章基于多模态情感认知计算的儿童教育机器人第三章基于多模态情感认知计算的儿童教育机器人本章主要介绍了社交机器人领域的快速发展带来的便利，并对其应用领域进 行了分析，了解到在儿童家庭中，需要这样一款基于情感的儿童教育机器人。在 此基础上，文章对机器人进行了深度研究，迭代出不同版本的机器人，逐渐符合 用户的社交需求。同时本章还介绍了机器人的整体框架，为了达成教育机器人的 目的，该框架由情感计算，认知计算以及交互输出三个部分组成，希望在家庭生 活中，机器人能够辅助家长起到陪伴与教育作用。3.1 用户分析社交机器人在近20年以来发展迅速，它的定义为“是一种自主机器人，能 够遵循符合自己身份的社交行为和规范，与人类或其他自主的实体进行互动与沟 通”，而现在市面上在普通家庭中较为流行的机器人有“小度”机器人，扫地机 器人，WIFI早教机器人等，这些机器人无法满足儿童交互过程中的需求。众所 周知，儿童机器人存在着一系列的问题，而这些问题又是刻不容缓需要被解决的，例如交互内容不够新颖，交互方式无法被儿童接受，没有抓住了用户需求痛点，这些问题不解决的话，用户就没有办法完整与自然的和机器人进行交互。然而，据市场调查，市面上的幼教机器人能做到的仅仅是“讲故事”、“跳舞”等，在交 互过程中调用在系统中设定好的基础动作，这并不能很好的辅助家长进行儿童教 育。同时在用户交互过程中，现有的机器人也只能识别到用户的一些言语表达，不能获取用户的深层信息，更不能获取用户的情感变化，那么它又如何能够将教 育与陪护相结合呢？因此，市面上的早教机器人和机器人并不能完全令家长放心,不能符合用户心理需求，尽管价格相对低廉，但是不能给孩子全方位的陪伴与教 育。因此社交机器人在家庭对智能教育、深度学习的需求缺口也相对较大，在儿 童陪护中需求缺口较大。本文提出的基于多模态信息融合情感计算的认知框架，可以适用于儿童教育 机器人中，该儿童教育机器人适用于6-12岁儿童，符合儿童在日常生活中的需 求，起到辅助家长的陪护和教育作用。本文基于用户在与机器人交互过程中需要 的情感信息，提出了基于多模态信息融合的认知框架，多模态信息融合计算可以 9面向儿童教育机器人的多模态融合情感认知计算的研究获取到用户的准确情感信息，在后续的交互过程中，才能带给用户沉浸感，给用 户更好的用户体验。3.2 版本迭代在不断的研发与测试之后，根据用户调研与实验，产品在持续进行升级过程,不仅从外形到内置结构以及算法设计等都进行了升级，我们设计了三代儿童教育 机器人，下面对其进行介绍。(1)第一代：Shirley机器人Shirley机器人是利用机械骨架以及Surface Pro笔记本电脑搭建的一个虚拟 形象。角色是利用Maya建模工具，以小女孩的形象为原型所设计出的。Shirley 拥有传统的机械骨骼加上一台平板电脑来展示其整体姿态与面部，利用Maya的 相关插件对人物的表情，口型，身体动作进行设计，并引用了外部语音库来实现 人物的语音输出功能。Shirley在交互过程中可以通过运动自己的身体来寻找交 互对象，可以对用户进行语音交互，在认知决策中完成交互反馈，其交互方式与 外观如图3-1所示，利用Intel RealSense获取用户的多模态信息，将信息传入云 端服务型进行处理，将形象的表情，语音，姿态输出显示在Surface,将动作输出 在机械框架上，使其进行运动。Multimodal InputIntel RealSenseCloudSer ver图3-1：Shirley机器人框架10第三章基于多模态情感认知计算的儿童教育机器人(2)第二代：Babe机器人对于第一代机器人的开发，我们进行了相关的测试研究，发现金属质感外形 的机器人并不能很好的吸引儿童的喜好，尤其是在起陪伴作用下，儿童更倾向于 毛绒外形。在儿童交互过程中，一代机器人也无法完成很好的互动。因此第二代 机器人便迭代而成。系统的硬件设备包括了 Microsoft Surface Pro笔记本电脑、Intel RealSenseSR300摄像头、云端服务器。本次迭代对外形进行了整体的改造，设计了一款毛茸茸的小羊形状的外壳，如图3-2(a)所示。为了交互的实时性,摄像头IntelRealSenseSR300实时捕捉用户的多模态信息，包括用户表情、手势、语言等信，将信息进行融合情感计算，并将情感计算的输出结果传递到云端服务 器进行认知决策，输出的交互内容在Surface Pro上进行显示。本次更新也添加 了新的交互模式，如图3-2(b)所示，利用心理学知识设计了一系列符合儿童情 绪引导的交互游戏，如“黑暗森林”，“生气汤”等等，这些交互在认知决策后会 输出到该Surface Pro上，让儿童进行交互互动。图3-2：Babe的外形设计与交互游戏(3)第三代：Emot机器人第三代机器人是在二代的基础上重新设计的一款机器人。Emot是一个具有 粉色可爱外形的机器人。Emot是一个活泼开朗的儿童伙伴，它的硬件设备包括 了内部的骨架结构以及一台尺寸为12cm*7.5cm的显示器，如图3-3(b)所示。而外壳是一个自主设计的粉色生物，如图3-3(a)所示。Emot将结合第二代机 器人babe 一同实验，它具有的三大大创新功能为情绪识别，情绪记录和情绪引 11面向儿童教育机器人的多模态融合情感认知计算的研究导，他们将共同陪伴儿童成长。Emot在陪伴儿童的过程中，利用摄像头获取用 户的多模态信息，并进行融合计算，获取用户的情绪。在认知决策之后，通过语 音互动，表情互动以及其身体姿态的互动，让儿童学会认识自己的情绪，表达情 绪与舒缓情绪。而Babe机器人的作用则是输出交互游戏，在儿童进行交互互动 的时候，Emot在一旁起到辅助作用，提醒用户操作，以及陪伴儿童一起完成游 戏互动。Emot具有的新功能也包括了它能够模仿小朋友当下的表情，让儿童清 晰的认知到自己的情绪，Emot具有的表情库如图3-3(c)所示，这些表情在交 互过程中也会随着交互进程而进行变化。Emot拥有可爱的毛绒外表，有可爱的 发音，是由项目成员自主配音完成，它会调皮的眨眼睛，会寻求拥抱，会对小朋 友的陪伴表达出愉快、喜悦的情绪。(a)外形(b)内部结构(c)表情设计图33：Emot的外形设计，机械结构，表情设计3.3框架介绍即使在技术高速发展的现在，社交机器人的研究与开发还处于起步阶段，无 论是针对机器人的机械部分的研究，还是情感计算与认知模型的设计，都还存在 许多不足与改善的空间。不同的机器人有着其不一样的智能，一些是用于危险作 业的机器人，这就要求其工艺精准度，运动完成质量高，而另一些用于儿童陪护 的机器人，就需要能够和用户准确交互，了解用户行为，给用户积极正向的反馈。因此，本课题提出的理论是基于儿童陪护及教育领域的机器人框架设计。该理论 12第三章基于多模态情感认知计算的儿童教育机器人围绕着情境认知中的机器人与人的社交行为这一主题进行展开，而另一方面围绕 基于情感的认知计算模型进行方法研究。该基于情感的认知框架在设计与实现的 过程中，尽可能将计算模型的实现与社交机器人的功能需求相结合，尽可能在实 际生活中，能够将该框架利用到儿童教育机器人中，使其能够辅助家长完成儿童 陪护与教育的功能。本文描述了结合情感计算和认知计算的儿童教育机器人设计理论，并对其进 行验证。该儿童教育机器人系统框架如图3R所示，由三个部分组成，其中包括 多模态信息融合情感计算模块、认知计算模块以及交互输出模块，本文将对其进 行具体介绍。多模态情感计算模块，分为两个部分，其一是多模态信息采集，该部分采用 交互设备(Intel RealSense)实时捕捉与机器人交互的人的语言类信息以及非语言 类信息，并构建不同信息的处理通道进行特征分类与识别处理。例如，针对非语 言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的 识别；对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征分析。其二是情感计算部分，在该部分，将获取到的多模态信息利用PAD与OCC模 型进行处理，将各个模态的PAD值进行融合计算，获取最终的PAD值。然后通 过计算最终的PAD值与情感中心的距离，获取用户当前的情感状态，并输出到 认知模块中。13用户识别创阿侬 用户获取用户 两关信息空棒专优招处注语信语音分析自然电处理Affective Computing学喂志僧总惚熟计算栈烘id忆相焕周期i己忆,(STM)长期汜忆(LTM)图认知跳模块:整体框架介绍14交互猫出懂决第三章基于多模态情感认知计算的儿童教育机器人认知计算模块包括了情境记忆模块、进化器模块以及行为选择器模块。在该 模块中，通过情感计算模型获取的情感状态值以及用户信息，认知模块进行认知 计算，通过行为选择其进行交互输出的判断，将交互的内容输出到交互面板中。该部分，提供和给用户因人而异的交互，模型需要通过不断学习，针对用户对认 知模型进行优化，使模型更为贴近交互对象的认知。在情境记忆模块中，模型与 情景记忆模块进行交互，为机器人行为决策模块提供支持，构建具有适应性特点 的认知体系，得到更合理的情境社交反馈行为，完成决策过程。该部分使用长短 期记忆进行交互的更新与迭代，短期记忆主要用于缓存当前情境等时效性较短的 信息，而长期记忆用来存储经过验证的良好情境、用户信息、有效模型等时效性 较长的信息。在进化器模块中，短期记忆中的数据在特定情况下能够进入长期记 忆，参与后期的交互决策过程。该模型在交互过程中完成自动更新迭代，提高交 互的稳定性与准确性。认知模块在整个机器人框架中起到至关重要的部分，通过 上一部分获取的情感状态，给用户一个用户需要的反馈，提高用户的参与感与满 足感。交互输出模块由两个部分，一是语言交互，二是可视化互动交互。在输出面 板中，用户不仅仅可以与机器人进行对话，看到机器人面部表情，听到机器人可 定制化的语音，看到机器人姿态运动的变化，也可以和机器人进行交互游戏。本 文结合了耶鲁大学设计的RULER情绪理论中的五个部分，包括识别情绪，了解 情绪，标记情绪，体验情绪以及调节情绪，将这五个部分结合到了我们的交互设 计中，设计了一系列的交互互动，例如“草地沙盘”，“认知情绪”，“生气汤”等，结合了心理学的互动游戏，可以通过对话或者交互游戏的方式去引导用户的情绪。3.