人机交互：第4章 人机交互技术--5.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,4,章 人机主要交互技术,(,新一代人机交互技术,),情感人机交互的必要性,传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。,如果缺乏情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然。,人类之间的沟通与交流是自然而富有感情的，因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。,情感人机,交互,情感计算机是能够听、看和随时感知使用者需要的计算系统,情感计算（,Affective Computting,）就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。,随着计算和通信技术的广泛应用,人机和谐技术将会以多种方式出现。,举例来说,它就可以通过理解你所说的话语、你的面部表情、你的手势甚至你走路的姿态,知道你想要做的事情。,如果技术再先进一点,计算机,还能够意识到你所处的情境,譬如你在打电话,它就会自动调低电视机音量。此外,它还能够对你进行识别,记住你所喜欢的频道和你想录制的节目。,情感人机交互的意义,欧洲和美国的各大信息技术实验室正加紧对情感计算系统的研究步伐。剑桥大学、麻省理工学院、飞利浦公司等通过深入研究,“,环境智能,”,、,“,环境识别,”,、,“,智能家庭,”,等科研项目来开辟这一领域。实际上,自,1980,年代末以来,位于剑桥的一些研究团体就已开始对情感计算系统进行研究。现在,移动通信产业和娱乐业的发展正促使更多的研究团体和公司从其他领域转向这一领域。,国内研究规模较小,起步晚,2004,年基金委设重点项目,2003,年举办第一届学术会议,.,情感人机交互的研究情况,情感分析类型,基本情感，比如喜悦、愤怒、忧伤、惊奇、厌恶,不紧张,、,紧张,自然原点,高兴,赞同,期望,恐惧,生气,惊奇,厌恶,悲伤,情感轮,1,st,Level,Approach,Withdrawal,2,nd,Level,Joy,Interest,Anger,Distress,Disgust,Fear,3,rd,Level,Pride,Concern,Hostility,Misery,Contempt,Horror,Bliss,Responsibility,Jealousy,Agony,Resentment,Anxiety,Fox,情感,3,级分类模型,语音情感识别,语音情感分析是情感,识别的一种方式,其它,情感,识别手段,:,面部,情感,识别,肢体,情感,识别,生理,情感,识别,语音情感识别特点,语音是人们最直接的交流通道，人们通过语音能够明显地感受到对方的情绪变化,例如通过特殊的语气词、语调发生变化等等。在人们通电话时，虽然彼此看不到，但能从语气中感觉到对方的情绪变化。,优点,:,易于接受,相对准确,设备简单,使用方便,缺点,:,易受环境影响,语音情感识别,预处理,特征提取,参考模板,/,模型,模式,/,模型匹配,判决,语 音 输 入,语音情感识别系统框图,识 别 结 果,语音情感识别系统结构,训练,训练调整,对语音信号根据需要进行预处理，,提取跟情感相关特征信息，,根据这些特征进行分类，,最后得出识别结果,语音情感识别过程,国际上对情感语音的研究主要侧重于情感的声学特征的分析这一方面。,一般来说，语音中的情感特征往往通过语音,韵律的变化,表现出来。,例如，当一个人发怒的时候，讲话的,速率,会变快，,音量,会变大，,音调,会变高等，同时一些音素特征（共振峰、声道截面函数等）也能反映情感的变化。,语音情感特征,语音情感特征参数,研究发现，基音是语音情感识别中最重要的特征，其次是语音的能量，然后才是发音持续时间、发音速率等其它声学参数。,(1),基音频率,(2),能量,(3),发音持续时间,(4),共振峰,特征参数,意义,Rate,语速,音节通过的速率,Pitch Average,基音均值,Pitch Range,基音变化范围,Intensity,强度,语音信号的振幅方差,Pitch Average,基音的平均变化率,F1 Average,第一共振峰均值,F1 Range,第一共振峰变化范围,常用语音情感识别参数,生气,高兴,悲伤,恐惧,厌恶,语速,略快,快或慢,略慢,很快,非常快,平均基频,非常高,很高,略低,非常高,非常低,基频范围,很宽,很宽,略窄,很宽,略宽,强度,高,高,低,正常,低,声音质量,有呼吸声,胸腔声,有呼吸声,共鸣音调,有共鸣声,不规则声音,嘟囔声,胸腔声,基频变化,重音处突变,光滑,向上弯曲,向下弯曲,正常,宽,最终向下弯曲,清晰度,清晰,正常,含糊,精确,正常,情感与语音参数之间的关系,情感信息处理与语种密切相关,英语,日语等语音情感分析处理已有较多研究,汉语语音情感分析处理处于起步阶段,汉语语音情感分析处理必须结合自身特点,研究其处理技术,T,F0,F0 range,F0 rate,A,A,range,F1,F1,range,F1,rate,喜,+,+,+,+,+,+,+,+,-,怒,-,+,+,+,+,+,+,+,-,惊,-,+,+,+,+,+,-,+,-,悲,+,-,+,-,+,-,:,无明显变化,-:,减小,+:,增加,T:,发音持续时间,F0:,基频,A:,振幅平均能量,F1:,共振峰,汉语情感语音中特征参数变化情况,识别方法,识别方法种类繁多，如,K,最近邻方法、支持向量机、人工神经网络、高斯混合模型、隐马尔可夫模型等。,许多学者针对这些情感语音的特征，比较了不同的分类方法能够达到的不同效果，人工神经网络、主元分析法,GMM,方法等效果较好。,语音情感识别,进一步的问题,1),在素材范围上进行扩展,(,情感语音库,),2),利用语义的,语音情感识别,3),多模式,情感识别,