言语的情绪韵律和情绪语义对听觉去信息掩蔽的作用_郑茜.pdf
《言语的情绪韵律和情绪语义对听觉去信息掩蔽的作用_郑茜.pdf》由会员分享,可在线阅读,更多相关《言语的情绪韵律和情绪语义对听觉去信息掩蔽的作用_郑茜.pdf(15页珍藏版)》请在咨信网上搜索。
1、 心理学报 2023,Vol.55,No.2,177-191 2023中国心理学会 Acta Psychologica Sinica https:/doi.org/10.3724/SP.J.1041.2023.00177 收稿日期:2022-02-09*国家自然科学基金面上项目:鸡尾酒会效应的关键性脑机制(项目批准号:31771252)。通信作者:杨志刚,E-mail: 177 言语的情绪韵律和情绪语义 对听觉去信息掩蔽的作用*郑 茜1 张亭亭1 李 量2 范 宁1 杨志刚1(1河北大学教育学院,保定 071002)(2北京大学心理学系,北京 100871)摘 要 言语的情绪信息(情绪性韵律和
2、情绪性语义)具有去听觉掩蔽的作用,但其去掩蔽的具体机制还不清楚。本研究通过2个实验,采用主观空间分离范式,通过操纵掩蔽声类型的方式,分别探究言语的情绪韵律和情绪语义去信息掩蔽的机制。结果发现,情绪韵律在知觉信息掩蔽或者在知觉、认知双重信息掩蔽下,均具有去掩蔽的作用。情绪语义在知觉信息掩蔽下不具有去掩蔽的作用,但在知觉、认知双重信息掩蔽下具有去掩蔽的作用。这些结果表明,言语的情绪韵律和情绪语义有着不同的去掩蔽机制。情绪韵律能够优先吸引听者更多的注意,可以克服掩蔽声音在知觉上造成的干扰,但对掩蔽声音在内容上的干扰作用很小。言语的情绪语义能够优先获取听者更多的认知加工资源,具有去认知信息掩蔽的作用,
3、但不具有去知觉信息掩蔽的作用。关键词 知觉信息掩蔽,认知信息掩蔽,情绪韵律,情绪语义,主观空间分离 分类号 B842 1 引言 在日常生活中,对特定目标说话人声音的加工常会受到来自于其他声源信息的干扰,导致对目标声音加工的困难或失败,这种现象称为听觉掩蔽(auditory masking;Kidd et al.,2005)。已有研究发现,听觉掩蔽主要可以分为能量掩蔽和信息掩蔽两种不同的类型(Arbogast et al.,2002;Brungart,2001;Freyman et al.,2001)。能量掩蔽主要是目标与掩蔽声音在时间和频率上的重叠所导致的。在特定的时间窗口内,目标声音的特定的
4、频率成分在听觉外周系统(耳蜗和听神经)受到干扰声音的影响,目标声和掩蔽声的成分会共同激活耳蜗基底膜上的相同或邻近区域,导致目标声音在听觉外周的生理表征被破坏,从而导致其后续加工的困难或失败,因此能量掩蔽也被称为外周掩蔽(peripheral masking;Brungart,2001;Carlile&Corkhill,2015;Yang et al.,2007)。然而能量掩蔽并不能解释所有的掩蔽现象。大量研究表明,即使在听觉外周没有产生时频重叠的目标声和掩蔽声进入到听觉中枢系统后,由于掩蔽声和目标声在声学属性和语义内容方面的相似性,掩蔽声与目标声也会在听觉中枢竞争加工资源,造成听者对目标声音加
5、工的困难,这种掩蔽形式被称为信息掩蔽(Kidd&Colburn,2017;Scott&McGettigan,2013;Summers&Roberts,2020;Wilson et al.,2012;Yang et al.,2007)。然而,一个显见的事实是,听力正常的听者在如“鸡尾酒会”一样的嘈杂环境中,仍具有相对准确的识别目标语音的能力,显示出听觉系统具有很强的抗掩蔽性。这是由于听者能够利用多种线索帮助其对目标声音进行追踪,从而实现对干扰声音的克服(Cherry,1953)。例如,目标声和掩蔽声在空间位置上的分离(Culling&Mansell,2013;Glyde et al.,2013)
6、,对目标声音的熟悉感(Huang et al.,2009;Lu et al.,2018),目标声音的唇读(Wu et al.,2013;Wu 178 心 理 学 报 第55卷 et al.,2017)以及情绪信息等(Dupuis&Pichora-Fuller,2014;Lu et al.,2018)都被发现具有抗掩蔽的作用。在日常交流中,说话者的声音通常会带有某种情绪。这些情绪信息既可能体现在声音的韵律上,也可能包含在其语义内容中(Grass et al.,2016;Jaspers-Fayer et al.,2012;Mittermeier et al.,2011)。二者都会对语音的加工过程产
7、生影响。而且与字词的含义相比,声音的音调和节奏更能直接地传递情绪信息(Grass et al.,2016)。Dupuis和Pichora-Fuller(2014)分别考察年轻和年老的成年人在噪音背景下(multi-talker babble)对以7种情绪(愤怒,厌恶,恐惧,悲伤,中性,开心,惊喜)发出的单词的再认准确率。结果发现,目标声的情绪韵律确实会影响听者的再认,以恐惧情绪发出的项目的再认准确率最高,其次是以惊喜情绪发出的项目,然而,对以悲伤情绪发出的项目的再认准确率最低,其它3种情绪再认的准确率相似。Dupuis和Pichora-Fuller认为听者在噪音中对不同情绪下发出单词的再认行为
8、表现不同,可能是由于情绪声具有明显的可辨别的声学特征。他们根据先前有关情绪的研究,对整个情绪声音的响度范围、持续时间、F0的平均值和范围进行声学分析。结果发现7种情绪的F0平均值和范围(最小值和最大值之间的差)差异均显著。以恐惧情绪发出的刺激的F0的平均值最高,以惊喜情绪发出的刺激的F0的变化范围最大,而以中性情绪发出的刺激的F0不论是平均值还是范围均最小。这些分析表明声音韵律的去掩蔽作用可能主要是源于其音高等声学特征,较高的音高会优先在知觉上吸引听者的注意。然而,另一方面,有研究者认为低层的声学特征并不是导致情绪言语加工优势的唯一原因,情绪性信息本身可能为听者提供了一种趋近动机,使其能够更好
9、地在背景干扰声中检测特定目标声音的存在(Gordon&Hibberts,2011;Johansson,1997)。在近期的一项研究中,Lu等人(2018)在不改变目标声音声学特点的情况下,利用经典条件化范式将原本不具有情绪性的目标声音(中性韵律)与具有显著消极效价的女性的大声尖叫声匹配,从而使目标声音能够诱导出消极情绪。结果发现,经过情绪条件化的声音在信息掩蔽释放量上显著大于与中性声音匹配的声音。这说明即便排除了声学因素的影响后,具有情绪性的声音依然具有显著的去掩蔽作用。神经影像学 的研究发现 颞上皮层(superior temporal cortex regions,STR)是对声音韵律进行
10、表征的一个关键区域(Bestelmeyer et al.,2014;Ethofer et al.,2012;Grandjean et al.,2005)。杏仁核是对与危险有关的刺激进行加工的中枢结构。大量的研究表明与中性声音相比,生气声音会引起更大的STR和 杏 仁 核 的 反 应(Frhholz&Grandjean,2013;Grandjean et al.,2005;Sander et al.,2005)。Mothes-Lasch等人(2016)在以前研究的基础上使用功能性磁共振成像技术(fMRI)探究听觉背景的复杂程度和注意的聚焦点是否能够调节STR和杏仁核对于情绪韵律的反应。结果发现,
11、在颞上皮层中部,情绪效应会受到听觉背景复杂程度的影响,在复杂程度低的条件下,对生气情绪韵律发出的目标声音的反应更大;然而,在杏仁核和颞上皮层前部,情绪效应仅受注意的影响,只有将注意集中到韵律声音时,对生气情绪韵律发出的目标声音反应更大。这说明了在不同的脑区,对情绪韵律加工有不同的限制。这一结果也为情绪韵律具有去听觉掩蔽的作用提供了神经机制方面的证据。另一方面,言语中所包含的语义情绪信息具有加工优势,已经为大量研究所证实(Goh et al.,2016;Iwashiro et al.,2013)。例如,Goh等人使用词汇判断任务和语义分类任务考察单词语义的情绪效价是否对单词的再认产生影响。在词汇
12、判断任务中,要求听者尽可能快且准确地判断双耳听到的声音是词还是非词;在语义分类任务中,要求听者尽可能快而准确地判断双耳听到的单词在语义上是具体的还是抽象的。结果发现:在两个任务中,与中性单词相比,听者对消极语义单词和积极情绪语义单词的反应都更快。此外,Iwashiro等人(2013)使用具有情绪语义的单词诱导情绪。除情绪效价(消极、中性、积极)外,单词的唤醒度、优势度和词频差异均不显著;并且由合成的中性韵律发出单词,不同效价的单词的振幅和音高在平均值、方差和范围上差异均不显著。所有单词的呈现时间和RMS相同。使用双耳分听范式,左耳呈现消极、中性、积极单词,右耳呈现中性单词;或者相反。要求听者有
13、选择地注意左耳或者右耳,并且尽可能快地从屏幕上出现的4个单词中选择注意耳所听到的单词。结果表明,无论是否将注意集中在消极单词上,听者在有消极单词出现时的反应时间均显著长于两耳均呈现中性单词时的反应时间。这说明不论是在注意还是在非注意条件下,听觉呈现的消极情绪词都会占用听者第2期 郑 茜 等:言语的情绪韵律和情绪语义对听觉去信息掩蔽的作用 179 更多的加工资源。那么言语中所包含的语义情绪信息在有干扰的环境中是否也具有加工优势,可以起到去掩蔽的作用?如果有的话,其在机制上与情绪韵律线索的去掩蔽机制是否有所不同?如前所述,听觉掩蔽中包含着不同的成分,其中能量掩蔽不受认知、注意等高级加工的调节,具有
14、很强的不可逆性(Wu et al.,2007;Yang et al.,2007)。因此,言语的韵律和语义中所包含的情绪信息的去掩蔽作用很可能是主要作用于信息掩蔽而非能量掩蔽。但另一方面,信息掩蔽本身也可能有不同的发生机制。虽然很长一段时间内它都被当作一个行李箱词汇,但近年来已经有越来越多的研究者指出信息掩蔽中可能存在着不同的成分(杨志刚 等,2014;Carlile&Corkhill,2015;Cooke et al.,2008;Mattys et al.,2009;Watson,2005)。比如,杨志刚等(2014)认为信息掩蔽可以分为知觉信息掩蔽(perceptual informatio
15、nal masking)和认知信息掩蔽(cognitive informational masking)两种成分。知觉信息掩蔽是指掩蔽声音与目标声音竞争注意资源所导致的干扰;认知信息掩蔽是由掩蔽声音与目标声音竞争认知/言语加工资源所导致的。考虑到前面所提出的言语情绪韵律与情绪语义的特性,是否两种线索可以对不同的信息掩蔽子成分发挥作用?具体地说,具有情绪性韵律的声音能够更好地吸引被试的注意力,使其能够在混合的声音流中被追随,因而有利于克服知觉掩蔽;而目标声音中所包含的情绪语义信息则会因其特殊的生态学意义而得到中枢系统的优先激活,从而会有助于减少对其的认知掩蔽。因此,本研究拟探究言语的情绪韵律和情
16、绪语义在去知觉信息掩蔽和去认知信息掩蔽中的作用。从实际意义来看,在现实的交流场景中,不论是情绪韵律还是情绪语义,都是在交流中经常会出现的泛语言元素,了解这元素在交流中的作用和具体机制,对于提升日常交流的效能,以至于开发更为有效的人工耳蜗算法都有重要的启示。已有研究表明,对于英语和汉语目标语音的再认,当背景掩蔽声数量为2个时,造成的信息掩蔽量最大(Freyman et al.,2004;Freyman et al.,1999;Rakerd et al.,2006;Wu et al.,2007)。因此,本研究使用两个掩蔽声来模拟“鸡尾酒会”听觉条件。此外,时间逆转语句不具有语义可懂度,仅能够产生知
17、觉信息掩蔽;而正序的无意义语句具有一定程度的语义可懂度,既可以造成知觉掩蔽,也可以造成认知掩蔽。本研究使用这两种语句作为掩蔽材料,从而可以对知觉掩蔽与认知掩蔽的作用进行分离。主观空间分离范式利用优先效应能够使听者主观感知到目标声和掩蔽声来自不同的位置(虽然实际上目标声和掩蔽声播放位置相同),其主要释放信息掩蔽,对能量掩蔽影响不大(Freyman et al.,1999,2001)。因而,本研究引用主观空间分离范式探究情绪韵律与情绪语义线索去信息掩蔽的机制。2 实验1:情绪韵律的去掩蔽作用 实验1考察情绪韵律的去掩蔽作用。利用知觉空间分离下多个说话人声音掩蔽范式,分别在实验1a和实验1b中考察逆
18、序与正序言语掩蔽条件下目标言语的情绪韵律的去掩蔽作用。2.1 实验1a:逆序言语掩蔽条件下情绪韵律的去信息掩蔽作用 2.1.1 被试 研究1a的被试为26名听力正常的河北大学在校学生,其中男生10人,女生16人。平均年龄为19.85 2.15岁。母语为汉语,右利手。所有被试均通过纯音听力测试(听力计,Conera,GN OTOMETRICS A/S),具有正常且左右平衡的听力(左右耳相差不高于15 dB,在任何一个频率上不高于20 dB)。实验结束后,获得一定报酬。2.1.2 材料和设备 目标刺激为句法正确的汉语无意义句子(Yang et al.,2007),每个句子都包含12个音节。其中包括
19、三个关键成分:主语、谓语和宾语。这三个成分同样是三个关键词,每个关键词由两个音节组成,如“他的水道水道可能停放停放这个动脉动脉”。实验前由35名非实验被试对词汇(动词:571、名词:1091)的效价和唤醒度进行9点评分。动词、名词效价的有效评分者分别为26个和29个。所有的词汇材料均来自中文词汇数据库(CLD)http:/ et al.,2018)。选择效价评分为4.505.50,唤醒度相对较低的动词(182个,评分 6.00)和名词(364个,评分 3.51)作为中性词构成目标语句。之后所有目标语句均由同一个年轻女性(C)以不同情绪韵律(中性、开心)读出并进行录音,每句时长为3 s左右。录制
20、后的句子由20个人(女,10)对声音韵律的效价和唤醒度进行5点评分。结果表明,中性韵律的效价平均分为1.71 0.23,唤醒度为2.20 0.24;开心韵律的效价平均分为4.20 0.21,唤醒度为4.06 0.20。中性韵律和开心韵律180 心 理 学 报 第55卷 语句在效价和唤醒度上均差异显著效价:F(1,180)=5793.64,p 0.001;唤醒度:F(1,180)=3147.26,p 0.001。掩蔽刺激为2个说话人说出的时间逆转的无意义语句。逆序言语具有与正常言语相反的时间变化模式,但是能保留人们嗓音的特征,同样有谐波和共振峰结构。将两个女性(A和B)读出的句法正确的汉语无意义
21、句子,经Matlab程序在时间上逆转后,按照不同的实验条件进行随机等强度叠加,形成2个说话人的混合声音。时间逆转言语不具有语义可懂度,被认为仅能够产生知觉信息掩蔽(Yang et al.,2007)。所有声音信号都用声音编辑软件Adobe Audition以22.05 kHz的采样率数字化,并形成16-Bit的PCM波形文件。运用心理学实验软件Matlab对实验使用的刺激进行合成。目标声音在单耳耳机中的呈现水平为56 dB,以目标声的声压级为基准调整掩蔽声的呈现水平以得到规定的信噪比。实验时刺激由Matlab呈现。声音刺激由电脑声卡发出,通过双声道耳机(isk,HP-960B)呈现给被试。目标
22、声和掩蔽声均在左右两个声道中播放,在有主观空间分离的条件下,目标声在右侧声道中起始的时间领先其在左侧声道中的相同复本3 ms,而掩蔽声在左侧声道中领先其在右侧声道中的相同复本3 ms,如此使得目标声听起来是在右侧声道中发出,而掩蔽声在左侧声道中发出,两者有主观(知觉的)的空间分离;在没有主观空间分离的条件下,目标和掩蔽声均同时在左右声道发出,没有时间延迟。2.1.3 设计与程序 实验采用224的被试内设计。3个被试内变量及水平分别为:(1)主观空间分离(有主观空间分离、无主观空间分离);(2)情绪韵律(中性韵律、开心韵律);(3)信噪比(8 dB、4 dB、0 dB、4 dB)。每个被试共接受
23、16个实验条件,每个条件下有11个trials。根据主观空间位置关系和情绪韵律条件,将所有trials分为4个block,4个block的顺序在不同的被试间进行完全拉丁方平衡。4种信噪比水平在每个block中随机化。因变量为被试复述关键词的正确率。被试进入实验室后被要求坐于电脑前,头与电脑屏幕平行,不得随便移动。主试给被试讲解指导语,为确保被试能完全理解指导语并能正确跟踪目标语句,在正式实验之前被试会接受大约10分钟的练习。练习中首先在安静条件下呈现目标声音,让被试熟悉目标声音的音色;再给出几个练习试次进行练习。练习阶段使用的语句和正式实验阶段使用的语句均不同。练习之后进入正式实验。被试按下电
24、脑键盘的空格键开始实验。在每个试次中,掩蔽声音呈现1 s之后,目标语句呈现,并和掩蔽声同时结束。被试在每个试次结束后,要尽可能地复述整个目标语句。实验人员坐在被试旁,记录被试重复的关键词,每个关键词两个音节,复述对一个音节记一分。被试完成一个block之后,休息2分钟,再完成下一个block。整个实验持续大约40分钟。实验结束后主试对被试在每种条件下的识别正确率进行离线计算。2.1.4 结果与分析 首先,对所有被试在不同条件下识别目标句的正确率进行均值分析,描述统计结果见表1。表1 识别目标句的正确率(M SD)信噪比(dB)无主观空间分离 有主观空间分离 中性韵律开心韵律 中性韵律 开心韵律
25、8 0.29 0.160.39 0.14 0.46 0.19 0.50 0.164 0.55 0.180.66 0.15 0.71 0.16 0.71 0.190 0.76 0.160.80 0.10 0.87 0.08 0.86 0.094 0.93 0.040.90 0.07 0.94 0.04 0.94 0.04 对不同实验条件下的识别正确率进行3因素的重复测量方差分析(所有p值都经过Greenhouse-Geisser矫正),结果表明,主观空间分离主效应显著,F(1,25)=102.66,p 0.001,p2=0.80,有主观空间分离条件下的识别正确率(M=0.75,95%CI:0.7
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 言语 情绪 韵律 语义 听觉 信息 掩蔽 作用 郑茜
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。