多模态话语分析理论及在外语教学中的应用.pdf
《多模态话语分析理论及在外语教学中的应用.pdf》由会员分享,可在线阅读,更多相关《多模态话语分析理论及在外语教学中的应用.pdf(82页珍藏版)》请在咨信网上搜索。
1、多模态话谙分析理论及在教学中的应1*L引言*2.理论基础 3.符号资源 4.多模态设计 5.多模态语法*6.模态之间的关系*7.模态选择及用途*8.多模态读写问题与不足*10将来的研究2过1.引言多模态性在历史上没有受到人们的重视;在现代语言学研究中M被看作非语言特征和伴随语言特 征;一种语言的辅助表达系统,没有作为意义表达模态来 研究。口多模态产生的原因:口(1)是话语分析理论发展的一个历史阶段:人们发现话语 的意义很大一部分是由非语言特征实现的0口(2)人类话语越来越多模态化:多媒体和网络的产生促进 了多模态话语的研究;人类的交际过程需要听觉、视觉f Y 触觉并用在二些领域工交际的主模态已
2、经由语言转为国 像或其它模态,网页、电影、画展等。苞.1多模态话语分析研究1.最早的研究者之一是RBarthes,在他1977年发表的论文图像的修 辞(Rhetoric of the image)中探讨了图像在表达意义上与语言的相 互作用。另外几个主要的研究者包括:您 Kress,G and van Leeuwen,Te(1996;1998;2001;2002)研究了模态 与媒体的关系,专门探讨了多模态现象规则地表达意义的现象,包括 视觉图象、颜色的语法,以及报纸的版面设计和不同媒介的作用等。3e OfHalloran,K.L.(1999a;1999b;2000;2003;2004)不仅研究多
3、模态 的理论建构,还专门研究了数学语篇中的多模态现象。5.Royce,T.(1998a;1998b;2002)研究了不同符号在多模态话语中的互 补性,以及在第二语言课堂教学中多模态的协同性等。口 还有其他许多研究者:Jewitt 2008;New London Group(1996);Lefllke,lBjadimrek及Martin(2010)。一 L4T L2 模态与媒体(Mode vs medium)模态(modality)来自于mode/model(方式、模式),表示可 对比和对立的符号系统;口媒体是符号分布印迹的物质手段,如产生语篇采用印刷的或 手写的手段,说话时发出的声音,身体的动
4、作,或计算机显 示器上的光脉冲(Scollon&Levine 2004)o口我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态,但眼、耳、手、舌、鼻则是媒体。口这样,模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。V_ _ _ L J5DjLe3 单模态(monomodkdity)vs 多模态(multimodality口单模态是只通过一种模态进行交际活动的现象,如说话、听 录音、读书。前者为通过听觉模态;后者为通过视觉模态。多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bemsen 2002)。我们每天在看报纸、杂志、广告、招 贴画、故事书、教科书
5、、活页文选、百科全书、说明书、计 算机界面时,甚至在我们相互交往时都离不开多模态。我们 谈话时手舞足蹈,有声有色,也意味着使用了多模态。多模态话语:运用听觉、视觉、触觉等多种感觉,通过语 言、图像、声音、动作等多种手段和符号资源进行交际的现 象。Y6(E 2.理论基础 多模态话语分析理论的基础是社会符号学口索绪尔m能指(signi行eT)所指(signi行ed)。只研究个体符号的特性;只研究“Langue,不研究parole”。皮尔斯发展了符号范畴:图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把所 指行为作为实例,
6、并把社会的所指实践作为经常的、可重复的、可识辨 的类型。社会有意义的实践构成各种文化(社会符号系统)。符号系统是 对这些实践的抽象(如从言语得到语言符号)。口 Saussure Langue口 PierceParoleHallida7口社会符号学没有必要区分理论符号学和应用符号学,它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。口再者,它也回答了索绪尔符号学所难以摆脱的一个悖论M这个理论一方面把语言看作是静态的不变的,另一方面又不得不承认”所指的变化导致概念的变化费,“思想可能被迫接受符号的 物质状态给它提供的特殊方式给(Lemke 2005)。这说明语言结构底层
7、的常规是不固定的,而是受到实际言语的影响。(Beaugrande 1991:2 27)。口社会符号学把语言看作众多符号之一,各种符号系统都 以社会交际,体现讲话者的意义。这样,交际就是多模态IyTo8c工3.符号资源口符号系统实际上是符号资源(semiotic resource)系统,人们通 过可识别的、多半是习惯性的(有时是原创的)方法从这些资 源中选择,就可以进行有意义的活动(Lemke 1993)。所谓习惯性的方法指可确认的符号架构(semiotic formations),是一个社团中的成员同时采用一些符号资源形 成的经常的、可重复的、可识别的、有意义的、文化的和历 史的特殊符号类型。
8、如某一时期的文学语类是符号架构。同 样,建筑风格、房子类型、宗教仪式、特定节日、饮食、衣 着的特定样式都可以定义为可行动的有规律的范式,对社会 是有意义的实践的范式。9口 Kress(2001)认为,所有的模态(视觉的、姿态的、动作 的),像语言一样在社会使用过程中共同形成社会资源的 模态(Halliday 1985,Kress 1997)。口传统上书写和口语的模态强调语言方面,而把其他资源,如 姿势、语音音律、注视、动作等看作是“副语言的不把这 些看作是能与语言同时作用的完整的符号资源。多模态话语 分析把它们提高到相同的层面。1_10 媒体资源的分类(1)语言与非语言 张德禄(2009)对媒
9、体的类别根据是否语言和是否身体的对 外语教学中的媒体系统做了归类:非语言媒体 表达意义的非语言媒体包括交际者的肢体动作和交际者在意 义表达中所使用的非语言手段,如工具、环境等。.11r口肢体媒体,Q)与头部有关的动作,包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、饬心的表情、嫉恨的表 情、凝重的表情、大笑、毗牙咧嘴以及鼻子和耳朵的动作 形成的媒体符号等。口(2)由手臂和腿形成的媒体符号,包括手势,手臂的状 态、形成的形状、摇动等,腿的并立、踢跳、弯伸等。口(3)躯干的动作,如姿势、移动、摇摆、模拟等。.12 非肢体媒体 主要包括工具和环境两个方面。随着现代科学技术的发展,交际者肢体
10、以外的交际媒体变 得十分发达。从起初的音响设备到现在的网络平台、同声 传译室等都是工具性媒体。口除此之外,交际者还可以利用环境中已有的所有符号系统 来进行交际,包括现场环境中的人和物、有象征意义的符 号等(见图1。).13(口语言媒体口从传统的语言学研究的角度讲,实现意义传播的媒体形式 主要有两种:声波传导的声音符号和由笔等生成的书写符 号。这两种媒体是语言传播信息的主要媒介。但随着信息 技术的不断发展,其他技术开始用于语言信息的传播,如 计算机文字输入、计算机语音识别等,但最后的传播媒体 仍然是声音或者字符。口伴语言媒体口对语言意义的传递起到辅助、补充和强化的作用,包括音 响、声音的大小、音
11、调、声音的频率、口音、语气、以及 字体形状、大小、空间的布局等。这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用,有时是关键用,因为它可以引起整体意义的改变,如用声调表达态y唐C14图一:多模态话语媒体系统伴语言语言-:纯语言音响 音调 字体 布局 声音 文字动作(移动)身体.非语言一非身体环境丫r(2)静态与动态 Thibault(2004)对符号资源的研究比较具体。他从身体动力 学的研究区分动态的和静态的,Q)静态的表达媒体,如文字、图片、表格、绘画等。口(2)动态的研究指面对面的互动、动画、电影、使用录像机 等。1_16时d两个层次与三个层交根据系统的复杂性,媒体系统可以分为两个
12、层次的和三个层次 的。两个层次的符号系统比较简单,是符号的能指和所指可一一对 应,不通过词汇语法的系统,例如:交通信号系统是两个层次的层次项目交通信号系统意义停、行、准备等意义图符红色、绿色、橘红等颜色语言是三个层次的符号系统。类别层次目录意义概念、人际、语篇语言词汇语法词汇系统、语法系统音系音系系统z rc le of a Iff*barkl gnrt Ir 廿is way tbr c il drilling insta tic r tezc mes a“mi fc r the dsac zearaie 3f the oW Beoc uin lifestyle.Tb三*匚。/二biyinm
13、te.l ir 七zt ends witr;a c uote fc m a.Bedouin,I amerc ing Lie esc of-ic naJ,?卜弓 life 二口by the zidD.r31 与此同时,他们还讨论了体现人际意义的特征,包括距离、接触、视点和情态等。从这个角度讲,我们有两个问题需要考虑:一是每个符号系统的语法如何确定?二是各个符号系统的语法如何相互协作来共同实现三个元功 能?1_32M 6,多模态话语的形式及其关系 61多模态话语的形式 媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段:一是直接赋予某个媒介符号某种意义。由 这
14、种符号组成的符号系统通常没有能产性、没有任意性;二是把一定的媒介符号进行组合,然后赋予这种组合一定的意义,这就是语 法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产 性、双分性,由三个层次的代码组成(媒介、形式(词汇语法)和意义)。语言属于这一类。语言:词汇一语法 图像:图符一图形语法 音响:音符一声响语法 接触:实体一感触语法 Y _I_J33宣 6.2多模态话语形式之间的关系口运用多模态的理由:一种模态不足以表达清楚交际者的意 义,从而利用另一者来强化、补充、调节、协同,达到更 加充分,或者尽量充分表达意义,让听话者理解话语的目 的。口关系M互补VS非互补 互补:强化(突出
15、、主次、扩充)合、协调)非互补:交叠(冗余、排斥、抵消)体)VS语境交互(独立VS依赖)V_ _ _ _VS非强化(交叉、联VS内包(部分、具34图二:多模态话语形式及关系多 模 态 话 语 形 式 及 关 系-词汇语言-语法-图形形体视觉-图形语法-声响形体声觉-声响语法-感触形体感觉-感触语法 突出-强化-主次L扩充与补父叉非强化-联合协调_冗余交叠扫E斥一抵消_整体部分非互补_ _内包-抽象具体_独立语境交互 依赖35c口借用韩礼德的功能语法研究中的逻辑语义关系,来表示不 同模态之间的关系:逻辑语义关系扩展投射L详述延伸增强话语思想一时间 一空间因果逻辑语义关系(Martinec&Sal
16、way,2005).L说明例证36温外语教学中的模态选择 7.1模态选择程序口对多模态话语理论框架进行选择的基本程序是:意义选择:在文化语境中,受意识形态的支配和体裁系统的 制约,根据具体的情景语境,选择要表达的意义,包括概念 意义、人际意义和谋篇意义;意义体现:所选择的意义要以合适的模态表达出来:即时 的一口语;安静的一手势;同样,对多模态的选择也是受语境的制约的:噪音一声音十 手势。Y37*不同模态之间的相互配合问题:语义表达的需要;交际的需 要。我们在选择中所要考虑的关键因素是在一定的情景中,如何选择合适模态来有效地表达所要传达的意义。*模态与媒体基本上是形式和实体的关系。模态语法确定选
17、择 什么样的媒体Q如视觉语法确定不同视觉媒体之间的相互配 合。例如,课堂教学M熟悉的事物:语言讲解;不熟悉的事 物M讲解+实物(图像等)。1_38IFife模态选择的动因*总体原则:充分利用现代媒体技术,最大限度地充分表达讲话者 的意义,取得最佳效果,为更好地利用现代技术提供一个合适的 理论框架。*基本思路:人类交际中意义的体现具有多模态特点:在形式层面 涉及不同模态的词汇语法系统之间的关系;形式层面由媒体来体 现。现代媒体技术都主要是在媒体层面,所以充分利用好现代媒 体技术是重要的研究课题。在多模态话语交际框架下,对模态的选择可以从三个角度进行:*(1)为外语教学提供教学情景和便利条件(工具
18、);*(2)为外语教学提供辅助条件(助手);*(3)为多模态话语交际提供多通道话语意义表达方式(补充耳叱39(21作为工具多媒体技术的发展实际上为提供尽可能真实的语境的提供 了便利条件,可以提供图像、录像、声音,作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为:*(1)学习材料,让学生了解和认识真实语境的实际情 况,使获得的语境知识更加具体;(2)背景信息,让学生与录像中的交际者在录像提供的 语境中进行交际。*发展现代多媒体技术的一个最基本的理念是多模态交际可 以使受话人通过多通道获得信息,比单模态话语更容易使 受话者理解和记忆。*如工:文字、语音、图形、图像、录像上视觉和听觉40
19、c 7.2.2.作为助手*为教师提供条件,使他的工作容易进行;现代技术还可以从内部 提供动力,使教师和学生从内心愿意从事这种活动,把外因转化 为内因。*第一,特殊的东西、大的东西、颜色艳丽或者浓的东西更能吸引勰醯鬻鬻生蠹事他徽萨疆*第二,美丽的东西、怪诞的东西、幽默的东西更能引起人们的兴趣,提高学生的参与度,的图片,幽默的简笔画,注意力集中。*第三,有挑战性的环境,所以,在教学中,用现代技术提供美丽 美丽的环境介绍可以使学生积极参与,或对抗的环境,或者幽默的环境,可以激发人们参与的热情,如提供一些有一定难度的破解题,谜麟 描述一个对抗的语境;或者提供一项交际任务等。y41模态的选择要以增加正效
20、应为原则,具体可以包括:互相强化、互相协 调、前景背景、整体部分(抽象具体)等关系。1.强化关系口 用PPT显示句子Peter was killed in a traffic accident9%并可同时读出这 个句子,在PPT画面上配上皮特发生车祸的照片,或者放一段发生车祸 的录像片,配上发生车祸是的声音等。口 2.协调关系口协调关系是利用多模态之间的协调性,就是还原人类社会交际的本来面 目,即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例 如,在讲包括下面一个对话的故事时,如果没有图画,我们会不知所 云:口 1 Big Nutbrown Hare I love you as hi
21、gh as I can reach.、,广 口 Little Nutbrown Hare,“That isuithighI wish I had armsliketliatfn 伯县力n里并们BP卜国I画就俎虫易了.而日怀祖醐里世42I love you as high as/can reach:said Big Nut brown Hare.That is quite high.thought Little Nutbrmvn I tare.!wixh I h.ul arms like that.前景背景关系*第三种选择多模态教学的依据是语言交际中的前景和背景的 关系。在外语教学中,语言交际显
22、然都是处在前景中,由其 他模态提供背景。例如,在戏剧的开始,首先出现一个布 景,提供事件发生的时间、地点、环境,还可以包括人物*4,整体部分(抽象具体)关系*在多媒体时代,教师可以通过选择合适的媒体来提供具体的 信息,从而使学生能更清楚地理解所教的内容。例如,当你 教授一种新奇的动物或者植物时,你一般首先提供名称,然 后做些简单的讲解。学生仍然不知所云。但如果提供一个照 片,如果条件允许的话,提供一段有关这种动物或者植物的 录像.会使学生一目了然。Y_ 一J44c口 7.3.4多模态选择的目标口从经济的角度讲,使用单模态要比用多模态要简单、省力,所以使用多模态进行交际必然要有一定的理由,组成这
23、些理 由的最主要因素是使用多模态的所要取得的效果或者目标;形成多模态选择的动因可以总结为一下几个方面:45k*1.补缺,一种模态不足以表达意义,或不能使听话者理解意 义,用另一种来补充剩余的意义,即一种模态只能体现要表 达的部分意义,另一部分需要通过另一种模态来体现,例 如i在较远的距离内或者噪杂的环境中喊叫某个人时同时打 手势;在幽默图画中只提供语境依赖性强的书面话语,或者 在录像中提供同类口头话语。图画没有文字则不能把整体意 义表达出来;同样录像没有口头话语也会使看者一头雾水。*2.强化)一种模态表达整体意义,另一种来突出部分意义.例如:(重音、黑体、前景图像、彩色等)*目的:使重点意义突
24、出。.46*3.吸引注意力,一种模态表达基本的意义,另一种来更加具 体和形象地重现这种意义;例如,用文字标出某个动物或者 植物的名称,用图像把这种动物或者植物的典型形式表现出 来;用语言艺术、图像、动作来幽默的表达意义.吸引听话 者的注意力等;*形象*激趣*目的:使读者或听话者把注意力转移到话语交际上来。1_47c*4.抒发情感,用一种模态来表达基本的概念意义,用另一种 模态来表达人际意义,包括态度、情感、目的等,例如M在 用文字描述游行事件的同时,用照片再现当时的场景,用一 定的角度和方式把警察表现为邪恶的人,或者用相同的方法 把他们表现为英雄,都属于这一类。*喜爱憎恨*目的,力图左右听话者
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多模态 话语 分析 理论 外语教学 中的 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。