新HSK5级第100题的多模态语篇分析_桑晓林.pdf

第 42 卷第 3 期2023 年 6 月兰州交通大学学报Journal of Lanzhou Jiaotong UniversityVol 42 No 3Jun 2023收稿日期:2023-02-20学报网址:https:/lztx cbpt cnki net作者简介:桑晓林(1980 )，女，甘肃兰州人，讲师，主要研究方向为汉语国际教育，跨文化比较。E-mail:sangxl mail lzjtu cn文章编号:1001-4373(2023)03-0150-06DOI:10 3969/j issn 1001-4373 2023 03 021新 HSK5 级第 100 题的多模态语篇分析桑晓林(兰州交通大学 文学院，兰州730070)摘要:通过对新 HSK5 级第 100 题的多模态语篇分析，厘清图片与文本之间的关系。将新 HSK5 级第 100 题的图片类型分为三类场景，针对部分语料展开多模态语篇分析:用 Kress Van Leeuwen 的视觉语法分析叙事图像，分别从再现意义、互动意义、构图意义解读图片中的视觉信息，明确图文意义，确定写作顺序，展开规范写作;用 oyce 的符际互补理论解读概念图像，从图片视觉模态与写作文本模态的互补关系确定信息焦点，补充空白内容，让短文更具吸引力和说服力。关键词:多模态语篇分析;新 HSK5 级第 100 题;视觉语法;符际互补中图分类号:H195 1文献标志码:AMultimodai Discourse Analysis of the 100thQuestion in New HSK 5SANG Xiao-lin(College of Literature，Lanzhou Jiaotong University，Lanzhou 730070，China)Abstract:Through the multimodal discourse analysis of the 100th question in New HSK5，this paper in-tends to clarify the image-text relations This paper divides the pictures of the 100th question in New HSK5 into three types so as to conduct multimodal discourse analysis on part of the corpus To analyze narra-tive images with Kress Van Leeuwens visual grammar，clarifying the meaning of pictures and texts，thispaper develops standardized writing on the basis of identifying correct writing order Besides，this paper al-so interprets conceptual images with oyces intersemiotic complementarity theory，from the perspective ofthe complementary relationship between picture visual mode and written text mode，clarifying the informa-tion focus and filling in the blanks of information gaps，then make the text more attractive and persuasiveKey words:multimodal discourse analysis;the 100thquestion in New HSK 5;visual grammar;intersemi-oticcomplementarity随着社会的不断发展和数字文化的冲击，人们在语言学习中也越来越多地运用到多种模态，在汉语学习与考试中也同样如此。新 HSK5 级第 100 题是考试第三部分“书写”的最后一题，也是整套试卷的最后一题，难度也最高。该题目要求考生结合一张给定图片，写一篇 80 字左右的短文，答题时间约为 15 分钟左右。图片属于视觉符号系统，根据图片写出的文字属于语言符号系统。这种由文本和图片共同构成的话语模式属于一个多模态语篇，通过图片和文字共同表达意义来构建完整的语篇，旨在考察学生的语篇写作能力以及图文搭配能力。多模态语篇分析是指将语言与非语言符号纳入统一分析范畴的一个研究领域，其出发点是将图片等非语言符号视为跟语言一样的表意资源1。从多模态语篇角度分析第 100 题的图片与文字的表达意义及关系，能让考生科学地理解图片的原意，写出连贯、有第 3 期桑晓林:新 HSK5 级第 100 题的多模态语篇分析逻辑并与图片匹配的文字。该题评分标准中的高分档第一条即为:内容与图片相关。得高分的考生能将图片与文字良好地结合起来，共同完成合理意义的建构和一个连贯的多模态语篇。因此，考察学生看图写话的语篇写作能力，也是对多元识读能力和不同模态符号系统间和谐互补关系能力的一种考察。一、多模态语篇分析的理论来源与意义关系多模态语篇分析理论首先来源于 Halliday 的系统功能语言学理论。他在该理论中特别强调了语言的三大元功能:表征客观世界和内心世界的概念功能(ideational function)、体现语言使用者的交际参与和交际角色关系的人际功能(interpersonal function)和组织成语篇的语篇功能(textual function)。这三个元功能以“语法”的形式出现在语言系统中新的层面上2。多模态语篇分析认为语言以外的其他符号系统也是意义的源泉，也具有以上三大功能。Kress Van Leeuwen 在此基础上提出视觉语法的概念，将 Halliday 功能语法中概念的、人际的和语篇的三个元功能延伸到视觉模式，相对应地提出了三大意义:再现意义(representational meaning)、互动意义(interactive meaning)和构图意义(compositionalmeaning)3。再现意义对应系统功能语言学中的概念功能，及物性是系统功能语言学中表现概念功能的一个重要概念。及物性系统按照各种动作、状态，参照自己的经验范畴向听话人传递新信息，比如动作者、过程、目标以及它们的子范畴反映了人类对自己经验中现象的理解。同样，视觉语法在再现意义层面上可以探讨不同图像之间或者同一图像不同部分之间的联系，哪个成分是主要参与者，相当于及物系统中的动作者，哪一部分是受动作影响的人或物即目标(goal)，哪一部分表述事件发生的时间、地点、方式即环境(circumstance)等。与系统功能语法中的人际功能相似，在人际意义层面上，我们可以探讨图象中参与者之间的社会关系、图象设计者的交际目的以及图象解读者本身对图象内容的介入(involvement)程度4。视觉语法中的互动意义旨在探讨图像制作者、图像所呈现的世界与图像观看者之间的关系，同时表达图像观看者对表征事物应持的态度5。多模态语篇的构图意义表现在页面上构图成分的布局，并促使视觉和语言系统的概念意义和人际意义得以传递。与系统功能语法的语篇意义相对应，Kress 和 Van Leeuwen 分析了多模态语篇的构图意义，并指出图像的构图意义是由信息值、取景和显著性这三种资源实现的。信息值指图像的不同位置体现的信息重要性不同;取景指图像各元素之间的信息分布;显著性则是为了吸引图像观看者的注意而采取的各种策略6。因此，可以根据同一个图象中不同成分之间或不同图象之间所处的相对位置来分析多模态语篇的信息分布。视觉语法解决了多模态语篇中视觉模态的语法意义关系。oyce 认为，在一个多模态语篇中，视觉模态和文字模态都是表达意义的资源，共同完成意义的建构，为读者呈现一个连贯的多模态语篇。已有的多模态语篇理论对图像这种视觉模式所表达的意义关注较多，对图像和文本之间的意义互补关系关注较少。因此他在 Halliday 的系统功能语言学、词汇衔接理论以及 Kress 的视觉语法基础上提出了符际互补理论。该理论从图像文字元功能接口出发，也从语言的三大元功能入手，探讨在多模态语篇中图片与文字同现时图文关系间的概念符际互补、人际符际互补和构图符际互补意义关系7。多模态语篇分析将语言与其他意义资源整合起来，看到了各种符号系统在意义交换过程中的功能及作用，使语篇意义的解读更全面、更准确。二、多模态语篇分析下的新 HSK5 级第100 题新 HSK 5 级第100 题的考查目的是考生的文字表达能力，因此图片都比较简洁且包含明显的寓意。现以 新汉语水平考试 HSK(五级)真题集8 中书写部分的原题和 新 HSK 速成强化教程(五级)9 中的部分样卷为研究对象，从多模态语篇分析入手，探究第 100 题中的图片与根据图片写出的文字之间的关系，帮助学生更好地读懂视觉模态所传达的信息，从而能让学生更准确地找到表达方法并连贯且合逻辑地写出文字，拿到高分。根据以上语料，可以将新 HSK5 级第 100 题的图片类型分为三类场景:(1)真实场景类(单人、多人、动物)，(2)标识类(如禁止钓鱼的告示牌、此处有羚羊出没的告示牌、小心滑倒的警示牌、请勿吸烟的警示牌等)，(3)物品类(高跟鞋、礼品等)，其中真实场景类占比比较大。根据多模态语篇分析理论的语法意义关系、图文意义互补关系和本题的要求，现将解题思路归纳如下:首先，考生需要先通过图片识别图像中的视觉信息符号，从参与者、过程、环境等方面确定写作主题10，确定图像的再现意义。以图片上是否有人151兰州交通大学学报第 42 卷物、有矢量分为叙事图像和概念图象，对应的再现意义为叙述再现与概念再现。如果图片的再现意义为叙述再现，可从叙述再现的三类主要过程入手解读图片现象，从情态、视角、距离等方面体现互动意义的交流语法，进入到视觉语法中的互动意义，也可考察信息在语篇中以何种言语功能进行交换。最后从构图意义的角度综合同一个图像中不同成分之间或不同图像之间所处的相对位置(上下、前后、中心边缘关系)等版面安排的具体情况，确定信息分布的情况6。如果图片的再现意义为概念再现，图片与文字的关系则表现为文字反映图片本质，可在叙述再现的写法上加入 oyce 的符际互补理论解题。oyce 根据系统功能语法的三大元功能设计出概念符际互补、人际符际互补和语篇符际互补三种互补关系，其中语篇符际互补主要分析多模态页面上图像与文字之间的构图布局，而本题的要求是“结合图片写短文”，要求考生将所有题目都写在答题卡上，所以无法分析其语篇意义。因此可结合系统功能语言学与视觉语法中概念再现的过程分析，从概念符际互补与人际符际互补角度入手解读本题。综上所述，该题的重点是考生审视视觉图像体现的经验意义如何与文本经验意义相关。若从多模态语篇分析的角度作答该题，先解读视觉模态，再分析其与文字模态的关系，最终选择正确的文字表达方式，即可写出一篇描述准确、图文相关、内容丰富的短文。下面就新 HSK 5 级第100 题的部分语料展开具体探讨。1 真实场景类100 请结合这张图片写一篇 80 字左右的短文。图 1真题 H51001第 100 题Fig 1The 100thquestion in the past exam paper H51001表 1H51001 的多模态语篇解读Tab 1Multimodal discourse analysis of H51001参与者过程环境概念符际互补关系再现意义互动意义构图意义人物一男一女饮水机微笑交谈(行动过程)二者中间(关系过程)办公场所同义重复叙述再现距离:社会远距离接触:无视角:平视情感态度:提供(offer)信息值取景:居中显著值本题的图片为一个视觉小语篇，根据图片写出的短文为一个文字小语篇。按照多模态语篇分析中的视觉语法所对应的三大功能，先从再现意义入手分析图像的属性。再现意义分为叙述再现和概念再现。两者以图像中是否有人物、是否有矢量作为区分标准。该图片由一男一女在一台有饮水机的空间中交谈构成，是一个有人物的真实场景，属于叙述再现。那么，视觉语法是如何将所描绘的人物、地点和事物组成具有不同复杂程度的视觉“叙述”的呢?本题的解图思路可先识别出图像中的视觉信息符号，找出参与者:一男一女;分析其正在进行的过程:交谈;再从参与者的正装及饮水机判断出环境成分:办公环境。从而得出，图像中的人、物视觉符号信息与文字之间的概念符际关系分别为同义和重复关系。图片中的参与者一男一女，在同现的文本中应由和一男一女相关联的词汇实现同义互补。通过参与者服装与环境的判断，考生可先写出介绍该题的信息内容，即与再现意义相对应的文本:一位男职员与一位女职员正在公司的饮水机旁边谈论工作的事情。短文开篇的第一句话起着至关重要的作用，要把图片中的主要视觉信息点明，对首次出现的参与者应选对合适的量词，对句子语法结构也要照顾到位。接着，文字描述对图像中没有阐明的内容进行延展与详述，从再现意义中动作过程、反应过程和言语心理过程等方面均可拓展看图写话的内容，例如描绘二人的动作:男职员左手拿着水杯，右臂随意地搭在饮水机上。女职员右手举着水杯，左臂扶在饮水机上。这句话既从参与者的角度细致、对仗地描绘了图片中出现的所有人与物，也恰当地使用了“着”和 HSK 词汇中适当的动词体现出双方的动作251第 3 期桑晓林:新 HSK5 级第 100 题的多模态语篇分析过程。最后，考生可以参与者的身份从互动意义角度写出自己的情感感受作为短文的结尾，例如:他们看上去非常高兴。从多模态语篇的互动意义角度分析，图片中的人物不存在直视读者的目光且处在远景中，这些信息进一步强化了“提供信息”的意义，即把图像内容提供给读者。依据图文内容一致的原则，因此与之相对应的语言部分全部采用小句陈述的语气。综合该图片的构图意义发现，图片中的参与者居中，都是重要信息，上文已按顺序描述清楚了位于显著地位的人、物，没有漏洞。另外，本题要求呈现考生的成段写作能力，即语篇写作能力，在文字方面教师平时也应加强对话语的衔接与连贯的指导与训练。100 请结合这张图片写一篇 80 字左右的短文。图 2真题 H51776 第 100 题Fig 2The 100thquestion in the past exam paper H51776表 2H51776 的多模态语篇解读Tab 2Multimodal discourse analysis of H51776参与者过程环境再现意义互动意义构图意义人一男一女小女孩指责、争 吵(反应过程)思 考(心 理 过程)房间内叙述再现距离:社会远距离(有空间环绕)接触:无视角:平视情感态度:提供距离:个人近距离(头和肩部)接触:无视角:平视情感态度:索取信息值:左、右取景显著值:小女孩这张图片的参与者有三人，分别位于不同的位置，因此首先可从再现意义中确定图片为叙述再现，接着可从构图和互动意义入手:左边构图是一男一女在争吵，女士在用手势命令，男士双手摊开手掌，表示争辩或无奈。右边构图是一个小女孩趴在桌子上，眼神向内做沉思状。取景上能看出争吵的二人位于离读者更远的位置，周围有空间环绕，属于社会远距离;而小女孩的形象更显著，有头和肩部的近景特写，表情也更清晰一些，属于个人的近距离。从构图意义的显著值来看，小女孩是图片的主角。视觉语法认为，图像可以造成读者和图像中的世界特定的关系，并能激发出读者应有的态度和情感，有三个要素能实现这种互动意义:距离、接触和视角。距离层面上图像可以让读者更靠近图片中的人物地点和事件，在近景中的人物更能让读者有“感同身受”的感觉。H51776 的图像模态中，位于右边靠下的小女孩显然离读者更近一些，她的目光虽然略向内，显然在进行心理过程的活动，但传递出的无助、落寞的眼神可以与读者的情感上达成一致。比起图片左上方争吵的一男一女，他们呈现出的社会远距离和与观众没有任何接触的目光，都表达出视觉语法中的“提供”信息;而近景描绘的迷茫的小女孩则向读者传达出“索取”的信息。因此，全文的开篇可在文字语气选择上从小女孩的视角出发写出疑问句，比如:这个小女孩怎么了?她趴在桌子上，非常难过。考生通过探讨图像中参与者之间的社会关系，可得知三人为家庭成员，争吵的双方是父母，右下角是孩子。Kress 和 Van Leeuwen 认为视觉载体的水平结构与语言的顺序性信息结构间存在着一定的相似性。在一个多模态页面上，位于左侧的是已知信息，位于右侧的是新信息。一般来说，新信息表示不确定的、可争论的和需要关注的信息，而已知信息表示常识性的、观看者已知的或已熟悉的信息3。因此在图像模态向文字模态转化的过程中，从已知信息向未知信息过渡，可以这样描述:原来小女孩的父母正在激烈地争吵。叙述再现的图片中存在由图像元素间构成的矢量。在动作过程中，当叙述再现中有两个参与者时，351兰州交通大学学报第 42 卷发出矢量的参与者是动作者，矢量指向的那个参与者就是目标，二者互相作用6。因此可以结合上段文字，从小女孩的角度介绍人物，用如下表达从再现意义层面描述左上方的视觉信息:妈妈用右手生气地指着爸爸，在激动地问话。爸爸伸出双手，拼命地解释。当然，考生可以使用自己现有的 HSK 词汇库中的词语对此场景进行描绘，但一定要使用合适的动词，比如“指”、“伸出”、“问”、“解释”等基本词汇，将图片中相互作用的动作过程写清楚。最后，同样从互动意义的情感态度使用疑问句再次重申小女孩的“索取”信息:她该怎么办?谁来帮帮她呀?2 标识类场景100、请结合这张图片写一篇 80 字左右的短文。标识类图片一般画面简洁、寓意清晰。与前面的解图思路相同，这幅图片的多模态语篇解读还是先对视觉符号进行分析，认定图片的再现意义。该图视觉信息成分比较简单，没有参与人、矢量，属于概念再现。视觉语法中的概念再现对应于系统功能语言学的关系过程和存在过程。Halliday 认为这两种过程比起行为和心理过程，表现了更为持久的状态或更概括的真理，可从类别、结构和意义方面概括6。因此，可先从存在过程入手描述图片中的标识:这是一个告示牌。“告示牌”三个字即图片的主题，与图片形成“重复”的概念符际关系。如果考生的现有汉语词汇库中没有这个词语，可采用符际关系中的“搭配”关系:即在头脑中找不出与之对应的词汇表或该视觉信息成分不在词汇范围内时，可以寻找同义关系的词汇替代。比如用“牌子”或“标志”来替代。系统功能语言学中关系过程可分为“归属”和“识别”两类，与本题相关的是“归属”:具体指该标识有哪些属性。接着继续描绘概念再现的信息，例如牌子的形状，上面画了什么，圆圈中有什么，小鱼前方有什么。考生按此思路可以继续往下书写:牌子是正方形的，上面画着一个大圆圈，圆圈里有一条小鱼，小鱼前方有一个鱼钩。圆圈中间有一根斜线，表示“禁止”的意思。在标识类的图片中，人际符际互补意义指文字对图片是解释说明的作用，即视觉模态需要文本模态的协作才能使言语功能表达得更为清晰。也就是说，文本模态与视觉模态在表征与读者/观众的人际关系上存在互补。文字语篇应扩展或详述图像的意义，最后用陈述句表明读者的情感态度，可以这样写:这是禁止钓鱼的标志，在必要的地方是很有意义的。图 3样卷第 100 题Fig 3The 100thquestion in a sample paper表 3样卷第 100 题的多模态语篇分析Tab 3Multimodal discourse analysis of the 100thquestion in a sample paper参与者过程环境再现意义概念符际互补关系人际符际互补关系物告示牌关系过程、存在过程户外概念再现重复、搭配扩展、详述3 物品类场景100、请结合这张图片写一篇 80 字左右的短文。该题图片由明晰的物品占据显著地位，如是网考试卷，彩色图片会显得色彩饱和度更高。物品类场景图片中的视觉信息大多也属于概念再现。概念再现没有人物、矢量，代表事物的内在本质，在视觉语法中分为分类过程、分析过程和象征过程。分类过程通过分类关系将参与者联系起来。为了实现分类过程的无时间性，参与者常常被以比较客观、脱离情境的方式再现，背景平淡。分析过程通过部分与整体的结构方式将参与者连接起来。象征过程是关于参与者是什么或参与者发生行为的意义意味着什么6。本题的参与者是一个色彩鲜艳的大礼品盒，在图片中位于最显著的位置，近景拍摄的角度让读者与参与者产生了亲密的人际关系。同样可以从介绍物品属性入手这样开头:这是一个方方正正的礼451第 3 期桑晓林:新 HSK5 级第 100 题的多模态语篇分析物盒。根据物品的属性、分类过程和分析过程，可适当展开对参与者环境因素的想象描写:阳光照在盒子上，闪闪发光。接着继续描述参与者的性状、形态:包装是红色的纸，上面有一条绿油油的丝带，打着漂亮的蝴蝶结。在互动意义层面，可以从视觉语法探讨的图像中参与者之间的社会关系、图像设计者的交际目的及图像解读者本身对图像内容的介入程度:里面是什么礼物呢?我猜一定是圣诞老人给哪位小朋友的圣诞礼物吧!综上，从多模态语篇分析的角度按顺序给予给出图片准确、恰当的说明，是解题的快捷有效方法，值得借鉴。图 4真题 H51005 第 100 题Fig 4The 100thquestion in the past exam paper H51005表 4H51005 的多模态语篇分析Tab 4A Multimodal discourse analysis of H51005参与者过程环境再现意义概念符际互补关系人际符际互补关系物礼品盒(包装纸、丝带)分类过程、分析过程、象征过程无概念再现重复、搭配扩展、详述三、结语2021 年3 月，经国家语委语言文字规范标准审定委员会审定，国际中文教育中文水平等级标准(GF0025 2021)由教育部、国家语言文字工作委员会发布，作为国家语委语言文字规范自2021 年7 月1日起正式实施。标准 出台后，HSK 将依据标准进行优化升级，在保证原有六个级别稳定性的基础上，细化调整为三等九级。HSK 考试也将依照标准 的理论和思想，稳步进行一些调整，比如加强对书写水平的考查等。在语言学习中培养学生的多模态识读能力是大势所趋，在实践中构建多元能力教学框架，也是汉语教师今后教学的使命和指导的方向。从考生不同学科背景入手，将社会科学知识，理工科的科学知识融合日常生活话语，增进考生的超学科能力，也是语言教学培养模式的大方向 11。在新 HSK5级考试训练中从多模态语篇角度增进对书写部分图文意义关系的把握，从符际互补的角度全面认知图文互动关系，能有效提升学生的多元识读能力，更好地推进学生提升自己的汉语水平。注释:H51001 为新 HSK 真题编号，为新 HSK 五级第一套试题，下文以此类推。刘超英等，新 HSK 速成强化教程(五级)，北京语言大学出版社，2016 年，244 页。参考文献:1 冯德正 多模态语篇分析的基本问题探讨 J 北京第二外国语学院学报，2017(3):120-132 2Halliday，M A K Language as Social Semiotic:The So-cial Interpretation of Language and MeaningM Lon-don:Arnold，1978 3 Kress，G，Van Leeuween，T eading Image:The Grammarof Visual Design M London:outledge，1996 4 朱永生 多模态话语分析的理论基础与研究方法 J 外语学刊，2007(5):84-85 5 张敬源 关于视觉语法的几点思考J 当代外语研究，2012(3):39 6 李战子 多模式话语的社会符号学分析J 外语研究，2003(5):1-8 7oyce T Multimodality in the TESOL classroom:Explo-ring visual-verbal synergy J TESOL Quarterly，2002，36(2):191-205 8国家汉办/孔子学院总部 新汉语水平考试真题集HSK(五级)2014 版M 北京:高等教育出版社，2014 1-122 9 刘超英等 新 HSK 速成强化教程(五级)M 北京:北京语言大学出版社，2016:244 10 杨信彰 多模态语篇分析与系统功能语言学 J 外语教学，2009(4):11-14 11 张德禄，吴连春 超学科知识的融合模式及教学模式探索 J 中国外语，2021(1):45-52(责任编辑:张哲)551