学术观点| 近十年国内多模态话语分析综论――以CSSCI来源期刊发表成果为考察对象_突袭文化_突袭网
来源：互联网
责任编辑：李平字体：
本文在简要介绍多模态话语的定义、源起、发展以及研究路径的基础上，以国内CSSCI来源期刊为考察对象，对国内多模态话语分析的研究现状进行了整理、归纳和评述，并再此基础上总结出多模态话语分析的发展趋势以及存在的问题。希望本文能为今后的多模态话语分析的研究者们提供一定的借鉴。
关键词： 多模态话语分析；研究路径；研究现状；发展趋势
多模态话语是运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[1]。随着话语分析理论的发展以及科技进步所带来的新的交际方式和信息传播渠道，人们开始关注与语言相关的其他符号资源，多模态话语分析成为话语分析发展的必然趋势，因为“如果没有对交际中非语言方面的关注，话语研究不再能做到充分和全面，无论在会话、治疗过程或政治话语中都是如此”[2]。多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来,它不仅可以看到语言系统在意义交换过程中所发挥的作用,而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果,从而使话语意义的解读更加全面、更加准确,进而发现人类如何综合使用多种模态达到社会交际的目的[3]。可以说,多模态话语分析既推动了语言学研究,加深了人们对符号学的认识，同时启发了美学、文学、修辞学、传播学等学科，使其研究视野得以扩展，研究内容得以丰富。事实上，除了语言学，多模态研究对于教育、社会学、人类学、心理学、传播学等学科的研究都有一定的价值和意义[4]。
随着多模态话语分析的兴起和发展，目前国内外的相关文献非常多，这些文献在研究方法、路径、理论基础上不尽相同，因此有必要对近十年来的研究进行梳理，理清多模态话语分析的发展脉络和现状，使学界对该领域的研究有全面、清晰的了解，为多模态话语分析的可持续发展和进一步的研究提供参考和借鉴。
多模态话语分析的缘起和发展
最初的多模态话语分析将交流中的不同模式分开来研究，如运用语言学理论模式将视觉交际描述成一种“图像语言”，将音乐交际描述为一种“音乐语言”等。后来Roland Barthes（1977）注意到了多模态交际中潜在的一般性原则，试图设计出一个能应用于所有符号模式的分析框架，并归纳了多模态语篇中的图文关系（即:锚定(anchorage)、说明(illustration)、接递(relay)）。但在他的著作中，“语言信息”和“视觉信息”仍然是分离的，在它们彼此相关联之前，它们只能被孤立地理解[1]。因此，学界认为，虽然Barthes在2 0世纪70年代就开始研究图像的修辞，但多模态话语分析理论在2 0世纪90年代才蓬勃发展起来，其标志性成果是1996年出版的Kress和van Leeuven的合著《阅读图像――视觉设计语法》（Reading Images: the Grammar of Visual Design)一书[2]。
经过近二十年的发展，在多模态话语分析领域出现了很多研究路径。van Leeuwen & Kress 认为，20世纪有四个语言学流派进行了多模态研究。第一个是布拉格学派，他们在20世纪30-40年代将语言学研究延伸至视觉艺术和戏剧中的非语言方面；第二个是巴黎学派的符号学，将结构主义语言学（structuralist linguistics）的概念和方法运用于流行文化和大众传媒的研究；第三个是60-70年代一些美国语言学家对口语和非言语交流的研究；第四个则是发源于Halliday系统功能语言学的社会符号学派[3]，该流派首次使用了“多模态”这一术语。O’Halloran 认为社会符号学，互动社会语言学和认知语言学是多模态话语分析领域最活跃的3 个流派[4]。Jewitt则认为，多模态话语分析主要有三个传统，系统功能语言学多模态话语分析、社会符号学和会话分析。其他学者将这三者与其他理论结合，又衍生出五种分析方法，即地理符号学、多模态互动分析、多模态民族志、多模态语料库分析以及多模态感知分析[5]。
以上关于研究路径的观点因关注点的不同而存在差异，同时也没有囊括所有的流派或分析方法。综合目前的多模态研究现状和最新发展以及以上的学派分类，本文认为最近十几年来多模态话语分析主要有以下9个研究路径：
系统功能语言学多模态话语分析
Halliday将语言作为一种符号资源进行研究，认为语言只是符号资源的一种，他建立和发展的系统功能语法旨在解释所有符号的意义生成和传播[6]。他的符号学思想和系统功能语言学理论为多模态语篇分析提供了直接的理论来源。学者们将系统功能语法三大元功能思想延伸运用到各类多模态话语分析中，并称此研究路径为“系统功能语言学多模态话语分析”（SF-MDA）。O’Toole (1994)是最早将该理论运用到多模态话语分析的，他详细分析了展览艺术。其他学者，如O’Halloran()将该理论用来研究数学教科书中的语言、图像和数学符号。该研究路径注重描述不同符号资源的意义系统以及符号之间的互动所产生的意义。
社会符号学
虽然 Saussure和Halliday都认为符号的社会性是阐释符号意义的必要条件，但他们主要还是研究语言系统。因此， Kress和van Leeuwen（，2006）将系统功能语法、Saussure和Halliday的符号学思想以及批评话语分析的理论相结合，发展了以视觉语法为基础的社会符号学（SocialSemiotics），将语言符号之外的其他符号纳入自己的研究视野。社会符号学旨在发现各种符号模态的普遍规律，关注社会文化语境，同批评话语分析一样，致力于揭示交际行为中的权力和意识形态。社会符号学认为符号使用者的意图、兴趣决定他们对符号资源的选择，因此意义是选择的结果。不同的模态有不同的意义潜式。Jewitt(2016:85)认为社会符号学的研究使人们关注软件设计者的符号选择，关注设计者在布局、用色、材质、设计方面的选择，使人们意识到有必要从某一种模态的语法研究发展到对跨模态的符号规则研究。李战子、陆丹云（2012）认为，社会符号学视角下的多模态话语研究自上世纪９０年代后期开始，始终围绕着如何将功能语言学观点扩展运用到所有符号模式这个主题展开。
多模态隐喻分析
受到社会符号学的启发，认知语言学的学者们将社会符号学、隐喻理论、转喻理论以及关联理论相结合，认为隐喻不仅表现于语言，还表现在其他符号模态中，因此提出了多模态隐喻(Forceville ；Forceville & Urios-Aparisi 2009)这一概念，即源域和目标域分别或主要由两种不同符号模式呈现的隐喻现象，在很多情况下，其中一个符号模式为语言符号。多模态隐喻分析主要关注多模态语篇中隐喻和转喻的建构和解读。
多模态互动分析
多模态互动分析(Multimodal intereaction analysis) (Norris 2004 Norris ＆ Jones 2005，Scollon
)的主要理论基础是互动社会语言学和中介话语（mediated discourse）(Scollon ) ,同时也吸收了社会符号学的一些观点，将语言看成社会行为，认为互动进程是共同参与过程，关注互动者如何使用多种符号模态实现社会活动，强调互动中的身份凸显。该学派以活动（action）为分析单位，而不是某个模态，划分了互动活动中的三个层级以及两种类型的模态。
会话分析（Conversation Analysis）研究始于二十世纪60年代，是社会学的一个分析方式，即通过观察、审视、描述社会互动的具体事例来研究社会互动，将社会学理论用于具体场景的实证研究(empirical observation)。研究内容包括日常会话和机构会话（如学校和医院）。由于会话中的一个行为可以由语言来实现，另一个则可以通过手势或瞬间眼神转换来实现，因此会话分析主要关注人们怎样开始和结束会话、话轮之间的转换、会话中的结构和逻辑以及互动中的身体、眼神、手势等。该研究路径的代表人物主要有Sacks(1972)、Goodwin(2000)、Jefferson（2004）等学者，他们的研究对人类学和教育学提供了非常有意义的借鉴，使互动过程中的眼神和身体姿势得到了充分的重视。尽管该学派属于多模态话语分析，但并不强调“多模态”这一概念。
地理符号学
地理符号学(Geo-semiotics/discoursein place)以社会符号学为视角，将语言人类学和空间符号学（place semiotics）相结合，研究语言和其他模态的符号在物质世界的空间性。该理论的奠基者Scollon & Scollon（2003)认为，公共语篇（如路标、告示、品牌标志）的解读必须考虑其所在的社会和物质世界。
多模态民族志
多模态民族志(Multimodal ethnograp-hy) 将社会符号学研究方法和民族志（人种论）相结合，从人种论的角度（即参与者的视角）研究社会文化语境中意义的生成和理解。该方法对儿童在校内、校外各种场景（如操场、网络环境、幼儿园以及小学课堂）中的意义生成（meaning making）进行研究。该流派注重实地考察和研究，其代表人物主要有 Flewitt（2011）、Street, Pahl和 Rowsell（2014）等人。
多模态语料库分析
多模态语料库分析(Multimodal corpus analysis)将语料库的分析方法、系统功能语言学和符号学理论相结合，旨在通过大型语料库的方法验证多模态话语研究领域中关于意义生成的假设。该学派的代表人物Bateman()认为，在多模态研究理论发展的初始阶段，单个案例的分析很重要，但是随着该理论的成熟，就有必要通过语料库的量化研究了解该理论的适用范围和普遍性。在经过大型语料库的实证检验之前，理论或概念只能是假设。他将所收集的语料分为线性（如文本或口语录音）和非线性（如印刷广告和网页）两种，前者用ELAN软件进行标注，后者用GeM Framework标注。目前，用于研究网站、手册、报纸和杂志等多模态话语的语料库已经建立并被用来检测和探索许许多多模态思想。目前最常用的多模态建库工具主要有Anvil、Elan等。
多模态感知分析
多模态感知分析(Multimodal reception analysis)主要研究人们对多模态话语的认知过程。该流派的领军人物Holsanova (2014)将认知理论中有关感知和注意力的理论、社会符号学有关多模态话语的组构理论（composition）和眼动跟踪分析法（eye-tracking methods）相结合来研究人们对语篇的感知。目前多模态眼动跟踪已被用来检验社会符号学思想和关于设计的理论。
以上这9个多模态话语分析的研究路径在理论背景上有千丝万缕的联系，如社会符号学分析对于系统功能语言学多模态话语分析的传承性，其他路径对社会符号学的借鉴等，因此也有学者认为第一种和第二种分析路径可以归为一类，但是这两者的理论侧重点稍有不同，因此本文采用Jewitt(2016)的观点，将他们单列开来，已便我们更全面地了解多模态话语分析的研究现状。以上研究路径尽管在理论基础、研究方法、目的和关注点上不尽相同，但本质上都是探索语言和其他符号模态是如何共同作用从而实现人类交际活动的。同时，也体现了多模态话语分析这一研究领域的多学科性和跨学科性。正是多学科的融合才促进了多模态研究的发展。
国内多模态话语分析综论
国内的多模态话语分析始于“多模式话语的社会符号学分析”（李战子， 2003）一文，该文详细介绍了Kress ＆van Leeuwen“视觉语法”,引起了国内学界对多模态话语分析的关注和讨论。胡壮麟（2007）讨论了多模态符号学和多媒体符号学的区别，指出人类进入社会符号学多模态化的新世纪；朱永生（2007）论述了与多模态话语分析紧密相关的4个问题:(1)多模态话语的产生，(2)多模态话语的定义，(3)多模态话语分析的性质和理论基础，(4)多模态话语分析的内容、方法和意义；张德禄（2009）根据系统功能语言学理论尝试建立了一个多模态话语分析的综合框架，指出多模态话语可以从文化、情景、话语意义、语法、形式和媒介等多个层次进行研究。这些学者对多模态研究的理论基础、研究路径和现实意义进行了评介，对推进国内的多模态话语研究起到了宏观指导的作用（李战子，陆丹云 2012）。
上述的前期理论研究和探索引发了学界对多模态话语分析的兴趣和热情，借助百度学术（http://xueshu.baidu.com/u/biye/?tag=paper&wd=多模态话语分析）的搜索功能，我们发现，在2007年到2016年间（在2015年达到巅峰），国内共有873篇相关的论文（见图1），这些论文涉及多个学科和研究领域（见图2）。
图1： 多模态话语分析论文数量
图2 多模态话语分析的跨学科性
如此浩瀚的文献，难以进行总结概括，同时该数据并不准确，因为第一篇关于多模态话语分析的介绍文章是李战子的《多模式话语的社会符号学分析》（《外语研究》2003年第5期），而“百度学术”的统计显示，多模态话语分析始于2007年，也就是说2003年李战子的这篇论文并没有被统计进这873篇文章中。另外，仅仅以“多模态话语分析”为检索词并不能囊括所有相关的文献，还需要在数据搜索的基础上进行人工判断。因此“百度学术”搜索结果只能说明多模态话语分析在国内的研究热度以及其多学科、跨学科的研究特点，为我们了解这一领域的研究提供一定的参考。基于以上原因，本研究主要选取有一定学术影响的期刊进行收集、统计并进行人工甄别和分类。通过知网搜索，共收集到70篇CSSCI来源的期刊（以外语类为主）文章，分别发表在《外语学刊》（17篇）、《外语教学》（15篇）、《外语研究》（11篇）、《外语电话教学》（7篇）、《外语与外语研究》（6篇）、《中国外语》（5篇）、《外国语》（3篇）、《当代修辞学》（2篇）、《当代语言学》（1篇）、《现在外语》（1篇）、《教育理论与实践》（1篇）和《辽宁工程技术大学学报（社会科学版）》（1篇）。发表时间从2003年到2017年。图3 是本文对上述文献按年度统计的结果。
图3 ：年CSSCI 来源期刊的发表情况
在对这70篇CSSCI来源期刊的文章进行研读和分类整理后，发现国内多模态话语分析紧跟国际研究的步伐，主要体现在以下几个研究路径：
3.1.1 以系统功能语法和社会符号学为
理论基础的多模态话语分析
由于国内的多模态话语分析并没有对系统功能语法多模态话语分析和社会符号学分析这两种有着理论渊源的分析路径进行严格区分，而是认为两者是一脉相承，社会符号学发展于系统功能语法，无需区别。同时从国内现有文献来看，多数研究以社会符号学中的视觉语法为基础，提出“适用于特定语类的多模态分析模式，并试图揭示文字和图像这两套符号系统对特定语类的语义贡献”（李战子，陆丹云 2012）。因此，本文将这两者合在一起进行综述。
从“多模态”这一概念引进国内以来，学界一直致力于相关概念的梳理和理论框架的探讨。在主要概念mode和modality的意义区分上，韦琴红认为，“mode表示的是符号资源，modality表示的是不同符号资源在其意义表达中的真实性程度” (2009)。在多模态语篇分析的符号学理据上，汪燕华认为，多模态语篇分析的理论是基于Saussure 对符号具有“社会性”这一论断之上的。Halliday 的“语言是社会符号的理论”是对此论断的扩展。Kress 的社会符号学理论融合了Halliday“语言作为社会符号”的思想，发展并创立了旨在解释所有符号意义生成和传播的符号学理论(2010)。在多模态语法建构的问题上，张德禄、张兢田认为，多模态语法建构要根据符号系统的层次、类型和维度进行探讨，并且也并不是所有符号系统都适合建构语法。他们认为，“从不同层次的符号系统着眼，只有 3 个层次的符号系统才有可能建立语法; 从类型角度讲，图像符号以及某些能指和所指关系易于推断的索引符号，一般情况下没有必要建立语法; 从维度角度讲，不同维度的符号系统具有不同的语法模式和系统。所以，在起始阶段，应该为每个适合建构语法的符号系统单独建构语法”。(2012)在多模态语篇的语类特征方面，汪燕华通过定量分析两种话语中图类的分布情况以及图文关系,认为“语类和图类的配置模式是多模态话语构建其‘可识别性、可预测性’特征的重要方面”(2011)。此外还有对多模态话语中的转译现象(张德禄、瞿桃2015)和以多模态图文语篇的互文性(王莹、辛斌2016)的探讨。以上对主要概念、相关理论问题的探讨使我们对多模态话语分析的认识越来越清晰，深刻，为我们进行案例分析提供了夯实的理论基础。
鉴于多模态话语本身的复杂性，为了使分析更加合理、全面，有学者将其他领域的理论运用到多模态话语分析中，进行了理论创新，如张德禄、穆志刚（2012）在功能文体学理论研究的基础上，以图文连环画为例，探讨了多模态功能文体学理论框架的建构问题；冯德正、亓玉杰（2014）将评价理论扩展到多模态语篇中，探讨了多模态语篇中的评价意义；冯德正等（2016）将修辞结构理论（Rhetorical Structure Theory）扩展到平面与电视广告研究中，不仅深入阐释了多模态广告语篇中复杂的修辞结构关系，也为研究其他类型的多模态语篇提供了新的理论视角。
作为话语分析的视角之一，多模态话语分析主要还是用来进行具体的语篇分析的，理论探索为后续的语篇分析服务，因此，更多的学者致力于将理论运用到实例中。目前的个案分析已经涵盖了多个语类，如诗歌（美国诗人卡明斯的经典具体诗“ 1(a”的多方位功能解读（王红阳 2007 ）、会徽（北京申奥会徽中所传达的和谐理念（郑海翠，张迈曾 2008）、山水画（中国古代山水写意画――《山径春行图》中言语符号与视觉符号如何共同作为社会符号来完成表意功能,并如何在多模态语篇中发挥意义共建的作用（李美霞,宋二春 2010）、多模态小品文（中的主体模态（胡壮麟2011）、交通标志牌（的图文关系与解读过程（张德禄，王群）、新闻报道中的图像（中英媒体报道奥运会圣火采集仪式时使用图像的情况以及两国媒体在报道这一事件中所体现的意识形态差异（田海龙，张向静 2013）、广告（类超文本多模态的视觉语法分析（李德志 2013）、视频（以《舌尖上的中国》为例的多模态视频话语分析（严慧仙 2015）、学术语篇（多模态驱动的研究生英语学术语篇建构（李雪，王景惠2015）、旅游宣传海报（的分析及中国文化对外传播的方式和特点（梁兵，蒋平 2015）、舞台叙事（以英语朗诵比赛为例的舞台叙事的多模态语篇研究（陈松菁 2016）、烟盒警示语（的个案分析（张丽萍等2016）等。这些案例分析使我们对不同语类中的图文关系、符号间性以及通过符号之间的互动所表达情感、态度和意识形态的方式有了更深层次的认知。可以说，个案分析不仅是对多模态理论的验证，也是促进更加有效交际的、有实践意义的研究。
此外，以社会符号学为理论框架的多模态话语分析对其他领域的研究也有广泛的影响，如教材的编写。陈瑜敏、黄国文（2009）以社会符号学为理论框架，运用人际功能研究中的介入、分级概念，将话语多声研究扩展到多模态交际语境，探讨多声互动的类型和程度。研究发现，合理运用多模态符号资源，有助于解决语言教材编写和使用中的一些具体问题。
以上研究主要在理论上进一步完善了多模态话语分析的 该研究领域的研究一直不断深化和扩展，进行对其中的一些属于多数文献对多模态话语中的图文关系、评价意义、互文性、多模态语法建构、语类特征以及一些核心概念。
3.1.2多模态隐喻分析
相对于系统功能语言学和社会符号学的多模态话语分析，多模态隐喻分析起步较晚，在国内的发展方兴未艾，主要成果体现在理论评介和理论运用上。在理论评介方面，赵秀凤（2011）介绍了多模态隐喻研究的缘起、发展和前景等；谢竞贤（2011）在评价Forceville & Urios-Aparisi(2009)的基础上，探讨多模态隐喻的特点。张辉、展伟伟（2011）结合广告实例阐述了多模态隐喻的转喻基础、隐转喻相互作用、图文配合以及文化性等;冯德正（2011）将多模态隐喻置于系统功能语言学的框架内，以隐喻潜势为切入点，对图像隐喻和多模态隐喻的构建与类型进行了系统化阐述与分类。在理论运用方面，潘艳艳（2011）分析了政治漫画中的多模态隐喻及身份建构；冯德正、邢春燕（2011）以汽车广告为例，讨论了空间隐喻与多模态意义建构；蓝纯、蔡颖(2013)对21条海飞丝电视广告中的多模态隐喻进行了分析；江桂英、王容花（2013）研究了英语演讲中言语－手势多模态隐喻；杨友文（2015）发现海报语篇中的多模态隐喻表征类型分为六类，其中“始源域文字――目标域图像”是最典型范式。这六种类型呈现出的规律性特征主要与各模态的表征特点有关。
另外有文献更多地关注多模态语篇的认知机制、文化认知模式以及哲学基础。例如，潘艳艳（2013）以动态多模态语篇《中国形象片》为例，探讨了纪录片类语篇的隐喻和转喻及两者的相互作用，从而解释了语篇的认知机制。赵秀凤（2013）以政治漫画为例，探讨多模态隐喻构建的整合模型。王林海、刘秀云（2013）以科幻电影《阿凡达》这一多模态语篇为例，探究概念整合理论在多模态隐喻语篇的隐喻建构和认知机制形成过程中发挥的作用。才亚楠（2014)通过分析两则多模态广告语篇，解读概念隐喻与文化认知模式之间的相互作用和互动机制。王凤(2013)从语言哲学出发探究多模态隐喻的研究基础，阐明多模态隐喻的内涵及其理论基础，从多模态隐喻视角剖析维特根斯坦在《逻辑哲学论》中强调的不可说与可说的辩证关系，讨论文字符号与非文字符号的结合，从而印证可说的不可说性以及不可说的可说性。
3.1.3多模态语料库分析
国内基于语料库的多模态话语分析目前并不多，主要原因是国内该领域的研究还在理论提出和探索阶段，还未发展到理论验证阶段，而且现有的理论还不能直接运用到多模态语料库分析中。王正、张德禄（2016）在进行发多模态语类研究时，发现系统功能语言学现有的语类研究方法不能直接运用于多模态语类特征的描述，需要进一步完善，以适用于多模态语类分析。他们尝试以期刊封面语类为例，以多模态语料库方法为基础，探索如何在系统功能语言学的理论框架之下建立一种针对多模态语类的简便、有效的分析模式。
另一个原因是技术方面的挑战以及语料的标注问题。刘剑、胡开宝（2015）认为，在技术条件许可的情况下，创建多模态口译语料库，直接针对音视频语料进行切分与标注，能更完整地保留语料的多模态信息，有效克服文字口译语料库的不足，更好地开展口译研究。他们分析了国内外多模态语料库的建设与研究现状，重点阐述了多模态口译语料库相关的建库技术，包括语料的有效采集及质量要求、多模态语料的切分及转写、多层次标注模型（包括副语言现象以及手势表情等非语言因素的标注）、围绕时间轴的对齐、标注的可靠性评估等。
3.1.4 多模态互动分析
多模态互动分析目前在国内还不多见，70篇CSSCI 来源期刊文献中，只有张德禄、王正（2016）全面介绍了这一分析路径的基本理论和方法，探讨了该方法的特点和不足，提出了自己的多模态互动分析的综合框架，并对一堂英语课的教学活动进行了实例分析。
“多模态”这一概念在国内提出的最初几年，朱永生（2007）曾指出，从事多模态话语分析的绝大多数是系统功能语言学家,而多模态话语分析是跨学科的,仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与,多模态话语的意义才能得到更加全面而正确的解读。目前国内多模态话语分析的研究现状和发展中呈现出的多学科性、跨学科性正是学者们期待看到的，不仅是系统功能语言学家，其他语言学流派，如认知语言学、语用学、修辞学以及语料库理论和技术等也都参与到多模态话语分析这一研究领域，从而不仅使多模态话语的意义得到更加全面而正确的解读，而且也促进了这一研究领域的繁荣和发展。
3.2 国内多模态话语分析的发展趋势
根据现有文献，多模态话语分析的发展趋势可概括为：视角的融合，理论的创新；领域的扩展，视野的阔宽。
3.2.1视角的融合，理论的创新
视角的融合，理论的创新，是多模态话语分析得以发展、繁荣的根本和必然趋势。例如，在多模态隐喻分析的文献中，大量融合了系统功能语言学和社会符号学观点，从而能够更全面地阐释语篇中的隐喻和转喻以及两者之间的关系，而认知语言学有关隐喻和转喻的理论也为描述多模态语篇的符号意义提供了新视角。张德禄、郭恩华(2013)认为，在进行多模态语篇分析时，社会符号学视角提供宏观语义框架，认知隐喻视角则为分析显性的多模态隐喻提供了微观分析方法，前者引导后者分析的方向，后者可以引发新的社会符号研究进程。（我加的）
在系统功能语言学与语用学的融合上，曾方本（2009）认为，尽管语用学重视包括声音、体态语等非语言语境因素在交际中的作用,但它们处于辅助地位,在语篇里是“隐性”的，需要交际的参与者或语篇分析者去语篇之外挖掘、理解。非语言模态在语篇里身份与地位的认定,还是依靠Halliday的社会符号学所提供的强力支持，例如系统功能语言学里“语言是社会符号和意义潜势”的观点、系统理论、纯理功能假设、语域理论等。陈新仁、钱永红（2011）指出，语用学有必要引进多模态分析法，他们借鉴系统功能语言学理论框架，从交际出发，构建了适用于语用学分析的多模态语用分析框架。
在与修辞学的融和上，冯德正等（2016）尝试将修辞结构理论（Rhetorical Structure Theory）应用到静态和动态多模态语篇的分析中，发现将RST扩展到平面与电视广告研究不仅可以深入阐释多模态广告语篇中复杂的修辞结构关系，也为研究其他类型的多模态语篇提供了新的理论视角。张德禄（2017）以系统功能语言学的社会符号学理论和多模态修辞中的多模态论辩理论为基础，对多模态论辩修辞框架进行探讨，把从社会符号学理论基础上发展起来的多模态修辞框架与多模态论辩框架相结合，概括出了一个多模态论说文写作修辞框架。
3.2.2 领域的扩展，视野的阔宽
国内现有文献表明，多模态话语分析这一研究领域正在不断扩展，视野也随之更加开阔。研究对象从纸质语料、平面媒体扩展到新媒体、多维媒体以及多种场景（如教材、视频、网页，肢体语言、舞台、教学（课堂）、医院、家庭等）。研究方法也从经验性描写到理性、批评性分析，从多学科关注到多学科的交叉与融合等。同时，多模态语言教学、多元读写能力的培养等应用领域研究也引起了学者的重视，并将其融入现代社会急需的批判性阅读能力的培养中( 代树兰 2013)。涉及到的理论视角包括：系统功能理论、批评性语篇分析、教育理论、传播学、艺术与设计、认知理论、语料库、叙事学等。
最后，就像话语分析的发展终将涉及社会批评这个话题一样，研究多模态话语体现的话语秩序、意识形态、社会关系、社会实践等是多模态话语分析必然的发展方向（李战子，陆丹云 2012）。
本文首先对多模态话语的定义、源起和发展进行了介绍，梳理了国外多模态话语分析的9个研究路径，之后重点以国内CSSCI来源期刊为考察对象，对国内多模态话语分析的研究现状进行了整理和归纳，并再此基础上总结出多模态话语分析的发展趋势。尽管多模态话语分析的前景广阔，但还存在一些问题，主要表现在：（1）分析中的主观性较强，结论需要进行语料库、调查问卷等方式进行进一步的验证；（2）语言学各流派之间的融合有所加强，但是和其他学科，如新闻学、传播学、教育学、影视艺术理论、社会学、心理学等的借鉴和融合还不够；（3）如冯德正、Low（2015）所言，研究视角新颖的论文只占少数，而且不同视角各自为战，没有实现真正的融合。理论视角间的互补性不够。希望本综论能为今后的多模态话语分析提供一定的借鉴。
潘艳艳，女，国防科技大学国际关系学院博士，南京师范大学博士后，讲师，主要研究方向为系统功能语言学，认知语义学，话语分析。
李战子，女，博士，国防科技大学国际关系学院教授、博士生导师，主要研究方向：系统功能语言学，话语分析。
限于字数，参考文献略，引用敬请参照
原文来源：潘艳艳、李战子.国内多模态话语分析综论()――以CSSCI来源期刊发表成果为考察对象[J].福建师范大学学报，2017 (5)：49-59.
本文编辑：语言学通讯特约编辑 吉林大学 于畅
另外，欢迎语言学，文学和翻译学的博士（生）加入我们语言学通讯微信群
语言学通讯关注语言文学研究。主要收集发布国内、外英语语言文学的学术会议、研修班讯息；学术讲座；学术期刊和学术观点推送。近期推送的特色栏目是读书小札和新书推荐，欢迎作者和出版社赠送样书。文章投稿请联系
语言学通讯
负责人微信号 : wonderdesire
投稿：返回搜狐，查看更多
责任编辑：
最新添加资讯
24小时热门资讯
Copyright ©
ff63.com All Rights Reserved. FF63 版权所有
京ICP备号-1 京公网安备02号}