外语数字教材的多模态符号设计研究

　　〔摘要〕 数字教材是教育信息化革命的产物，是外语教学的重要资源载体。研究以国家开放大学公共英语课程多媒体数字教材《人文英语》为语料，运用社会符号学和多模态话语分析的相关理论，围绕多模态语篇作者的符号实践、外语教学语境中的社会实践两个维度，从概念意义建构、人际意义建构、模态间关系三个方面进行深入阐释，并提出研究对我国 EFL 教学的启示。

　　本文源自王琴， 北京科技大学学报(社会科学版) 发表时间：2021-04-23《北京科技大学学报》(月刊)创刊于1955年，是由北京科技大学主办的专业性学术科技期刊。本刊旨在推动国内外学术界的交流与合作，主要刊登矿业与环境、冶金与材料、设备与能源(冶金)、控制与决策(钢铁企业)等领域的最新研究成果。为冶金工业类中文核心期刊、中国科技论文统计源期刊和中国科学引文数据库统计源期刊。

　　〔关键词〕 数字教材; 社会符号学; 多模态话语分析; 设计; 多元读写教学法

　　数字革命始于 20 世纪 50 年代末，信息技术的日益广泛应用改变了传统的思维模式和交际方式，也因此对教育产生深远的影响，数字教材应运而生。从纸质教材到数字教材的演变，不仅印证了教育信息化发展进步的轨迹，也反映了人类社会知识观和学习理论的演进史。从 20 世纪 60 年代的行为主义到 80 年代的认知主义，直至 80 年代中期以后向社会建构主义转型，都推动了数字教材的不断开发和完善[1]。

　　数字教材是集合了教科书、音声、静物画、动画和影片等多种表达方式的多媒体信息形态的教材，综合了旨在实现教育目标而数字化的学习素材与管理学习过程的信息学习系统[2]。数字教材是教育信息化革命的产物，是外语教学的重要资源载体。迄今，数字教材呈现静态媒体、多媒体及富媒体三种发展形态，它具有直观性、即时性、多模态、开放共享和动态交互等特性。从静态超文本的教育信息化 1. 0，过渡到社交媒体的网络计算和社会参与网络为主的教育 2. 0 时代，直至迈入以云计算和全球互联网为特征的教育 3. 0 ，数字教材的开发和研究引发学界的广泛关注和兴趣。

　　本研究聚焦国家开放大学英语教研团队编写的全媒体数字教材———公共英语系列教材之《人文英语》( 1 ～4 册) ，该教材主要面向开放大学系统、职业院校的在校生和职场人士。团队开发并推出数字阅读云平台———“开放云书院”，学习者下载客户端扫描二维码，即可获取数字教材和学习资源，体验移动学习的魅力。本文拟从多模态社会符号学的理论视角对数字教材进行多模态话语分析，并借鉴“新伦敦学派”( 以下简称 NLG) 的多元读写教学法，提出对外语教学实践的指导建议。本研究拟回答以下问题:

　　( 1) 数字教材多模态语篇作者的符号实践如何建构学科知识? 建构了怎样的社会关系?

　　( 2) 语篇作者运用了哪些模态和符号资源? 不同模态间的关系怎样?

　　( 3) 如何利用数字教材的技术优势开展 EFL 教学?

　　一、文献回顾

　　( 一) 数字教材的国内外研究现状

　　笔者梳理现有文献发现，国外学者着重从教学改革、学习者、教师和教育技术四个维度开展研究。Kim & Jung [3]探讨了教育技术融合背景下韩国数字教材的教学改革面临的机遇、挑战及教改实施模式，研究表明教材对学生的影响与地域、学习者的学业水平相关。欧洲和亚洲学者主要从学习者的视角出发，围绕数字教材的学习效果[4-8]和学习策略[9-10]展开讨论，也有欧美学者从教师维度开展研究[11-12]。Railean [13]博士在他的专著 User Interface Design of Digital Textbooks 中，从回顾教育技术的发展历程入手，运用数字学习理论探讨了数字教材用户界面的设计原则和模式，对推动数字教材的开发应用有较强的指导和应用价值。相比之下，国内学者更偏重于从教材的数字化出版[14-15]、教材开发建设与发展[16-18]、教师的技术接受度[19-20] 和 教 学 改 革 实 践[21] 等 方 面 进 行 探 讨。 Gu [22]采用文献研读法，对数字教材的国内外研究、各国项目报告和使用案例、使用影响因素和学习效果研究等进行了较全面的回顾、梳理和展望，该综述性研究具有较高的学术价值和较强的实践指导意义。

　　综上，国内外学者在对数字教材的研究总体上呈平稳上升趋势，研究兴趣既涵盖共同关心的热点领域，如教学改革、教师研究等，又表现出各自的偏好和侧重。从研究方法看，既有偏理论的思辨性研究，也有重实践应用的实证性研究，但缺乏从社会符号学角度对数字教材多模态语篇的意义建构及符号实践进行探究，且对我国外语教师使用数字教材开展 EFL 教学方法的探讨也语焉不详，这正是本研究亟待解决的问题。

　　( 二) 英语教材的多模态话语研究

　　Bezeman & Kress [23]运用历时研究方法，分析了国外中学英语教材的多模态设计，并从社会符号学视角阐 释 了 70 年 间 英 语 教 科 书 发 生 的 深 刻 变 化。 Chen [24]运用多模态话语分析和评价语义系统框架，分析中小学 EFL 课程大纲中的情感、态度的多模态符号意义建构及个体语义发生的“再语境化”; 王琴[25]以美国语文教材———《Treasures》为语料，运用系统功能语言学和社会符号学理论，探讨教材中的人际符号资源及符号设计原则，揭示教材编写者如何挖掘多模态意义潜势与读者互动; Feng [26]在社会符号学和评价系统的框架下，探讨香港中小学 EFL 教材中道德价值观的多模态话语建构及道德价值观在教材中的分布规律。

　　上述文献中英语教材的多模态研究均以传统纸质教材为研究对象，而对数字教材鲜有关注; 教材的受众也多以中小学生为主，而对以成人 EFL 学习者为受众的教材研究少有涉足。本文将从社会符号学的理论视角审视数字教材的多模态话语建构，并结合多元读写教学法，探讨数字教材对我国 EFL 教学的启示。

　　二、理论基础

　　( 一) 社会符号学: 意义、符号和模态设计

　　社会符号学是对符号系统如何在社会语境中生成意义的功能研究，它关注在特定社会文化语境的社会交际中生成的意义。符号是符号学的核心单位，是形式和意义的融合。区别于皮尔斯的普通符号学和索绪尔的符号观，Kress 的社会符号学[27]10 认为，符号是社团成员在社会交际中产生的，符号的形式和意义之间的关系不是任意的，而是由符号制造者的兴趣决定。符号的形式和意义之间存在“动机”( motivated) 关系，并强调两者之间的适合性( aptness) 。符号系统是交际过程中意义生成的资源。处在一定社会语境中的个体，利用特定社会文化中可资获得的符号资源，主动参与符号制造和社会交际过程。

　　Kress 的社会符号学理论融合了 Halliday 关于 “语言作为社会符号的观点”，发展并创立旨在解释所有符号意义生成和传播的符号学理论。根据 Halliday [28]的符号学方法，一个完整的交际理论需要表征概念功能( ideational function) ，即经验世界的行为、状态和事件; 人际功能( interpersonal function) ，即交际参与者的社会关系; 以及组篇功能( textual function) ，语篇局部以及语篇与语境之间的整体连贯。每种符号资源所做的选择同时实现三大元功能并整合其意义。所有模态，如姿势、动作和视觉模态等，如同语言，都是在社会使用过程中形成社会资源的模态[29]。每个模态系统在整个话语意义表达中都扮演着独特角色，它们在交际过程话语整体意义的建构中是互补的[30]。

　　设计是社会符号学的核心概念。在语篇交际中，设计可理解为“修辞者把自己对交际环境的评估转化为符号学塑造的物质的过程”。Kress 以“土豆削皮器”为例，提出“设计是对一系列社会关系、社会实践以及目的、任务、目标、情感组成的结构体集合的安排”的观点。设计体现、投射和建构社会关系，每一个语篇的设计都是从符号资源意义潜势构成的意义网络中选择的结果[27]132-137 。

　　多模态设计，是指运用不同符号模态，如图像、文字、色彩和布局去展现、体现及重新语境化社会关系和社会地位，为特定受众呈现关于经验世界的知识体系。设计体现和投射社会关系，并受社会和技术变化的影响和塑造[27]139 。本文所指的多模态设计主要是从数字教材开发者及设计者的视角，故下文采纳 Kress 的定义。

　　( 二) 多模态话语分析( MDA)

　　MDA 主要是在 Halliday 创立的系统功能语言学理论基础上发展起来的。具体地说，系统功能语言学关于“语言是社会符号、语言是意义潜势( Meaning Potential) 系统、纯理功能假说( Metafunction Hypothesis) 、语篇是语言系统的实例化、语言层级间的‘体现’以及语境思想”的论述，对于多模态话语分析理论框架的不断完善具有十分重要的借鉴意义。因篇幅所限，此处不再累述。

　　朱永生[31]84-85 认为，要正确解读多模态话语的意义，至少须要厘清两方面的关系: 一是确定不同成分之间的语法关系，如从三大元功能分析图像等视觉符号的语义关系; 二是要弄清不同模态，例如文字、图像、动画和音乐之间的关系。Barth [32]认为图文之间有锚定、阐释和接续三种关系，Martinec& Salway [33]在相互依赖关系上区分平等与不平等关系、图文逻辑语义关系被概括为投射和扩展两类，Royce [34]从概念意义和人际意义关系的角度研究不同意义间的互补关系。然而，上述的研究框架只适用于图文关系，且较为粗略，在分析中难免会出现模棱两可、难以界定的情况。张德禄[35-36]对多模态话语中模态间关系进行了更加深入的研究，认为还需区分互补关系和非互补关系。在互补关系中，区分强化关系和非强化关系，前者包括突出、主次和扩充; 后者包括交叉、联合和协调。而非互补关系可区分为交叠、内包和语境交互三子类，该分析框架详见图 1 [35]27 。

　　三、数字教材的多模态话语分析

　　笔者选取国家开放大学英语教研团队编写的公共英语多媒体数字系列教材之《人文英语》( 1 ～ 4 册) 为语料。语料采用“册-单元-页码”的顺序标注，例如“B1 -U1 -P4”，即“第 1 册第 1 单元第 4 页”( 下同) 。下面将围绕多模态语篇意义制造者的符号实践、教学语境中的社会实践两个维度，从教育多模态语篇的概念意义建构、人际意义建构、模态间关系三个方面进行深入分析和阐释。

　　( 一) 数字多模态教育语篇的学科知识建构

　　学科是知识和经验的结合，学科知识建构离不开对经验世界的行为、状态和事件的描写与阐释，知识和经验两者相互交织，共同作用于学科体系的构建。下文所讨论的数字教材多模态语篇的概念意义将聚焦语篇作者如何建构语言学科知识。

　　传统纸质教材的编排依据话题内容将学科知识按学习时间的先后顺序进行线性排列，传统的语言教学通常也是遵循纸质教材的编写顺序开展教学。就概念意义而言，数字教材突出每个单元主题知识结构的层级性，字体、字号和颜色都成为符号设计可资利用的资源。

　　学习界面显示，粗体文字用来表示每一单元的根目录，如“Learning Objectives”“Listening & Speaking” “Reading & Writing”，根目录下面的子目录字体相对较细，字号略小; 知识结构的排列呈横向和纵向排列，横向排列的项目在任务类型和难度上具有相似性，均属于同一语言技能导向的语篇，如听说技能、阅读技能等; 纵向排列由上至下按照语言知识从抽象到具体、从输入性到输出型语言技能的顺序排列，学习任务难度依次递增。

　　读者点击橙色按钮，即可打开下拉菜单，浏览具体语言功能对应的句法结构，符号设计者将语言系统的语义层与词汇语法层的抽象“体现”( Realization) 关系以下拉菜单式嵌入结构方式呈现。此外，颜色也是具有概念意义表征的模态，紫色代表一级目录或根目录，如篇章标题或题目说明以及语言文化方面的核心知识点; 黑色表示根目录下面的子目录或二级目录，如文章正文、功能句型范例和语法讲解，是更详细具体的知识点; 鲜艳的橙色用来表达“可选择”“可参考”或者“可控制”的概念意义，主要交际目的在于提醒、提示和启发学习者。

　　( 二) 数字多模态教育语篇的人际关系建构

　　教育技术重塑了数字教材的多模态话语。传统纸质课本为载体的课堂教学主要以教师为中心，教师主导学习进度、掌握学生的学习情况，统一步调; 而数字教材的设计更加符合“以学生为中心”的教学组织原则，学生可以自由选择学习内容、学习进度和阅读路径，以及学习互动和评价方式，有助于最大限度激发学习者的学习自主性，发挥学习者主观能动性。

　　从话语意义的人际功能看，多模态符号系统建构了师生之间新型的人际关系。学习者界面的多模态话语意义的人际互动主要表现为三个方面: 学习者与移动学习终端的互动、学习者与数字教材学习资源的互动以及学生之间、师生之间的互动。以与移动学习终端，如手机、pad 或电脑屏幕的互动为例，学习者点击菜单按钮，自由选择阅读路径，也可以点击“索引” 图标，定位导航学习内容，用横屏式翻页模式进行阅读。再者，学习者与数字学习资源的互动包括对话框、自主反馈和系统即时反馈三种方式。

　　学习者在阅读材料过程中，可以点击“录音机” 功能按钮进行自主朗读训练，当对话框弹出“是否保存录音”问话时，学习者单击“确定”，即可保存朗读学习记录。当学习者听完对话录音后，需将备选词组或者短语拖动到相应的句子中方可完成练习，学习点击“key”，屏幕上即刻弹出正确的答案或选项，学习者通过屏幕的自动反馈了解学习效果。此外，系统具有即时反馈的功能，答案在学习者提交作业的同时即刻弹出，学习者可选择反复多次练习。

　　同时，借助网络学习社群，在学习者之间以及师生之间开展以线上答疑、学习反馈、小组讨论等多种形式的互动交流，便于教师及时了解学习者的学习进展和学习效果，从而构建了以多媒体数字学习资源为依托的开放、民主、和谐、平等的新型师生关系。

　　( 三) 模态间关系

　　多模态语篇的语篇意义指语篇与语境之间，语篇内部不同部分之间的关系。模态间关系也是语篇意义的重要方面。语料分析显示，语篇作者调用了书面文字、口语声音、静态图像、动画、颜色和布局六种主要模态，模态间关系可大致概括为以下几种类型:

　　1. 互补—非强化—协调关系

　　所谓模态互补，是指一种模态的话语不能充分表达完整的意义，需要借助另外一种模态来补充。互补关系又可细分为强化和非强化两类; 在强化关系中，一种模态是主要的交际形式，而另一种或者多种模态形式是对它的强化或者辅助，如只提供背景信息; 而非强化关系中两种模态缺一不可，互为补充。

　　在电子教材中，语言模态通常用于描述学习任务的具体要求和指令，图像和文字模态协同补充新的语境信息。例如“赡养”“原告、被告”等词汇向读者暗示交际角色之间的人物关系( 父子、父女、兄妹、姐弟关系等) 、起诉的缘由( 子女拒绝承担赡养父母的义务) 等语境要素，法官手上的法槌以及图像中各个参与者的位置关系暗示人物身份地位及权力关系。法官位于图像的中心位置，是审理诉讼案件的核心关键人物，法官是“法律”“正义公平”的象征，在法庭交际语境中，其权力地位远远高于“原告”和“被告”双方，且双方在法庭审判语境中所处的身份地位是处于有矛盾冲突的平等双方。在教学语境中，语言模态和图像模态协同作用，两者缺一不可，目的在于帮助学习者充分理解学习任务的细节信息，以确保其顺利完成学习任务，这对学习者的多模态读写能力提出了更高要求。

　　2. 非互补—内包关系

　　非互补关系表示第二种模态对第一种在意义的体现上并没有大的贡献，但仍然作为一种模态出现。非互补关系下面又可分为三大子类: 内包、交叠和语境交互。内包关系即多种不同或者同种模态，对整体意义的表达没有新的贡献，而只给予更加具体的信息。内包又可细分为整体与部分和抽象与具体两种关系。

　　以“提倡人们将废物循环再利用”为环保主题的语篇为例，位于图像显著位置的是一只用废弃垃圾做成的花瓶，整篇文章是而图像与文中的“vases made from glass bottles”这个名词短语形成“语义同指关系 ( semantic co-reference) ”。图像模态提供的只是部分信息，对语篇整体意义的表达没有贡献。下面举一个内包关系的例子，如当前的学习任务是“要求为人力资源部经理写一份英语会议纪要”，书面文字仍是主要交际模态，语篇作者调用语言文字和图像模态为学习者创设虚拟的目的语交际语境，即图像模态没有附加任何语义信息，而是将交际场景和交际目的更加具体化，用写作工具( 纸、笔、电脑) 和写作环境( 咖啡杯、办公室) 来隐喻表征写作过程和写作结果，属于从抽象到具体的内包关系。

　　3. 非互补—依赖型情境交互关系

　　文字与图像也会呈现“非互补”关系。语篇在结尾段落中提出论点，“hard work and relaxation make a well-balanced lifestyle”，而“天平”图像与文章整个段落在语义上构成同指呼应，与“天平”相关的语义要素进入语篇的整体语义域中，语篇呈现出较强的情境依赖性; 而图片下方的瑜伽运动是对文段中“relax”词汇的具体实例化，也与左图中的部分图像信息形成语义的上下义关系。

　　4. 互补关系与非互补关系的矛盾共现

　　研究发现，互补关系与非互补关系也会出现在同一语篇中。例如第四册教材第七单元的听力材料是一篇有关“法律诉讼案件”的对话，整个多模态语篇运用了文字、声音和图像三种模态。书面文字仍是主要的交际模态，图像显示的是被告与律师之间的交谈现场，用于辅助书面文字和对话声音的口语材料，提供交际语境要素，如交际环境( 律所办公室) 、法官判案工具( 法典和法槌) 等，因而图像与文字之间，以及图像与声音模态之间都表现为“互补—强化—突出” 关系，即突出文字模态，而图像只是提供背景信息。

　　然而，声音与书面文字模态使用不同的模态表达相同的语义，两者呈现“非互补—交叠—冗余”关系，若任去其一，都可以与图像模态完整地表达意义。但是从二语学习和外语教学的角度来看，语篇作者将两种冗余的模态用于教学多模态语篇，其目的可能在于对二语学习者进行听觉语音、视觉图像、视觉文字的多感官协同刺激，提供丰富的语言交际情境，有助于强化学习者对语篇的理解和意义建构，从而间接影响二语输出质量和二语学习效果。

　　四、教学启示

　　当今世界，随着经济贸易全球化、交际媒介多元化、语言文化多样化趋势的日益加剧，培养掌握多种语言、具备多元读写能力、跨文化视野和国际竞争力的专业人才是我国当下外语教育的使命和担当。

　　1996 年《多元读写教育学: 设计社会未来》 ( New London Group，以下缩写为 NLG) 发表以来，多元读写成为教育学与多模态研究的热点。多元读写教学法包含四个要素: 实景实践( situated practice) ，即英语教学应置于真实的语境中; 明确指导( overt instruction) ，即课堂上教师应使用多模态设计的元语言系统对学生进行明确指导，解释如何运用语言、手势、声音和图像等符号设计资源，在真实语境中创造性地建构意义; 批评框定( critical framing) ，即教师运用有效的语言学理论和方法，培养学生理性分析教材中蕴含的文化、价值和意识形态; 转换实践( transformed practice) ，即学生在新的社会文化语境中，熟练运用所学知识、创造性地解决新问题，并在此过程中培养独立建构多模态语篇的能力，即多元读写能力[36]88 。

　　多元读写教学法所主导的课程设计不仅包括教师的言语、语言、肢体、手势语及书面语言，还包括使用道具、图像、PPT 等非言语资源，数字教材也是课程设计的重要组成部分。NLG 认为，“任何制造意义的过程，都是设计行为”[36]65 。教学过程中，教师和学生都是意义的制造者，他们既是符号实践活动的设计者，也是教学实践活动的参与者。阅读、写作、教材编写过程都被视为多模态设计过程，也是社会实践的反映。数字教材编写者及开发团队在符号设计方面，应充分挖掘不同模态的符号“供用特征”( affordances) ，即分析它们在意义表达方面的优势、特长和局限性，为学习者创设贴近真实生活体验的交际语境和学习情境，构建开放、民主、平等、和谐的新型师生关系，为学习者开展自主学习搭建“脚手架”。

　　在导学环节，建议教师有必要给学习者讲解教材中不同符号模态的概念表征意义、人际互动意义、组篇意义以及不同模态间的相互关系，运用“元语言” ( metalanguage) 系统加以明确指导，帮助学生迅速把握课程的学科知识结构，以便开展个性化自主学习; 教学过程中应注重培养学习者的批评分析能力，辨别教材中的价值观和意识形态; 培养阅读各种媒体和模态信息，如互动的多媒体教材，并能循此生成相应的多模态文本的能力，掌握不同模态符号的设计原则，利用可资获得的设计资源，生成新的设计和意义。

　　随着教育信息化 3. 0 的不断深入和媒体技术发展的日新月异，数字教材的开发和研究也会朝着进一步智能化、多元化的方向延伸和发展，我国外语教师应不断提升自身利用现代教育技术开展教学的能力，更要加强多模态符号设计能力和语言学、社会符号学等多学科理论的学习和提升，注重培养学习者的多元读写能力，迎接数字革命给我们带来的机遇和挑战。