外语视频直播课堂模态设计研究

感谢您关注“永大英语”！

吴玲娟 张德禄

摘要：外语视频直播课堂具有独特的模态设计模式。文章首先建构了外语视频直播课堂的模态设计分析框架，然后基于此分析框架并通过多模态标注对优质少儿英语视频直播课程的模态设计进行了分析，聚焦模态选择和配置特征。研究发现：受语境、意义、模态可及性和供用特征以及符际关系等的综合制约。（1）口语是师生建构意义的主要模态；手势是教师经常选择但学生偶尔使用的模态；教学工具和教学物理环境模态也被教师用来建构意义，却很少被学生选择；文字和与之产生紧密逻辑语义关联的概念图像则大多同时被课件制作者选择用以建构意义。（2）不同教学环节的模态配置总体上呈现出多样化和多模态的特点，各种模态发挥不同的意义潜势且相互间形成多样化的协同关系。最后，文章指出外语视频直播课堂的模态设计需遵守趣味性、前景化和可及性原则等模态选择原则以及适配、主次、经济性和动态调整原则等模态配置原则。

关键词：外语视频直播课堂；模态；设计；原则

1. 引言

在多模态话语中，设计是在特定交际情境中运用模态或模态组合来实现话语的手段 （Kress & van Leeuwen, 2001）。设计是多模态话语建构和解析的主要因素，也是多模态交际能否成功的一个关键问题（张德禄, 2012）。

近年来，外语视频直播课程以高度模拟真实线下课堂教学环境和方式且能最大限度 地提供真实课堂互动体验的特点受到了学习者的青睐。此类网络课堂具有明显的多模态交互特征（吴玲娟, 2022），同时，在网络教学环境中，符号资源之间产生了新的互动模式，我们有必要研究这种环境中意义是如何通过不同的模态和媒体来体现的（Hampel & Hauck, 2006; Sindoni, 2013）。在此背景下，本文对外语视频直播课堂的模态设计展开研究，聚焦优质少儿英语视频直播课堂的模态选择和配置特征，同时尝试提炼出外语视频直播课堂模态设计需遵循的系列原则。

2. 理论基础

在多模态话语中，设计是一个处于意义和模态之间的操作过程，它把各种模态合理地组合为一体来体现所选择的意义（Kress & van Leeuwen, 2001; 张德禄, 2012）。可供设计的符号资源既可以是单模态的，也可以是多模态的，采用什么样的模态或模态组合更加有效，成了多模态交际的一个关键问题（张德禄, 2012）。在符号实践中，设计可以帮助交际者更好地把握多模态话语生成过程；在理论研究中，它可以帮助我们更好地理解语篇为什么会呈现某些特征和规律，分析其设计理据与机制（瞿桃、王振华, 2022）。

选择是设计的核心步骤，话语设计者根据语境要求、修辞目标、受众需求、模态供用特征等因素从多种可用的符号资源中进行选择（瞿桃、王振华, 2022）。此外，设计者还要对选择出来的符号资源进行合理的组合与安排（张德禄, 2012; Bezemer & Kress, 2016; 瞿桃、王振华, 2022），即模态配置，是多模态话语设计的焦点（Kress & van Leeuwen, 2006:219）。

多模态话语的设计不是任意的、无规则的，而是受语境、意义、符号的可及性和供用特征、符际关系等因素的制约。首先，由于设计的对象是体现意义的模态，而意义是在一定的语境中产生的，因此，模态设计首先要考虑语境因素，包括文化语境和情景语境。其次，交际者在选择模态时要注意符号的可及性、专业性与智能性等（张德禄, 2023），其中，可使用的符号资源系统是设计的前提条件，因为不同语境中可供选择的模态会有差别。再次，不同模态都有各自独特的供用特征和局限性，某些模态适合某些交际任务，却不适合其他意义类型和 范围，因此交际者只有在熟悉可选模态的供用特征后才能在模态与意义之间进行准确匹配（张德禄、胡瑞云, 2019）。此外，当一种模态的供用特征不能很好地体现意义时，交际者便要对多种模态进行搭配组合，让各种模态的供用特征相互补充、相互协同（张德禄, 2015），因此，厘清不同模态间的关系对于模态的配置尤为重要。除此之外，多模态话语设计还需要考虑修辞目的、设计者的利益等因素（Bezemer & Kress, 2016:64）。

3. 研究过程

3.1 外语视频直播课堂模态设计分析框架

基于上述模态设计基本概念及制约因素并参考张德禄（2009）的多模态话语分析综合理论框架，本文建构了外语视频直播课堂模态设计分析框架，如图1所示。

具体来看，在进行外语视频直播课堂话语的模态设计时首先要考虑相关的语境，其中文化语境包括由教育政策组成的意识形态和课堂教学的体裁结构；情景语境包括教学内容、师生关系和教学方式这三个变量。其次，文化语境和情景语境共同制约和影响着课堂整体及不同教学环节的概念意义、人际意义和语篇意义以及哪些意义需要被突显。同时，情景语境还直接制约和影响着课堂有哪些可及的符号资源系统以及哪些模态会相对比较突出。接着，课堂交际者（教师、学生和课件制作者）在意义的驱动下从口语、文字、图像、版面布局、身体动作、教学工具和教学环境等可调用的符号资源系统中选择合适的模态并 进行合理的配置。这就是外语视频直播课堂的模态设计过程，是课堂多模态交际是否有效的关键。反过来说，课堂交际者需要根据课堂的语义特征、模态的供用特征和形式系统以及符际关系来决定用哪些模态或模态组合来体现课堂整体及不同教学环节的意义。

3.2 研究语料

近年来，极具互动性和趣味性、师资多元化并能提供浸入式英语口语交际环境的青少 年视频直播英语课程受到了学习者的欢迎（吴玲娟, 2022）。本研究从当前口碑良好且市场占有率较高的说客英语、贝达英语等在线英语学习平台上筛选30节优质一对一视频直播外教英语课程（平均时长为25.9分/节，平均课件数为16.6页/份）作为研究语料。

就文化语境而言，少儿英语视频直播课程为主要针对中国少年儿童的校外英语课程，其体裁结构成分包括问候、主题介绍、提问、发布指令、知识讲解、拓展反馈、引导反馈、纠错反馈、积极评价反馈以及道别这十个必要的教学环节以及介绍课堂规则、引导学生复 习、课堂总结和布置作业这四个可选教学环节（吴玲娟、瞿桃, 2023）。就情景语境而言，其总体教学目标为提高学生的口语交际能力；教师大部分为母语为英语且拥有相关教学 资质的外教，学生为我国6岁以上（本研究中为 6-9 岁）的少年儿童；课程依托ClassIn、学点云等在线教学直播平台等进行一对一授课，师生通过教学课件（平台统一提供）、人像屏幕和互动聊天区进行多维度实时交流和互动。

这些情景语境因素制约和影响着少儿英语视频直播课堂有哪些可及的符号资源系统以及哪些模态会比较突出。以一对一模式为例，其教学主要依赖师生口语和课件上的文字、图像以及图文布局等模态来展开。同时，由于师生双方都打开摄像头，因此师生的手势、面部表情等身体动作、各类直观教具、物理背景、服饰、妆容等非语言符号也成为体现意义的模态。此外，虚拟贴纸、画笔等虚拟教具成为教师传递教学知识以及情感沟通的一种重要模态，而且虚拟画笔是学生进行书面练习的重要工具。

3.3 多模态标注方法

本研究使用免费开源的多模态标注软件ELAN（6.0）来标注课堂教师和学生选择的各种模态以及教师的模态配置，同时结合传统语篇分析方法对课件的各种模态进行标注。

课堂上师生模态的标注聚焦口语、身体动作、教学工具和教学物理环境。就口语模态而言，基于Flanders（1970）的课堂话语互动分析系统等理论，将教师口语分为提问语、指令语、反馈语和讲解语四类；将学生口语分为回答问题、跟读、阅读和主动发言四类。在身体动作模态方面，本文聚焦师生的手势。根据McNeill（2005）的手势观，将教师的交际手势标注为规约手势（蕴含特定文化内涵，常用来替代语言）、拟物手势（用于描述某一具体物件）、隐喻手势（表征抽象的概念、观点或形象）、指示手势（指向具体或抽象的物体或方位）和节拍手势（伴随话语或音乐节奏有规律地敲击、拍打或强调话语中某些重要信息）五类。另外，学生手势除了交际手势，还包括操作手势，即使用鼠标或手指在触摸屏上划过的手部动作。接着，将师生使用的教学工具模态标注为虚拟贴纸、实物教具和数字媒体三类，将师生上课的物理环境区分为装饰背景墙或佩戴饰品如耳机以及不装饰背景墙且不佩戴头饰两类。最后，教师模态配置的标注侧重教师为实现十个必要教学环节的教学目标所采用的模态或模态组合方式，如“纯口语” “纯手势” “口语+图像“ “口语+手势” “口语+文字” “口语+文字+图像” “口语+文字+图像+手势” 等二十余种模态配置方式。

课件版面布局、文字和图像模态的标注主要基于视觉语法（Kress & van Leeuwen, 2006）、视觉叙事语篇网络系统（Painter, Martin & Unsworth, 2013）等理论。首先，将课件页面区分为图文并茂页面、纯文字页面和纯图像页面三类，同时将图文并茂页面依据图像和 文字所占的面积大小区分为图像显著型或文字显著型两类并根据图像和文字的空间布局 关系区分图文融合型（文字和图像融为一体）页面与图文互补型（文字和图像各自占据不同的空间）页面。其次，将文字颜色区分为纯色和混合色两类并将文字显示方式区分为直接覆盖在背景图像上、直接覆盖在课件大面积纯色背景上和显示文本框三类。此外，将课件图像区分为主体图像（与背景形成明显颜色反差或携带边框的独立图像）和背景图像两类。就主体图像而言，从及物性过程视角将其区分为叙事图像（具有向量、用体现动作或言语过程）和概念图像（向量缺失、用以描述参与者属性、类别、特征或成分）；按照功能将其区分为和文字具有逻辑语义关系的图像、替代文字的图像以及点缀页面的修饰型图像三类；依据图像再现客观世界的细节程度将之区分为卡通图、写实照片以及抽象图表三种表征形式。最后，根据语境化程度将课件背景图分为高度语境化图像背景和低语境化纯色背景（包括白色底）两类，并将背景图像色调分为暖色调、冷色调以及中性色调三类。

4. 结果与分析

4.1 少儿英语视频直播课堂模态选择特征

师生的口语、手势、教学工具和物理环境模态选择情况见表1。就教师而言，他们主要选择口语来建构概念意义、人际意义和语篇意义（教师话语时长在课堂总时长的平均占比为55.3%，不同类型教师话语按时长占比从大到小排序依次为反馈语、知识讲解语、提问语和指令语），同时经常选择手势（平均130.3 次/节，不同类型手势频次从高到低排序依次为规约手势、拟物手势、指示手势、节拍手势和隐喻手势）来配合其他模态或脱离语言独自表征意义，还会借助各种教学工具（平均23.7次/节，虚拟贴纸使用最为频繁）来交流信息，并会设计教学物理背景（大部分教师在有装饰性背景的物理空间进行授课或佩戴耳机等头饰）来建构意义尤其是概念意义和人际意义。就学生来说，他们也主要选择口语来建构概念意义、人际意义和语篇意义（学生口语输出时长在课堂总时长的平均占比为22.8%，不同类型学生口语按时长占比从高到低排序依次为回答问题、跟读、阅读和主动发言），也会使用少量交际手势（平均10.5 次/节，主要是规约手势）来配合口语表达意义或单独通过身体动作来建构意义，并会使用鼠标或触摸屏来完成书面练习（占课堂总时长的8.2%）。此外，学生会偶尔使用实物教学工具模态来表征概念意义和人际意义，但几乎没有使用虚拟贴纸、数字媒体和课堂物理环境等模态来交流信息。

课件中文字、图像和版面布局模态的选择情况见表2。总体而言，课件制作者大多同时选择文字以及与文字产生紧密逻辑语义关联的概念图像来综合表征概念意义。具体来看，绝大部分（83.1%）课件页面图文并茂，虽然每页课件上文字的出现频率（4 处/页）高于图像的出现频率（2.8 幅/页），但是大部分图文并茂页面中图像相对于文字占据更大的空间，即图像在视觉上更为显著（79.3%）。此外，课件制作者还会选择文字的颜色（黑色最常见，混合色次之）和文字呈现方式（近一半呈现在独立的显性文本框内，其次为直接覆盖在背景图的留白部分或大面积纯色背景上）、主体图像的表征形式（多彩可爱的卡通图为主）、背景图像的语境化程度和色调（冷色调的语境化程度低的纯白色或纯彩色为主）以及图文空间布局（图文互补为主）来强化课件的人际意义和语篇意义。

4.2 少儿英语视频直播课堂模态配置特征

教师在建构不同教学环节意义时对模态的配置情况见表3。

首先，总体而言，课堂的模态配置呈现出明显的多样化和多模态的特点。具体来说，除了在标题呈现环节教师只通过1种模态配置方式来建构意义外，其他各个教学环节的模态配置都出现多样化的特点，涉及3~12种不同的模态配置方式，尤其是在积极评价反馈环节的意义建构中教师采用了多达12 种不同的模态或模态组合。此外，教师选择频率较高的模态配置方式通常涉及2~4种不同模态的密切配合，其中“口语+文字+图像”模态组合和“口语+图像”模态组合是选择最为频繁的模态配置方式。

其次，各种模态在建构不同教学环节意义过程中发挥不同的意义潜势且相互间形成 多样化的协同关系。总体而言，使用便捷且表义性强的口语模态是大多数教学环节意义建构的主要且必要模态，能清楚、直白地传递课堂概念意义、人际意义和语篇意义，而文字、图像、身体动作、教学工具等模态则通过视觉通道对口语主模态进行强化、互补或拓展，通常处于辅助地位。具体来说，口语在语义层确认和强化文字的概念意义并在实体层体现文字的正确发音；适合长时保存的文字模态能强化转瞬即逝的口语模态所表达的核心概念意义并在实体层提供口语核心信息的正确拼写形式，同时文字的字号、颜色、呈现方式也能发挥吸引学生兴趣的人际功能和引导注意力分配的语篇功能；大部分课件图像对口语或文字概念意义进行强化或补充，如限定语言中人称代词的语义范围、为语言提供具体例证或时间、地点、方式等环境因素，同时还能通过表征形式、色彩以及背景语境色彩对比来发挥激发学习兴趣的人际功能和突显信息的语篇功能；身体动作尤其是具有生动性、指示性、补充性特点的手势能对口语或文字或与核心语言相关的主体图像所传递的概念意义进行强化、互补或拓展，还可以脱离语言独立传递概念意义、人际意义和语篇意义；各类教学工具与口语、文字、图像等模态形成强化、互补或拓展关系，不仅能生动、形象地体现知识点的概念意义，还能发挥激发学习兴趣的人际功能和引导注意力的语篇功能。

5. 讨论与建议

基于上述模态选择和配置相关结论，笔者建议外语视频直播课堂的交际者尤其是教 师和课件制作者在设计模态时需要遵循系列原则，涉及模态选择和配置两方面，包括趣味性原则、前景化原则、可及性原则、适配原则、主次原则、经济性原则和动态调整原则。

一方面，课堂交际者在选择模态时需要遵循趣味性原则、前景化原则和可及性原则。

首先，由于兴趣是学好外语的重要前提，课堂是否有趣会影响学生的外语学习兴趣，而同时在网络环境中，身处不同物理空间的师生之间会产生一定的心理距离，会对学习效果产生负面影响，因此，除了考虑课堂本身的话题内容、练习形式等影响学习兴趣的因素外，外语视频直播课堂的教师和课件制作者在选择模态时要遵循趣味性原则，即充分利用各种生动有趣的图像、手势和教学工具模态来打造趣味十足的课堂，激发学生的学习兴 趣，拉近师生的心理距离，进而提升教学效果。

其次，由于被前景化的符号最能引起受众的注意力（Kress, 2010:60），而且一定的学习提示有助于改善多媒体学习效果（Mayer, 2009），因此，外语视频直播课堂的教师和课件制作者在选择模态时需要遵循前景化原则，即依据教学目标和内容的重要程度对某些符号进行突显以引导学生将注意力分配给重点信息，优化教学信息的传递。如课件设计者可以通过图文色彩对比、文字颜色和文本框的合理使用以及图文空间的科学布局来优化课件的版面布局。教师可利用多彩虚拟画笔来画出线条、箭头、圆圈等几何形状来突显课件中的关键文字或图像，还可以选择手势特别是指示手势和节拍手势来强调重点信息等。

此外，教师在选择模态时还需要遵循可及性原则，即除了利用口语、文字、图像等常规网络课堂的表义资源外，还需要充分利用视频直播环境的优势，使更多原本处于幕后的环境成分、工具和技术元素走向台前，甚至是主动创造一些符号资源，使之成为建构意义的模态。如教师可精心准备背景环境、衣着装饰、各种实物教具并充分利用平台的虚拟贴纸、特效、虚拟画笔等技术支撑来辅助意义的表征，进而改善课堂教学效果。

另一方面，教师在进行模态配置时要遵循适配原则、主次原则、经济性原则和动态调整原则。

首先，由于外语视频直播课堂大多数教学环节意义的建构涉及多种模态的协同，而不同模态相互配合来获得最佳交际效果是多模态交际的一个关键因素（张德禄，2015），因此，在外语视频直播课堂的模态配置过程中，教师要遵循适配原则，即根据课程的宏观意识形态、体裁结构、教学目标、内容和条件、师生特点、修辞目的、不同模态的供用特征和词汇语法系统以及相互之间的协同关系，对口语、文字、图像、身体动作、教学工具、物理背景 等模态进行合理搭配组合，使不同模态之间形成正向的协同关系，最充分地表达意义。

其次，由于视频直播外语课堂侧重口语交际，因此，教师在进行模态配置时还要遵循主次原则，即处理好各个教学环节中不同模态的主次关系，高度重视作为主要和重点模态的口语的质量并对其进行精心设计，如提高语音、语调等基本的外语口头表达能力以及提 问语、指令语和反馈语的质量等。此外也要充分发挥文字、图像、手势、直观教具、虚拟贴纸等其他模态的意义潜势，或使它们与口语模态形成正向协同，以强化意义的表达。

再次，虽然外语视频直播教学环境中有多种模态可供选择，但是教师在不同教学环节 常选的模态配置方式通常涉及2-4种不同的模态的密切配合，因此，教师和课件设计者在配置模态时还需要遵循经济性原则，即在意义得到充分表达的情况下，模态的选择要尽可 能简化，无须在任何教学环节把所有模态都用上，避免因模态过多而产生负面教学效果。

最后，虽然多种模态的组合搭配可能会使意义的表达更为充分，但从经济的角度来讲，模态越多交际效果并不一定越好，因此在模态配置过程中，教师还要遵循动态调整原则，即根据不同的教学目标、教学内容、不同模态的意义潜势以及学习者的认知、思维和外 语水平并灵活结合学生的即时课堂反应来增加或减少模态来更为有效地表达意义。

6. 结语

模态的设计事关多模态交际能否成功。本文以优质少儿英语视频直播课程为例分析了外语视频直播课堂的模态设计特征并提炼出了其模态设计需遵循的系列原则。研究结果能让我们更加深入地了解外语视频直播课堂意义的体现过程并有助于切实改善其教学 效果。今后我们可以尝试将一对多外语在线课堂以及其他学科视频直播课堂纳入研究范围，同时将多模态话语分析理论与教育学、心理学等学科进行深度的融合。

基金项目：本文为国家哲学社科基金一般项目“多模态话语建构中模态配置的机制和机理研究”（项目编号：22BYY002）和上海市教育科学研究项目“少儿在线外教英语课堂多模态话语协同及有效性研究”（项目编号：C2021003）的阶段性成果。

（参考文献 略）

（本文首次发表在《山东外语教学》2024年第3期）