感谢您关注“永大英语”！

高 帆 赵志群

摘要：大规模测评为循证导向的教育研究、实践和决策提供了数据基础。能力测评与问卷调查是大规模测评采集数据的主要方法。参考背景问卷研发的国际经验，本研究构建了我国职业院校学生职业能力发展影响因素的理论模型，整合了环境、活动、个人三个层次和学校、校企、企业三种类型的因素，提出由学生背景、活动特征、组织环境三部分构成的问卷框架。在此基础上设计了包括职业动机、实习实训支持等十二个量表的综合问卷。预测试和大规模测评的数据分析显示，问卷信度和效度良好。调查问卷可用于诊断技术技能人才培养过程中存在的问题和整体把握职业教育体系的状况与特征。

关键词：大规模测评；背景问卷；学习背景；职业动机；职业能力大数据时代，教育评价范式发生了很大变化，国际大规模测评（international large-scale assessment，ILSA）数据对循证导向的教育研究、实践和决策发挥愈加重要的作用。ILSA通常采用能力测评和问卷调查两种方法搜集数据，籍此全面、深入地分析现状、诊断问题并提出对策。与普通调查问卷不同，能力测评背景问卷功能复杂、内容多样、主题广泛[1]。为了提高测评质量，ILSA一般都有相对成熟的测评工具和背景问卷开发流程，积累了丰富的项目实践经验，并建立了庞大的数据库，为教育效能研究创造了条件。然而，国际上开展大规模职业能力测评的研究较少，相应的背景问卷调查相对滞后。在我国职业教育改革创新发展进程中，科学评价职业教育体系的效能，探究职业教育质量的影响因素，需要大规模测评提供数据基础，为研究、教学、管理提供科学依据。围绕职业能力开展的测评和调查不仅要符合职业教育规律，也要适合我国职业教育的实际需要。本研究借鉴国际学生评价项目（PISA）、国际数学与科学学习趋势项目（TIMSS）、国际阅读素养进展项目（PIRLS）的经验，结合大规模职业能力测评项目（competence measurement，COMET），研制适用于我国国情的职业能力测评背景问卷。COMET是世界上首个在多个国家得到实际应用的大规模职业能力测评工具[2]。本研究通过检验大规模测评背景问卷的质量，分析职业院校学生学习背景的基本特点，为拓展大规模职业能力测评的监测和诊断功能，开展职业教育效能研究提供支持。

一、能力测评背景问卷的理论框架

（一）能力测评背景问卷的基本框架

社会建构主义学习观是ILSA设置背景问卷的理论基础，强调学习发生在人与环境相互作用的文化活动参与过程中，了解人与环境的作用机制有助于提升教育效能，因此背景问卷本质上是调查学生的学习背景[3]。以PISA为代表的大规模学生能力测评项目在设立之初就设置有背景调查问卷。随着评价技术的发展，特别是第三代评价理论提倡对评价结果进行判断和反馈，背景调查问卷不再满足于解释测评结果，也用于揭示教育体系要素的复杂关系。例如，教师教学国际调查（teaching and learning international survey，TALIS）就是一个完全由教与学相关背景因素构成，没有学业成就变量的项目，旨在了解参与国家或地区初中教师的背景情况。

问卷内容取决于能力测评的目的、研究问题和测评框架。多元的测评目的、复杂的研究问题和拓展的测评框架使ILSA背景问卷包含的要素越来越广泛。问卷框架用于梳理各要素的关系，多采用以下三种结构[4]：一是根据不同问卷技术适应的问题类型，把测量内容分为事实类、态度类和行为类问题；二是当测评超越学科范畴的认知能力（非认知能力或者跨学科认知能力）时，学习背景作为学校教育和校外学习的交集，分为校内、校外和校内外三个部分；三是以国际比较和跨文化研究为目的的大规模测评借助更为复杂的框架进行不同层次的比较，如基于教育系统的多层次结构划分成个人、家庭和同辈、学校和班级、社区或地区要素，或者从学习过程角度出发把背景问题分成原因、过程和结果。

ILSA常见的问卷内容要素包括学校和学生背景、教与学的过程、学校政策和教育管理、教育成果[3]。学校和学生背景包括学校的类型、规模、区域和资源，班级的规模、教师资质，学生的人口统计学特征和学情特征等，在问卷中主要采用封闭式问题。教与学的过程是背景问卷的核心要素，具体包括学校氛围、教师支持、出勤率、学习时间和课外学习等，涉及学生、教师、校长和家长等不同问卷，潜变量类采用量表，显变量采用封闭/半封闭式问题[5]。学校政策和教育管理包括教育体系特征、父母参与、教师职业发展等学校和地区层次的变量，常见于校长问卷。教育成果包含学校层面的升学/就业率、辍学率，学生层面的认知/非认知能力和素养。

教育效能研究的背景-投入-过程-产出模型（context-input-process-output，CIPO）由美国国际教育成就评价协会（International Association for the Evaluation of Educational Achievement，IEA）于20世纪60年代为研制大规模能力测评项目提出。其优点是涵盖学业成就及其广泛的背景因素[3]。无论测评认知或非认知能力、学科或跨学科能力，该模型都提供了概念框架。CIPO模型的缺点是不能直接作为影响机制探究的理论模型[3]，此模型忽略了背景要素之间的相互联系，很难从纵向角度分析发展趋势。即便如此，CIPO模型仍是目前国际能力测评背景问卷普遍采用的概念框架，对PISA、TIMSS、PIRLS背景问卷的框架结构都产生了重要影响。

PISA2009首次明确背景问卷应遵循教育体系的多层次结构[6]，PISA2012引入CIPO模型，将投入、过程和产出作为横向维度纳入多层次结构（学生、班级、学校、国家/系统）形成矩阵式框架[7]，PISA2015和PISA2018以学科相关和学科一般两类取代原来的多层次结构，结合学生背景、过程和非认知成果形成新的矩阵式框架[8]。鉴于CIPO模型简单分类带来争议，PISA2022在沿用纵向分类的同时，在横向维度上将指标分为学生背景、学生特征、教学与学习、学校环境与背景、系统环境与背景五类主题，共计21个模块[9]。TIMSS和PIRLS项目侧重监测教育趋势，背景问卷历年变化幅度不大。TIMSS1995基于CIPO模型提出学生被期望学习什么、谁来实施教学、如何组织教与学三个基本问题，结合学生、班级、学校、教育系统四个层次建立概念框架[10]。经不断完善，TIMSS2023明确了包含学生、班级、学校、家庭、社区及国家背景的五层次框架，并开发学生、家长、教师、校长和课程专家问卷搜集背景因素[11]。PIRLS项目以家庭、学校（班级）和社区及国家背景的交互模型形成概念框架[12-13]。2011年，PIRLS和TIMSS的问卷均开发了学生、家长、教师、校长和课程专家问卷搜集数据[14-15]，同时PIRLS问卷增加了家庭背景主题。总的来说，PISA问卷比TIMSS和PIRLS问卷的结构更复杂，TIMSS和PIRLS问卷包含的学习背景要素比PISA问卷更精细[3]，三个项目均遵循教育系统内部的多层次结构。

（二）建构我国职业能力测评背景问卷框架

职业能力测评背景问卷的基本任务是搜集解释职业能力差异的学习背景因素。职业能力是一种跨学科、与工作世界紧密相关的领域特殊性能力。ILSA经典项目多以学科能力或者核心素养为测评内容，很少有针对职业能力进行大规模测评的项目。大规模职业能力测评需要攻克跨职业的标准化、测量结果的职业效度、测评成本控制等难题[16]。COMET测评以诊断职业能力发展状况为目标，使用背景问卷搜集与职业能力发展相关的因素。COMET测评最先在德国实施，初始背景问卷基于德国双元制教育体系制定，以教与学的质量、人员支持、环境氛围、校企合作四个主题共八个维度形成双元制质量模型[17]。双元制质量模型鲜明的跨组织性，体现了双元制职业教育体系的特点。

职业学校是我国职业教育体系的最重要组成部分，也是职前阶段职业教育的主要形式。探讨影响学生职业能力发展的背景因素不仅要遵循职业能力发展的规律，也要处理好学校学习与企业实习的关系。从社会建构主义和情境学习理论出发，职业学习是学生通过参与工作世界中的社会实践实现职业知识的社会化建构过程。CIPO模型的背景、投入、过程和产出分别对应主体条件、客体条件、教与学的活动和学生能力。德国的双元制质量框架侧重考查教与学的活动和环境条件，涵盖学校、企业、校企合作三种情况。两个模型都反映了过程因素，即教与学的活动是ILSA背景问卷的核心内容。我国职业学校学习和企业实习的场所、内容、组织、环境和条件，既相对独立又相互影响。职业能力测评背景问卷应考虑学校和企业的跨组织交互。本研究以情境学习理论为指导，以双元制质量框架为参考，结合教育体系的多层次结构，构建我国职校生职业能力发展影响因素的理论模型，见图1。

本模型把影响因素分为环境/组织-活动-个人三个层次和学校-校企-企业三种类型，强调学校和企业协同育人的重要性。学生、教师、企业人员、校企合作构成的四角区域框定教与学的活动空间。学校和企业活动的媒介分别为课程和任务，学生在活动中的身份分别为学生和实习生。在学校，学生学习专业课程；在企业，实习生完成企业的工作任务。

学生是ILSA测评问卷最重要的调查对象。鉴于职业教育体系的复杂性，以及平衡影响因素的广泛性和问卷调查的有限性，本研究专门开发学生问卷。根据理论模型，确定学生问卷框架由学生背景、活动特征、组织环境三个部分构成，见表1。

二、职业能力测评背景问卷的开发

（一）问卷设计

问卷框架首先应明确相关变量，接着将变量逐一操作化处理[18]。显变量使用封闭式选择题，态度、看法、观点类潜变量则采用李克特五点量表，从“完全不认同”到“完全认同”依次记为1~5分。

职业能力发展需要跨组织的学习环境，学生背景不仅包含学生个人、家庭、学校及班级背景，还增加了反映实习背景的变量，包括实习单位类型、实习时长和实习机会来源。

活动特征包括主观条件（动机）和客观条件（教与学的特征）。内源性动机不仅是教与学活动的目标，也是条件。促使学生对职业形成稳定的意向和情感，是高质量职业教育的独特价值，因此，应重视职业情境促进人格发展的因素[17]。学生以“准从业者”身份学习或工作的动机，不仅源自绩效驱动和兴趣激发，也涵盖了对职业和企业的认同感与承诺。按照职业教育学研究的认同感、承诺和工作道德的扩展理论模型[17]，以及工业组织心理学开发的“承诺”[19]和“动机”[20]量表，职业动机量表不仅包含与具体专业无关的、普遍性的工作兴趣和绩效导向，也涵盖基于“准从业者”身份的认同感与承诺。

有组织的教与学是学生能力发展的重要基础。职校生不仅接受学校的专业教育，同时也在虚拟或真实的工作环境中通过工作实践学习[21]。相关变量包括理论与实践学习的人员支持与互动、教学组织和教学方式。理论学习变量参考PISA问卷和课堂环境调查问卷WIHIC[22]，包括教师支持、教学创新、差异化教学、课堂互动；实践学习变量参考COMET测评德国背景问卷，包括实习实训支持、任务特征、工作过程导向。

组织环境关注校企整体环境对职业能力发展潜移默化的影响，特别是学校对实践的鼓励和企业对学习的重视，这些跨界复合要求对创造力培养至关重要[23]。组织环境的变量有学校实践氛围、企业学习氛围和校企合作，量表设计主要参考组织创新氛围的成熟量表[24]和COMET测评德国背景问卷[25]。

（二）预测试

问卷质量控制包括信度和效度两个方面[18]。针对内容效度，邀请三位专门进行职业能力测评研究的教授、三位高职院校教师、五位职业技术教育学专业研究生共11人审阅问卷的相关性、全面性、科学性和合理性，并根据反馈意见进行修订。为进一步完善问题选项、检验量表信效度并避免表述歧义[5]，采用方便性抽样，对广西等五个省份八所高职院校学生进行预测试，通过网络发放并回收问卷1323份，有效问卷861份（占65.1%），选取其中具备实习经历的441份（占47.7%）对所有量表进行项目分析，再对多维量表进行因子分析。

把选取数据随机平均分成两份（220和221），对任务特征量表和校企合作量表分别进行探索性因素分析和验证性因素分析。任务特征量表的结果与基于工作特征理论的理想结构基本一致。为了提高“综合性”的聚合度，删除因子负荷较低的题项。虽然校企合作量表的探索性因素分析结果符合理论模型，但是验证性因素分析结果显示两个维度的区分效度不佳，因此取消了维度划分。其他单维度量表根据项目分析结果，删除表现不佳的题项，见表2。

三、基于大规模测评的背景问卷调查

工业和信息化部委托服务型制造研究院和北京师范大学对服务型制造业急需的五类专业32所职业院校1541名学生进行大规模职业能力测评，经预测试修订的问卷成为此次大规模测评背景调查的工具。调查采用网络问卷形式。鉴于毕业生具备更全面的实习实训经历，对影响职业能力发展的企业环境有更深入的了解，可以提供完整的背景问卷信息，本研究选择其中961名应届毕业生数据检验问卷质量，并分析学习背景特点。

（一）信度检验

经统计分析，职业动机和任务特征各维度内部一致性α系数分别在0.85和0.89以上。工作道德量表的信度为0.87，除此以外其他单维度量表的信度高于0.90。多维度量表的合成信度以及同质性系数可以反映分维度能否代表总概念[26]。职业动机各分量表的合成信度高于0.80，总量表合成信度为0.97，量表总体同质性系数为0.65；任务特征各分量表的合成信度高于0.90。总量表合成信度0.97，量表总体同质性系数为0.93，各项数据说明量表信度良好。

（二）效度检验

职业动机量表基于斜交因子模型得到的CFA结果最佳，RMSEA=0.081，CFI=0.93，TLI=0.92，SRMR=0.046。任务特征量表基于双因子模型得到的CFA结果最佳，RMSEA=0.080，CFI=0.97，TLI=0.96，SRMR=0.030。任务特征的全局因子影响大，故职业动机量表采用分量表报告法，任务特征采用总量表报告法。表3和表4说明以上量表的区分效度和聚合效度良好。所有单维度量表的CFA的结果为RMSEA=0.051，CFI=0.96，TLI=0.95，SRMR=0.025，整体结构效度良好。

效标效度方面，以COMET测评总分为标准，分析了各变量与测评总分的相关性。不同个人、学校和实习背景学生的职业能力存在显著差异，校企合作与测评总分相关系数r为0.13，p＜0.01，其他变量与测评总分相关系数r在0.27～0.46，p＜0.01。工作道德、差异化教学、课堂互动、学校实践氛围与测评总分的相关不显著。除工作道德以外的其他四个反映学校环境的变量与职业能力不相关，这与理论设想不符。无论职业能力水平高低，学生对这些变量的评价普遍较低，说明当前职校环境非常缺乏这些要素，调查数据无法反映其影响。

（三）特点分析

职业动机对职业能力的发展至关重要。职业认同与承诺、企业认同与承诺、工作兴趣、绩效导向表示四种不同来源的动机，和工作道德一起，共同反映职校生在内外因素共同作用下的职业意向。图2是职业动机与工作道德构成的雷达图示例。其中每类专业的数据采用标准化Z分数，正值意味着该类专业拥有高于总体平均值的数值，反之则意味着该类专业数值低于总体平均值，这样处理可以让不同专业具有可比性。由图2可知，各专业学生对相关职业的意向呈现鲜明的差异：自动化类为绩效导向的动机特征，伴有低水平的工作道德；机械类为兴趣导向的动机特征，伴有高水平的工作道德；汽车类的职业动机和工作道德均属于样本总体的平均水平；计算机类为认同与承诺导向的动机特征，伴有低水平的工作道德。类似的差异也被COMET国际比较研究证实[17]。

COMET测评将能力水平由低到高分为名义性能力、功能性能力、过程性能力和整体设计能力，能力水平越高，能力发展越全面，创造性地完成综合任务的能力越强。图3是不同能力水平学生对相关背景因素的评价情况。学生对差异化教学、学校实践氛围、课堂互动和校企合作的评价普遍偏低，反映了目前职校在这些方面投入较少。一线教师面对既定的教学安排，如果没有配套支持很难进行差异化教学和深度互动；学校缺乏建设工作导向的学习氛围的意识。学生缺少问题相关背景也会影响其调查效果，比如无实习背景的学生缺乏校企合作的直接经验，降低了相关题项的回答的信度。

不同水平学生对教学活动过程的评价差异明显，高水平者对实习实训的活动特征、人员支持、工作导向的评价明显高于较低水平者。这次调查对象包含现代学徒制试点单位和职业教育创新项目院校，部分学生参与到有效的职业教育创新实践，其中高水平学生对专业课老师的支持和创新也给予较高评价。不过，在更复杂的多水平线性模型中，以行为频次为测量依据的“教学创新”对职业能力有负面影响[27]，这提示人们只有当教学改革切实提升了学生学习质量时，才能发挥积极作用。在本次调查样本中，中低水平学生认为企业学习氛围较差，多数学生对学校实践氛围和校企合作的评价都较低，体现了学生对校企环境氛围的“隐性”合作感知较低，反映其对优质实习实训机会的渴望。

四、研究展望

COMET测评证明了背景问卷调查不仅能诊断技术技能人才培养过程中学生、教师、学校和企业等不同方面存在的问题，还有助于整体把握跨职业院校和职业教育体系的状况与特征。目前，大规模职业能力测评背景问卷的研究依然面临调查对象的群体多样性和利益相关方多种诉求的现实问题。

职业能力测评面向高度异质性的学生群体，不同教育背景、培养模式都会导致学生对问卷调查相关信息的理解程度有巨大差异。比如，当前企业实习集中安排在高年级，低年级学生基本没有任何实习经历，无法完成问卷中有关实习的题项。而研究发现，实习经验对职业能力发展具有重要影响[27]。职业能力测评的背景问卷有必要提高精细化水平，即根据学生的总体分布特征划分子群，在确定背景问卷基本结构及内容前提下，增设适应特定子群体的专门题项，以提高问卷的针对性和灵活性。

职业能力测评及背景问卷的调查结果不仅受到教育管理部门和职业院校的关注，也深受企业的关注。同为职业教育的利益相关者，他们对职业能力测评及背景调查的诉求有所不同。教育管理部门希望通过能力测评的纵向追踪功能掌握职业院校人才培养质量的变化趋势，而职业院校希望利用能力测评提供的横向诊断数据制定下一步改进计划，企业则希望借助能力测评横向诊断和纵向追踪的多方信息了解职业院校的人才培养质量及发展潜力。背景问卷为配合职业能力测评，应兼顾横向诊断和纵向追踪的双重功能，如大型国际教育质量监测项目一样，建立系统化和结构化的问卷框架，明确问卷调查的主要内容和关键维度，形成稳定的基础变量，在此基础上建立可持续观测的重点变量，为准确的统计分析提供数据基础。

（参考文献 略）

（本文首次发表在《中国考试》2024年第8期）