面向学生过程表现的协作问题解决能力评估研究

　　来源：中国电化教育 2022年7期

　　作者：吴斓; 余胜泉; 骈扬; 刘阳

　　摘要：立德树人，促进学生全面发展是新时代教育评价改革的宗旨，践行全面发展评价观基于学生全学习过程数据，为此需要借助信息技术实现对过程行为数据的自动采集和分析，提高评估的效率和准确性。该研究以协作问题解决能力为评估对象，探索信息技术创新评估工具的实践路径。在“评估三角”理论的指导下，首先从协作问题解决能力“多维-交互”的本质出发构建三维能力评估框架;其次，依托PSAA平台设计和开发基于过程数据流的协作问题解决能力自动化评估系统，实现集触发行为、采集行为、编码行为、推断能力和报告结果于一体的评估流程，并设计了对过程行为数据特别是会话内容质性特征的自动编码模型;最后，以B市140名初中生为实验对象验证了该评估系统的有效性、有用性和易用性。未来还需不断融合新理论和新技术改进和创新测评方法和工具，助推面向学生过程表现的核心素养评估的落地。

　　关键词：协作问题解决能力评估;人人协作;过程数据流

　　* 本文受北京市教育科学“十四五”规划优先关注课题“人工智能教育应用体系构建研究”(课题编号：3020-0058)资助。

　　一、引言

　　2020年10月，中共中央、国务院印发《深化新时代教育评价改革总体方案》明确指出新时代教育評价改革方向，要以立德树人为主线，扭转不科学的教育评价导向，关注学生全面发展[1]。2021年7月，教育部等多部门联合印发《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》，其中强调要利用大数据、人工智能等新一代信息技术创新评价工具，尤其在评价手段、内容等方面作出明确指示，包括开发能够记录学生学习过程表现，支撑学生德智体美劳全要素评价的工具[2]。

　　破除“五唯”，立足全面发展评价观，其背后的逻辑思路是将评价工作融入育人的每个环节，全方位记录不同场景下学生日常行为表现，基于过程数据的分析与挖掘评估学生各项能力的发展状况。由于数据来源丰富，数据量庞大且结构复杂，对评价技术也提出较高要求。因此，需要以信息技术为支撑实现评价工具的数字化和智能化，实现自动采集过程行为数据、实时分析数据和产生可视化评估报告等[3]，是新时代教育评价改革的重要突破口。

　　本研究将以协作问题解决能力作为研究对象，探索如何借助信息技术创新育人评价工具。首先，协作问题解决能力(Collaborative Problem Solving， CPS)是人类学习、工作和生活中不可或缺的一项重要技能，被世界各国列入21世纪学生核心素养框架中[4]。为此，有必要开展常态化、大规模的评估，有效测量学生此项能力发展水平，支持教师进行针对性反馈与干预，助力学生协作问题解决能力水平的提升[5]。其次，PISA(Programme for International Student Assessment，以下简称 PISA)和ATC21S(Assessment and Teaching of 21st Century Skills，以下简称 ATC21S)率先于2015年发起面向全球中学生的大规模测评项目，正式推动基于计算机的协作问题解决能力评估实践。随着实践深入，一些影响评估过程和结果的关键问题亟待解决，包括如何在多维度上输出结果以表征能力的复杂结构、如何降低协作过程中同伴对被试真实水平产生影响、以及如何实现对过程行为数据(特别是协作会话质性特征)的自动编码等等[6][7]。

　　基于此，本研究试图探索基于过程数据流的协作问题解决能力自动化评估方法，实现从个体在测评系统中产生的过程行为数据(点击流数据和会话数据)中自动抽取评估证据，结合该能力的复杂结构在多维度上输出个体的能力表现，并采取措施控制同伴对个体的影响，保证评估结果的科学性和有效性。该研究是助推全面发展评价观落地，创新育人评价工具方面的一个典型实践案例，为后续实现面向学生过程表现的德智体美劳全要素的评价提供了可借鉴的实践经验。

　　二、协作问题解决能力评估研究进展及关键问题

　　(一)协作问题解决能力

　　协作问题解决能力是个体与同伴协作解决复杂问题过程中所展现的能力[8]，是一个由多种子技能组成的复杂技能集[9]，包括认知的、社会的、动机情感等多方面技能[10]。因此，该能力具有复杂性和多维性特征[11]。大多数研究将协作问题解决能力作为认知性和社会性两方面技能的交互结果。最早由O’Neil等人于2003年确定了协作问题解决能力评估框架的两大维度——“问题解决”(Problem Solving)和“协作”(Collaboration)，其中“问题解决”维度包括内容理解、问题解决策略和自我调节，“协作”维度包括适应能力、协调能力、决策能力、人际交往能力、领导力和沟通能力[12]，该框架为后续一系列研究奠定理论基础。PISA2015项目通过四种问题解决技能(Problem-Solving Proficiency)(探究和理解、表征和系统化、计划和执行、监控和反思)与三种协作技能(Collaboration Proficiency)(建立和维持共识、采取合适的行动解决问题、建立和维持团队的组织形式)的交叉，生成4*3矩阵形式的协作问题解决能力评估框架。ATC21S项目也将协作问题解决能力划分为“社交技能”(Social Skills)和“认知技能”(Cognitive Skills)[13]，其中“社交技能”包括参与、观点获取和社会调节;“认知技能”包括任务调节、学习与知识建构。

　　目前为止，协作问题解决能力评估框架主要以“认知-社会”二维结构为主，近年来随着对学生非认知表现的关注，不少研究指出动机情感、自我调节等会影响个体的协作问题解决能力[14][15]，因此该能力的评估框架有待进一步拓展。由于该能力具有复杂结构，如果只生成单一维度的能力值会过分窄化评估信息[16]，不利于指导教育教学，而且协作问题解决过程中，各能力维度之间可能存在交互作用[17]，因此，在评估协作问题解决能力时需要综合考虑“多维-交互”特点，这为评估工作带来一定的挑战性。

　　(二)基于过程数据流的协作问题解决能力评估

　　基于计算机的测评方式能够创设丰富的协作型任务情境，以非侵入方式采集学生自然状态下的过程行为表现，并以过程数据流的形式存储在日志文件中，支持面向学生过程表现的核心素养和关键能力的评估[18][19]，因而在教育评估领域内备受关注。根据协作同伴的类型不同，基于计算机的协作问题解决能力评估主要包括两种形式——人机协作和人人协作，分别以PISA2015和ATC21S两大项目为典型代表。国内有学者已从合作方式、对话交流类型、合作证据等方面进行了对比和阐述[20]，本研究主要聚焦于两种评估形式中采用的基于过程数据流的评估方法。

　　人机协作中的同伴是基于脚本的计算机代理，学生与计算机代理的交流过程是预先定义的，以PISA2015项目为例，每次任务包括多道试题，为完成每道试题，学生需要与代理进行多轮会话，每个话轮以单选题形式呈现，学生需选出自己认为最适合的选项，代理则根据学生选择结果提供不同回复。测试系统包括“会话区”和“任务区”，“会话区”记录学生每轮会话的选择结果，“任务区”会记录学生的点击行为，例如是否点击了正确的链接，拖拽图标的先后顺序等。评估系统会事先确定编码规则，将每一轮会话的不同选项和“任务区”的点击行为进行组合，关联到不同的评估指标以及获得相应的分值，根据学生在“会话区”和“任务区”的作答结果，自动获取关联的评估指标及分数，学生完成测试后系统自动统计所有评估指标的总分，最后线下基于心理测量模型估计能力值[21]。人机协作的评估方法通过事先定义会话内容以及每一轮会话关联的评估指标，实现基于学生的过程表现自动化累积不同评估指标的得分，便于操作和支持大规模应用。此外，基于脚本定义虚拟同伴的性格特点，能够有效控制评估过程和消除同伴对个体表现的影响[22]。但不足之处是由于技术所限，虚拟同伴还无法真正替代真实的人类伙伴，难以保证获得的是个体在真实情境中的表现，进而影响评估结果的准确性。

　　人人协作中的同伴是真实的人，这种评估方式更接近真实生活，但难以控制，协作过程中会涌现大量丰富的过程行为数据，尤其是在线会话类数据，机器难以理解会话内容，使得从过程数据流中抽取评估证据存在较大困难。以ATC21S项目为例，测试系统包括“会话区”和“任务区”，“会话区”实时记录学生与同伴在线交流的消息，以文本形式存储在日志文件中，“任务区”中以“行为事件”形式记录学生各类操作行为，包括输入、点击、拖拽、移动、悬停等，以事件的形式存储在日志文件中。基于预先设计的编码规则，系统将不同类型的事件转化为具有评估意义的行为指标，并基于事件发生的次数或时长等为行为指标赋予分值，最后将行为指标关联到不同的评估指标上，这些行为指标就好比传统测试中的试题，每个行为指标基于编码规则得到分值，类似于学生在每道测试题上的得分，最后也是在线下利用心理测量模型估计能力值。由于ATC21S项目是跨国性测评，需要进行不同国家语言的转换，因此没有考虑会话内容的分析，导致大量有价值的评估证据流失。此外，在小组构成方面较为单一，该项目采取的是两两协作的方式，学生自始至终和同一位同伴完成四个不同的评估任务，协作情境具有一定的局限性，难以平衡不同类型同伴对个体表现的影响[23][24]。

　　目前，面向大规模的评估工具主要以记录学生在测评系统中产生的点击流数据和会话数据为主。要实现基于计算机的自动化评估包括三个关键环节：创设协作任务情境触发个体产生表征能力的行为数据，从过程性数据中抽取评估证据以及基于心理测量模型估计能力值。由于人机协作和人人协作各自的测试结构不同，导致基于过程数据流的评估思路完全不同。人机协作需要预先定义会话路径，以及每轮会话和任务作答结果关联的评估指标，而人人协作则需要预先在系统中进行数据埋点以实时记录个体的过程行为表现，基于预先定义的编码规则从过程数据流中抽取行为指标，并关联不同的评估指标。但是，PISA2015和ATC21S项目没有完全实现基于过程数据流的自动化评估，其中基于心理测量模型估计个体能力值是在线下完成的，这样容易导致评估周期拉长，评估结果反馈延时，不利于支持教师及时改进教学和促使学生自我反思。因此，需要减少评估流程中的人工干预，实现数据的自动化采集和分析。

　　本研究将探究人人协作评估模式下，基于过程数据流的协作问题解决能力自动化评估方法。打通评估过程中的数据流回路，串起“线上数据编码”和“线下估计能力值”的环节，打造“测试-报告-改进”一体化评估系统，提高评估效率和实现及时反馈。此外，在线会话内容中蕴含着大量能够表征个体团队意识、认知水平的评估证据，如果在评估过程中增加会话内容的分析能够极大提高评估结果的科学性和准确性。本研究将结合我国学生的协作特点增加对会话数据质性特征的分析，以期提高评估结果的科学性和准确性，更加全面细致地反映个体的过程表现。

　　三、基于过程数据流的协作问题解决能力自动化评估方法

　　为保证评估流程的科学性和有效性，本研究依赖能力评估的基础——“评估三角”(Assessment Triangle)，该理论强调“基于证据进行推理”。三角形的三个顶点分别代表能力评估的三个核心环节——认知、观察和解释(Cognition， Observation， Interpretation)。“认知”即明確能力评估框架;“观察”即在特定情境中获取表征个体能力水平的外显行为;“解释”即基于心理测量模型或统计方法推断个体能力水平 [25][26]。

　　基于“评估三角”理论，本研究设计了基于过程数据流的协作问题解决能力自动化评估框架。如图1所示，首先，构建协作问题解决能力评估框架，明确评估对象;接着，基于能力评估框架设计评估任务，在评估系统中进行数据埋点，确保能够采集个体在任务过程中产生的一系列行为表现[27];在评估过程中实时采集个体产生的点击流数据和会话数据;然后，基于预先定义的证据编码规则，从原始数据中抽取具有等级意义的评估指标;最后，基于心理测量模型推断个体能力值，以可视化报告形式输出评估结果。下面从评估框架、系统设计、评估方法三个方面介绍如何实现基于过程数据流的协作问题解决能力自动化评估。

　　推荐阅读：电化教育期刊有哪些