协作式问题解决能力测评方法的发展与局限_郭少阳.pdf

协作式问题解决能力测评方法的发展与局限郭少阳 杨向东摘要 自 世纪技能评估与教学项目（）和国际学生评估项目（）采用计算机仿真任务对协作式问题解决能力进行测评以来，在证据中心设计的指导下，协作式问题解决能力的测评方法取得了长足的发展，也出现了许多新的问题。就发展来说，要素观与整合观两种取向的测评框架开始融合，被试的解题过程和感官体验日趋真实，且出现了描述多维结构与多模态数据的复杂模型。就问题来说，实证研究对测评框架的结构效度意见相悖，且缺乏不同框架之间的比较研究；评分过程重计量而轻定性，以行为频次计分妨碍了模型的解释力；任务创设与测评框架脱节，仅能作为诱发协作行为的平台，却未能在框架水平上分析任务设计与被试表现的关系。面向未来，协作式问题解决能力测评应加深能力、任务与证据模型的结合，降低测评工具的开发成本，通过诊断和预测助力学生能力的培养。关键词 协作式问题解决能力；素养测评；证据中心设计；真实性评价作者简介 郭少阳 华东师范大学上海智能教育研究院博士后研究员（上海）杨向东 华东师范大学教育心理学系教授（上海）一、引言随着信息时代的到来，现代社会的岗位分工日趋精细化，不同工种之间的交流、协作变的尤为重要，两人或多人共同协作的工作形式日益成为推进工作进程的最小单元。工作要求的变化推动了教育理念的变革，近年来，随着以 世纪技能评估与教学项目（，简称）和 国 际 学 生 评 估 项 目（，简称）为首的国际教育评估组织将学生个体的协作式问题解决（，简称）能力纳入测评范围，用信息技术支持下的计算机仿真任务实施测评，有关协作式问题解决能力测评方法的研究日益成为学界关注的热点问题。本文系全国教育科学“十三五”规划 年度国家一般项目“素养导向的嵌入式测评系统研究”（项目编号：）和华东师范大学人文社会科学学科交叉融合项目“中文写作智能化评估与辅导系统”（项目编号：）的研究成果。和 开发的协作式问题解决能力测评方法与传统的纸笔测验有明显不同。就测验任务来说，技术支持下的协作式问题解决能力测评用基于“仿真任务情境”的过程性测验替代传统的自陈式题型，从而大幅提高了测评工具的生态效度。就测评媒介来说，协作式问题解决能力测评用灵活的人机交互界面替代单调的纸笔测验，并利用游戏化测评等隐秘测量方式降低被试的测验焦虑。就测评数据来说，除了传统的作答反应外，反应时间、行为序列等多模态指标也逐渐被用于协作式问题解决能力评估。诚然，大量新技术的出现和应用无疑会促进协作式问题解决能力测评的发展，但从另一个角度来看，新技术在与教育测评实践相结合的过程中，必然也会带来新的研究问题。在此之后，袁建林、吴忭等人、贺涵镜、孙（）等人和施特夫勒（）等人从协作式问题解决能力测评的多个方面展开研究，尝试优化协作式问题解决能力的测评方法。然而，虽经多方改进，当前协作式问题解决能力测评在理论框架、任务创设、评分与建模三个方面上仍然存在许多被忽视的不足。本研究意图在袁建林和刘红云对 和 测评方法研究的基础上，综述近年来协作式问题解决能力测评方法的发展与局限，并借鉴诸如问题解决、协作等其他素养测评取得的成果，给出协作式问题解决能力测评方法的改进和优化建议。二、基于证据中心设计的协作式问题解决能力测评方法协作式问题解决能力是“个体有效地参与到由两个或两个以上成员组成的团队之中，为了解决问题，尝试通过沟通和理解，汇聚团队成员的知识、技能和努力最终找出解决方案的一种个人能力”。目前，技术支持下的协作式问题解决能力测评主要包括“人人交互”和“人机交互”两种模式。前者以 为代表，重视生态效度，基于人与人之间的真实互动来提取证据；后者以 为代表，追求测验效率，利用高度结构化的测评任务分析人与计算机代理程序之间的交互过程。除了在交互对象上有所不同，人人与人机两种模式在测评方法上非常相似，一般都遵循证据中心设计（）来开发测验。证据中心设计由美国教育考试服务中心（，简称）的梅斯雷弗（）等人提出并完善，是一种基于证据来实施教育测评的方法。如图 所示，该方法以能力模型、任务模型和证据模型三个部分最为重要，分别对应测评框架的理论建构、测评任务的开发设计以及基于过程性评分的能力建模。首先，测评框架的理论建构一般源于领域分析、文献研究和专家研讨，它决定了测评工具期望测评的能力内涵和维度结构，是测验开发的出发点和结果分析的落脚点。其次，要对被试能力进行评估，就需要为被试提供能够施展能力的任务情境。在开发任务时，除了要在设计上保证测评任务 能够诱发理论框架中预设的能力或行为表现，也需要通过预测试、认知任务分析、专家评定和程序压力测试等实证方法对测评任务进行评估，切实保证任务能诱发所要评估的能力。再次，被试在测评任务中会产生大量的过程性数据（如关键事件、行为序列和对话内容等），故而需要证据模型来对数据进行标注、评分和建模，从而评估出被试的能力水平。在这一过程中，证据模型与能力模型是双向互动的。一方面，证据模型需要依靠能力模型提供的理论指导来评分和建模；另一方面，能力模型也需要根据证据模型得出的统计结论来对理论框架进行调整和优化。最后，依据证据中心设计的思想，测验开发的过程也就是将能力、任务与证据模型三者有机结合为统一整体的过程。图 证据中心设计的测验开发示意图需要指出的是，证据中心设计中的能力、任务与证据模型本身仅是具有指导意义的测验开发理论，只有通过与协作式问题解决能力这个具体素养结合，才能获得评价测验质量的实质依据。因此，本文以证据中心设计为框架，结合当前协作式问题解决能力的测评实践，论述既有测评方法的发展与局限。三、协作式问题解决能力测评方法的新进展（一）能力模型：要素观与整合观框架的融合由于协作式问题解决是一种具有复杂结构的高阶能力，因而很难从其宏观概念出发直接解析出理论框架。为了降低框架建构的难度，如表 所示，既有研究主要从“要素观”与“整合观”两种视角来进行测评框架的理论建构，并逐渐出现了二者融合的新取向。.要素观框架要素观是以概念分解的方式来将协作式问题解决能力拆解成若干彼此相对独立的要素，并以要素之和表征整体的测评框架建构取向。这种建构取向的好处在于可以大幅降低测验开发的难度，仅需要分别对各个要素进行测评 表 协作式问题解决能力的测评框架建构取向提出者主要维度要素观史蒂文斯和坎皮恩（）（）冲突解决；（）协作问题解决；（）沟通；（）目标设定和行为管理；（）计划和任务合作。（）（）适应性；（）人际关系；（）协调；（）领导力；（）决策；（）沟通。（）（）清晰地沟通（包含 个子维度）；（）与他人配合（包含 个子维度）；（）解决问题（包含 个子维度）。（）（）社会技能：参与、观点获取、社会调节；（）认知技能：任务调节、学习与知识建立。（）（）团队效能（包含 个子维度）；（）任务效能（包含 个子维度）。整合观（含融合取向）罗斯切尔和泰斯利（）（）对目标知识的分享；（）对问题理解的分享；（）对解题方案的分享。（）（）建立和维持共同的理解；（）采取恰当的行动解决问题；（）建立和维持团队组织。贺涵镜（）（）建立与维持共同的理解；（）明确自己和他人状态；（）角色与团队分工；（）监控和反思。孙（）等（）（）建立共同理解；（）配合解决问题；（）维持团队功能。即可实现对整体能力的评估。然而，由于概念分解的过程容易受到研究者主观因素的影响，不同研究者对同一概念的解析结果会出现明显的差异。例如，史蒂文斯（）和坎皮恩（）认为应从“冲突解决”“协作解决问题”“沟通”等五个方面评估协作式问题解决能力；美国评估、标准和学生测试研究 中 心（，简称）强调“适应性”“人际关系”“领导力”等六个方面的因素；世纪技能联盟（）关注“清晰地沟通”“与他人配合”“解决问题”三个维度；和美国高考（）则从“协作”和“问题解决”的二元视角分别建立框架。显然，上述要素观框架在测评内容上虽偶有重合，但其主要维度之间往往差异很大，个体在协作解决问题的过程中究竟需要何种要素仍然存在争议，且考虑到要素之和往往不同于整体，其内容效度也尚需进一步的 研究。.整合观框架整合观把协作式问题解决能力视作一个统一整体，根据个体协作解决问题的过程来构建框架。整合观的建构取向可追溯至罗斯切尔（）和泰斯利（）为解释个体协作解决问题的过程而建立的联合问题空间模型。该模型认为，个体在协作解决问题的过程中，需要不断监控各种理解上的分歧，基于他人的想法或知识进行推理来解决冲突，并通过协商和共享知识来实现认知上的趋同，最终建立完备的联合问题空间来解决问题。继承了此建构思路，从“建立和维持共同的理解”“采取恰当的行动解决问题”“建立和维持团队组织”三个维度考察被试在不同问题解决阶段（探究与理解、表征与形成、计划与执行、监控与反馈）的表现。然而，由于 的框架与问题解决的不同阶段绑定，这就要求测评工具必须明确区分出被试处于何种阶段，也就迫使研究者选择结构化程度高、操作空间低的人机交互模式。.两类框架的融合为改善要素观与整合观框架存在的问题，贺涵镜和孙等人尝试在整合观的视角下融合要素观的思想，先将协作式问题解决能力视作一个整体或参考问题解决的过程建立若干主维度，再将各主维度所需的具体技能解析为子维度或行为指标，最后借助因素分析的方法保证其结构效度。例如，在“配合解决问题”主维度下设置“回应他人”和“监控执行”两个子维度，进而在子维度下设置“讨论行动结果”等具体行为指标。可惜的是，上述研究主要采用数据驱动的方式来追求统计上的最优解，所建框架缺乏理论驱动的验证性分析。正如孙等人在讨论中所说，“我们的统计结果仅能为理论模型提供部分支持（）”。综上，虽然目前协作式问题解决能力测评实践中采用的测评框架仍以 或 为主，但学界已在尝试开发具有融合特色的新框架来更好地解析协作式问题解决能力的复杂结构。（二）任务模型：日趋真实的测评任务随着以核心素养为导向的新一轮课程改革不断深入，传统自陈式测验愈发难以满足准确评估学生素养的客观需要，“真实性评价”的测评理念日益成为当前素养测评的最优解。任务模型中的真实性一般指任务情境对现实生活的仿真程度，可从解题过程和感官体验两个角度进行解释。具体到协作式问题解决能力的测评领域，在 和 的引领下，虽然既有研究在任务创设上均采用计算机仿真技术，但其真实性发展的侧重点却有所不同。协作式问题解决能力测评的仿真任务包括人人交互与人机交互两种类型，前者注重解题过程，后者注重感官体验。就人人交互来说，如图 上半部分所示，被试需要协作解决的问题正由简单固定的结构良好问题（如图）向复杂开放的结构不良问题转型（如图），通过提高被试活动的自由度来增强解 题过程的真实性。同时，协作者间的沟通交流成本也在不断降低，从单纯的文本输入向实时语音及视频过渡，最大程度还原被试在现实生活中的协作情境。就人机交互来说，如图 下半部分所示，被试所处的协作环境愈发灵活生动，从“按钮式”的操作界面（如图）发展到具有第一人称视角的游戏化虚拟世界（如图）。此外，人机交互测验也在努力提高计算机代理程序的智能水平，结合会话代理技术等方法弥补人机与人人交互在体验感上的差异。就能力测评的准确性而言，过程真实显然比体验真实更加重要，但感官体验的提升也能有效降低测验焦虑，提高被试的测验动机。未来，测评任务的创设需要将过程与感官并重，全面提升测评任务的真实性。图 协作式问题解决能力的测评任务 任务来源：空调的使用；协作编程；注射实验；第一人称视角协作闯关任务。（三）证据模型：愈发复杂的统计模型个体的协作式问题解决能力隐藏在其协作解决问题的过程之中，要对这种潜在特质进行评估，就需要在过程数据中挖掘潜在能力与行为指标之间的关系，并借助统计模型来化潜为显。相比于使用因素分析（）类模型或者经典测量理论等其他方法进行能力估计，既有研究多采用项目反应理论（，简称）模型建立协作式问题解决能力与行为指标间的关系。模型侧重分析题目（行为指标）质量和估计被试能力，其本质是利用事前假定的题目得分概率与被试能力间的关系，建立题目、被试与得分概率间的数学函数。依据模型的复杂程度，可将 模型划分为基础模型和衍生模型两类。基础模型一般包括 和 模型及其多级计分版本（如分部计分模型和等级反应模型）；衍生模型则是在基础模型上做多维度、多 水平、多类别以及多模态等方面上的二次开发。考虑到测评数据的复杂性以及模型拟合、简化和解释等方面的因素，不同研究者在构建统计建模时所考虑的因素和侧重点各不相同，所构建的 模型也愈发复杂。在测评实践中，为了协调协作式问题解决能力的多维结构与传统 模型的单维性假设之间的矛盾，早期研究者往往会选择建立多个 模型来分别估计不同维度的能力。例如，就在不同行为指标的基础上，分别建立了两种 模型来独立估计被试在社会技能和认知技能上的能力水平。然而，这种针对不同维度分别建模的方法虽然简单，但它既不能直接反映多维指标或能力间的共变关系，也无法完整系统的评估测验质量。为此，施特夫勒等人使用多维等级反应模型（）进行测验分析，利用一个模型来同时评估五个维度上的题目质量和被试能力，提高了模型的解释力。此外，与上述依照测评框架来评估维度的方法不同，袁建林等人针对人人交互模式中同组被试间二元数据（）彼此依赖的问题提出了另一种多维模型的建模思路。首先，他们将行为指标分为两类，一类为与角色身份无关，两名被试均可自由作答的公共指标（角色、均可作答）；一类为针对特定角色身份而设计的角色指标（如仅角色 能作答而角色 无法作答）。其次，他们将任务中的各种角色身份分别作为单独的维度，用以表征各类角色身份下的整体协作式问题解决能力。最后，以公共指标作为角色、的共同题，结合指向特定身份的角色指标，即可建立项目内多维 模型（）。除了常见的行为指标，近年来学界也在尝试利用问题解决过程中的多模态数据。莫莱纳尔（）等人将反应时与行为指标联立而建立的隐马尔科夫 模型（），舒（）等人为描述行为序列中的能力变化而建立的马尔科夫 模型（）均在此列。四、当前测评方法中存在的局限（一）能力模型：多种框架的结构效度与竞争问题目前，学界一般采用因素分析的方法研究所测能力的结构效度，旨在基于行为指标间的相关或协方差矩阵探索或验证测评框架的结构效度以及测验结果的内部一致性信度，必要时也可以利用因子分来估计被试的能力水平。对于协作式问题解决能力的框架结构，学界不但在理论上众说纷纭，在实证研究上也未能取得一致的统计结论。例如，袁建林构建的两因子结构方程模型将协作式问题解决能力应分为“协作”与“问题解决”两个维度；而贺涵镜则通过拟合双因子模型（）反对拆分协作式问题解决能力，认为它是介于各种特殊因子（如角色与团队分工、监控与反思）之上的一般因子；甚至，虽然受限于评分与数据类型的影响（详见证据模型部分），但根据孙等人的研究结果，即便使用相同的行为指标评价两种不同的测评任务，其主成分分析得到 的框架结构也存在差异。既有研究有关结构效度的相悖结论已然引起了学界的重视，研究者也在尝试构建新的理论框架来解析协作式问题解决能力。然而，单纯寻找新框架的研究方法无助于解决问题，反而会创造出更多的“悖论”。究其原因，有关协作式问题解决能力测评的实证研究通常仅围绕各自构建或选定的测评框架来设计任务和收集证据，着力验证自身所选框架的合理性，既不会收集其他框架涉及的指标，也未曾考虑不同框架间的比较问题。如果把协作式问题解决能力比作一个总体，那不同的测评框架则可视为从总体中抽取的不同样本，而哪种样本能够更好地代表总体才是决定结构效度的关键所在。显然，既有研究的框架验证方法仅是在每个样本上分别寻找局部最优解，即使能够证明框架与模型拟合，也无从找到最具总体代表性的框架结构。（二）证据模型：重计量而轻定性的评分方法在对行为事件或对话记录等过程数据进行证据提取时，为了提高评分效率，研究者往往会采用重计量而轻定性的评分方法，忽视对话或行为背后的实质内涵，仅以关键词或关键事件发生的频数作为行为指标。以 对“互动”技能的评分为例，如表 所示，理论上“互动”水平的高低主要取决于互动的方式而不是数量，但在评分算法中却使用互动次数为指标进行评分。换言之，研究者希望测量的是被试互动的方式，而实际得到的却是被试互动的次数，虽然互动频数的多少也能体现出互动方式的差异（积极互动被动应答不互动），但这种间接推论总归与测评框架中所描述的水平差异不同。表 中“互动”技能在能力描述和评分算法上的映射关系水平划分在能力模型上的水平描述指标与能力的推定关系低水平既不主动发起互动，也不回应他人发起的互动未发生对话或对话频数较少中水平仅被动地回应他人发起的互动或疑问对话频数适中高水平积极发起或促进互动行为对话频数较多 在为某一维度设计指标时，研究者期望指标间的共变取决于其所属的共同维度。然而，如表 所示，由于不同行为指标在协作时能被观察到的概率不同，各个指标的观察频数会存在明显差异。因此，若以频数直接作为观察分数或者简单折算为等级数据来建模，会使指标间的共变关系额外受制于观察概率本身的高低，从而降低统计模型的解释力。换言之，基于频次数据拟合而来的统计模型，其实质内涵可能仅与指标频数的相似程度有关，与需要验证的理论假设关联较小，这也是导致已有研究中理论假设难以被实测数据验证的原因之一。有鉴于此，未来研究应尝试对行为指标做定性评价以减少因简单计数带来的效度误差。表 协作式问题解决能力测评中行为指标的频数统计表维度指标最小值最大值均值中位数标准差建立共同理解提出问题解决方案在他人意见的基础上改进方案通过提问 复述来确认理解打断他人的发言协商讨论之后再采取行动取笑、批评或侮辱他人和他人说话时不予回应 为了更准确地分析协作者间的对话内容，贺涵镜基于人工智能领域的自然语言处理技术（），通过扎根理论和卷积神经网络依据测评框架对协作者间的对话内容进行分类，成功识别出与测评指标相对应的有效对话，避免了 因缺乏语义分析而可能将无效对话也纳入频数统计的问题。可惜的是，由于目前人工智能尚不能完全理解人类对话的前后关联和深层含义，该方法仍然需要以频数进行计分，未能解决评分过程缺乏定性分析的核心问题。在人机交互模式中，得益于高度结构化的任务情境和低自由度的操作空间，研究者可以依据测评框架中的水平差异在任务情境中预设对应的行为序列，通过操纵计算机代理程序的反馈内容诱发并捕获被试的行为序列，再按照行为序列与测评框架的映射关系进行赋分，从而在一定程度上实现定性评价。但是，任务情境和操纵空间上的便利性也使得其解决问题的过程更像是“适应机器”而非“与人协作”。虽然也有研究认为人人交互与人机交互模式的测评结果并没有显著差异，但前者的生态效度仍然存疑。（三）任务模型：与框架脱节的测评任务设计依据证据中心设计，测评任务的开发需以理论框架为指导，通过预测试和认知任务分析等方法保证被试在任务过程中能够施展出框架预设的能力与行为。但在实践中，考虑到理论框架的复杂性，研究者通常会用更抽象上位的宏观概念来替代理论框架，仅关注任务能否诱发协作行为而忽视理论框架的具体要求和解决问题的认知过程。例如，袁建林虽然选用了 的测评框架并描述了解决问题的技术路线，但却并未依据框架来分析被试在任务中的认知过程和具体表现，仅以“参与该任务”“为问题建立多个解决方案”“积极评论自己的行为”等观察指标作为判断任务质量的依据。事实上，目前协作式问题解决能力的测评任务虽然在形式上较传统测验更加仿真和复杂，但在设计上却明显缺乏理论指导。与结构清晰、指向明确的传统题目设计相比，协作式问题解决能力的测评任务仅是漫无目的地为被试提供自由发挥能力的平台，未能在框架水平上全面考虑任务设计与被试认知和行为的关系。与框架脱节的测评任务设计会导致三种后果。其一，难以通过不同的测评任务提炼出具有跨任务一致性的维度和要素，不利于理论框架的改进和优化。其二，在取证时只能根据被试协作过程中的实际表现按图索骥般被动地寻找行为指标，无法保证能够涵盖测评框架要求的所有方面（如表 中频次为 的指标）。其三，在评分时很难区分同一情境下不同被试行为表现的水平差异，被迫以频次替代水平，降低测验的信效度。五、对测评实践未来发展的展望（一）能力、任务与证据模型的深度结合通过上文的论述不难看出，当前协作式问题解决能力测评工具的开发虽然在流程上符合证据中心设计的要求，但在实施细节上却相去甚远。未来，研究者应着重加强能力、任务与证据模型的内在联系，用三位一体的方式开发测评工具。在选择或构建能力模型时，研究者不仅要确定希望测评的维度及其下属要素，还要在要素层面上明确具体地描述不同能力水平的典型表现，为测评任务的开发设计和过程数据的评分建模提供理论指导。此外，研究者也应考虑多种测评框架的竞争问题，通过将框架与具体的测评任务深度结合（详见第四部分第三小节），从不同任务背后的认知加工过程解析出具有跨任务一致性的维度和要素，通过理论分析和模型比较来优化测评框架的结构效度问题。在创设测评任务时，除了要继承现有任务在真实性上的优势，还要将测评框架所预设的水平差异纳入认知任务分析的范畴，结合任务内容总结出能力差异在行为上的具体表现，并以此为基础在要素层面上设计与水平描述相一致的行为指标，从而建立起测评任务与理论框架和评分建模的内在联系。在评分建模时，研究者可以将被试的实际表现与预设的行为指标挂钩，以指标对应的水平等级替代行为频次进行计分，进而通过 模型估计被试能力或者利用因素分析来优化测评框架。通过这种方式，不但可以令测评工具的开发过程更加符合证据中心设计的指导思想，还能令测评框架、任务设计与评分建模在实质内容上相统一，有效改善前文提到的诸多测评问题。（二）测评工具的低成本开发途径基于仿真情境的测评方法虽然有着得天独厚的优势，但相关的研究成果却远少于传统测验，这显然与其较高的技术门槛和开发成本有关。这些成本不仅体现在测评任务的内容设计和数据分析的复杂性上，也体现在仿真引擎和图形界面的开发上。在保证任务与框架深度结合的前提下，沿着测评任务在真实性上的发展趋势，本文尝试从解题过程和感官体验两个方面给出测评任务的低成本开发途径，降低从事仿真测评研究的门槛，使得更多的研究者能够参与到协作式问题解决能力测评的实践中来。.基于社交和在线办公软件的任务设计从解题过程的真实性来说，研究者可利用社交软件和支持多人实时编辑 的在线文档作为任务设计的媒介，设计如“协作式写作”“协作制作”等与现实工作场景高度一致的任务情境来真实反映被试协作解决问题的过程。以此为基础，通过对录像和聊天记录的分析来评估被试能力。.基于联机自定义电子游戏的任务设计从感官体验的真实性来说，研究者可以基于支持多人联网操作的、允许自定义任务设计的、能够实时通讯的电子游戏（如在线即时战略游戏、角色扮演类游戏 等）开发游戏化测评任务。游戏化测评是借助游戏的形式来创设任务情境以提高被试测验的动机和参与度，通过记录和分析个体在游戏中的行为表现（即过程数据）来对个体能力进行评估的测验形式，施特夫勒等人表明游戏化测评技术可用于协作式问题解决能力的评估之中。在自带任务和地图编辑器的电子游戏上进行二次开发，既能够借助电子游戏中内置的丰富图片和音频素材快速搭建仿真情境，又可以按照研究者的意图自由设计复杂的任务内容，是一种低成本高产出的任务开发途径。（三）以诊断和预测为目的的测评取向近年来，教育测评的出发点正在由“评估能力”向“以测助学”转型，如何发现和改进个体在认知上的不足之处，进而预测其未来的行为表现日益成为学界关注的热点问题。在相关领域，哈尔平（）和伯克（）以工作情境中通过电子邮件来沟通协作的任务为例，基于霍克斯（）过程构建了二元回应性模型（），使研究者可以根据被试在过去时间点上的已有行为预测其将要进行的行为；舒特（）等人利用贝叶斯网络（）解析了被试在游戏化测评任务（植物大战僵尸）中的问题解决过程；李莉等人基于认知诊断模型（）开发了适用于 岁儿童的数学问题解决认知诊断测验。除了上述这些传统的统计方法外，以机器学习为代表的一系列数据驱动的统计方法也开始在教育测评领域崭露头角。孙鑫等人利用游戏的 来预测学生的推理能力和数学成绩；韩（）等人采用随机森林（）方法从 的过程数据中挖掘反映问题解决水平的关键特征。未来，随着以诊断和预测为目的的测评取向逐渐普及，上述这些方法也可以自然迁移到协作式问题解决能力的测评之中，使研究者能更加全面地解析个体的协作式问题解决能力。参考文献：，：，：，：，（）：，：，袁建林基于行为过程表现测量合作问题解决能力的研究北京：北京师范大学，吴忭，王戈，胡艺龄，祝嘉钰基于会话代理的协作问题解决能力测评工具设计与效果验证远程教育杂志，（）：贺涵镜基于“以证据为中心设计”模型的中学生合作问题解决能力评价研究南昌：江西财经大学，：，袁建林，刘红云合作问题解决能力的测评：和 的测量原理透视外国教育研究，（）：（）：，：，冯翠典“以证据为中心”的教育评价设计模式简介上海教育科研，（）：，：，（）：，：，：，：，：，：，：，杨向东“真实性评价”之辨全球教育展望，（）：祝嘉钰基于会话代理的协作问题解决测评研究 路径设计上海：华东师范大学，刘耀辉，徐慧颖，陈琦鹏，詹沛达基于过程数据的问题解决能力测量及数据分析方法心理科学进展，（）：澳帕特里克格里芬，埃斯特凯尔协作问题解决能力的测评杨向东，译上海：华东师范大学出版社，：，：，（）：，（）：徐俊怡，李中权基于游戏的心理测评心理科学进展，（）：，（）：，（）：，：，李莉，周欣，涂冬波，等 岁儿童数学问题解决的认知诊断评估工具学前教育研究，（）：孙鑫，黎坚，符植煜利用游戏 预测学生推理能力和数学成绩 机器学习的应用心理学报，（）：，：，：，：（，；，）:(),:(),(),(),:;（责任校对：唐佳欣）