协作式问题解决能力测评方法的发展与局限_郭少阳.pdf
《协作式问题解决能力测评方法的发展与局限_郭少阳.pdf》由会员分享,可在线阅读,更多相关《协作式问题解决能力测评方法的发展与局限_郭少阳.pdf(13页珍藏版)》请在咨信网上搜索。
1、 协作式问题解决能力测评方法的发展与局限郭少阳 杨向东摘要 自 世纪技能评估与教学项目()和国际学生评估项目()采用计算机仿真任务对协作式问题解决能力进行测评以来,在证据中心设计的指导下,协作式问题解决能力的测评方法取得了长足的发展,也出现了许多新的问题。就发展来说,要素观与整合观两种取向的测评框架开始融合,被试的解题过程和感官体验日趋真实,且出现了描述多维结构与多模态数据的复杂模型。就问题来说,实证研究对测评框架的结构效度意见相悖,且缺乏不同框架之间的比较研究;评分过程重计量而轻定性,以行为频次计分妨碍了模型的解释力;任务创设与测评框架脱节,仅能作为诱发协作行为的平台,却未能在框架水平上分析
2、任务设计与被试表现的关系。面向未来,协作式问题解决能力测评应加深能力、任务与证据模型的结合,降低测评工具的开发成本,通过诊断和预测助力学生能力的培养。关键词 协作式问题解决能力;素养测评;证据中心设计;真实性评价作者简介 郭少阳 华东师范大学上海智能教育研究院博士后研究员(上海)杨向东 华东师范大学教育心理学系教授(上海)一、引言随着信息时代的到来,现代社会的岗位分工日趋精细化,不同工种之间的交流、协作变的尤为重要,两人或多人共同协作的工作形式日益成为推进工作进程的最小单元。工作要求的变化推动了教育理念的变革,近年来,随着以 世纪技能评估与教学项目(,简称)和 国 际 学 生 评 估 项 目(
3、,简称)为首的国际教育评估组织将学生个体的协作式问题解决(,简称)能力纳入测评范围,用信息技术支持下的计算机仿真任务实施测评,有关协作式问题解决能力测评方法的研究日益成为学界关注的热点问题。本文系全国教育科学“十三五”规划 年度国家一般项目“素养导向的嵌入式测评系统研究”(项目编号:)和华东师范大学人文社会科学学科交叉融合项目“中文写作智能化评估与辅导系统”(项目编号:)的研究成果。和 开发的协作式问题解决能力测评方法与传统的纸笔测验有明显不同。就测验任务来说,技术支持下的协作式问题解决能力测评用基于“仿真任务情境”的过程性测验替代传统的自陈式题型,从而大幅提高了测评工具的生态效度。就测评媒介
4、来说,协作式问题解决能力测评用灵活的人机交互界面替代单调的纸笔测验,并利用游戏化测评等隐秘测量方式降低被试的测验焦虑。就测评数据来说,除了传统的作答反应外,反应时间、行为序列等多模态指标也逐渐被用于协作式问题解决能力评估。诚然,大量新技术的出现和应用无疑会促进协作式问题解决能力测评的发展,但从另一个角度来看,新技术在与教育测评实践相结合的过程中,必然也会带来新的研究问题。在此之后,袁建林、吴忭等人、贺涵镜、孙()等人和施特夫勒()等人从协作式问题解决能力测评的多个方面展开研究,尝试优化协作式问题解决能力的测评方法。然而,虽经多方改进,当前协作式问题解决能力测评在理论框架、任务创设、评分与建模三
5、个方面上仍然存在许多被忽视的不足。本研究意图在袁建林和刘红云对 和 测评方法研究的基础上,综述近年来协作式问题解决能力测评方法的发展与局限,并借鉴诸如问题解决、协作等其他素养测评取得的成果,给出协作式问题解决能力测评方法的改进和优化建议。二、基于证据中心设计的协作式问题解决能力测评方法协作式问题解决能力是“个体有效地参与到由两个或两个以上成员组成的团队之中,为了解决问题,尝试通过沟通和理解,汇聚团队成员的知识、技能和努力最终找出解决方案的一种个人能力”。目前,技术支持下的协作式问题解决能力测评主要包括“人人交互”和“人机交互”两种模式。前者以 为代表,重视生态效度,基于人与人之间的真实互动来提
6、取证据;后者以 为代表,追求测验效率,利用高度结构化的测评任务分析人与计算机代理程序之间的交互过程。除了在交互对象上有所不同,人人与人机两种模式在测评方法上非常相似,一般都遵循证据中心设计()来开发测验。证据中心设计由美国教育考试服务中心(,简称)的梅斯雷弗()等人提出并完善,是一种基于证据来实施教育测评的方法。如图 所示,该方法以能力模型、任务模型和证据模型三个部分最为重要,分别对应测评框架的理论建构、测评任务的开发设计以及基于过程性评分的能力建模。首先,测评框架的理论建构一般源于领域分析、文献研究和专家研讨,它决定了测评工具期望测评的能力内涵和维度结构,是测验开发的出发点和结果分析的落脚点
7、。其次,要对被试能力进行评估,就需要为被试提供能够施展能力的任务情境。在开发任务时,除了要在设计上保证测评任务 能够诱发理论框架中预设的能力或行为表现,也需要通过预测试、认知任务分析、专家评定和程序压力测试等实证方法对测评任务进行评估,切实保证任务能诱发所要评估的能力。再次,被试在测评任务中会产生大量的过程性数据(如关键事件、行为序列和对话内容等),故而需要证据模型来对数据进行标注、评分和建模,从而评估出被试的能力水平。在这一过程中,证据模型与能力模型是双向互动的。一方面,证据模型需要依靠能力模型提供的理论指导来评分和建模;另一方面,能力模型也需要根据证据模型得出的统计结论来对理论框架进行调整
8、和优化。最后,依据证据中心设计的思想,测验开发的过程也就是将能力、任务与证据模型三者有机结合为统一整体的过程。图 证据中心设计的测验开发示意图需要指出的是,证据中心设计中的能力、任务与证据模型本身仅是具有指导意义的测验开发理论,只有通过与协作式问题解决能力这个具体素养结合,才能获得评价测验质量的实质依据。因此,本文以证据中心设计为框架,结合当前协作式问题解决能力的测评实践,论述既有测评方法的发展与局限。三、协作式问题解决能力测评方法的新进展(一)能力模型:要素观与整合观框架的融合由于协作式问题解决是一种具有复杂结构的高阶能力,因而很难从其宏观概念出发直接解析出理论框架。为了降低框架建构的难度,
9、如表 所示,既有研究主要从“要素观”与“整合观”两种视角来进行测评框架的理论建构,并逐渐出现了二者融合的新取向。.要素观框架要素观是以概念分解的方式来将协作式问题解决能力拆解成若干彼此相对独立的要素,并以要素之和表征整体的测评框架建构取向。这种建构取向的好处在于可以大幅降低测验开发的难度,仅需要分别对各个要素进行测评 表 协作式问题解决能力的测评框架建构取向提出者主要维度要素观史蒂文斯和坎皮恩()()冲突解决;()协作问题解决;()沟通;()目标设定和行为管理;()计划和任务合作。()()适应性;()人际关系;()协调;()领导力;()决策;()沟通。()()清晰地沟通(包含 个子维度);()
10、与他人配合(包含 个子维度);()解决问题(包含 个子维度)。()()社会技能:参与、观点获取、社会调节;()认知技能:任务调节、学习与知识建立。()()团队效能(包含 个子维度);()任务效能(包含 个子维度)。整合观(含融合取向)罗斯切尔和泰斯利()()对目标知识的分享;()对问题理解的分享;()对解题方案的分享。()()建立和维持共同的理解;()采取恰当的行动解决问题;()建立和维持团队组织。贺涵镜()()建立与维持共同的理解;()明确自己和他人状态;()角色与团队分工;()监控和反思。孙()等()()建立共同理解;()配合解决问题;()维持团队功能。即可实现对整体能力的评估。然而,由于
11、概念分解的过程容易受到研究者主观因素的影响,不同研究者对同一概念的解析结果会出现明显的差异。例如,史蒂文斯()和坎皮恩()认为应从“冲突解决”“协作解决问题”“沟通”等五个方面评估协作式问题解决能力;美国评估、标准和学生测试研究 中 心(,简称)强调“适应性”“人际关系”“领导力”等六个方面的因素;世纪技能联盟()关注“清晰地沟通”“与他人配合”“解决问题”三个维度;和美国高考()则从“协作”和“问题解决”的二元视角分别建立框架。显然,上述要素观框架在测评内容上虽偶有重合,但其主要维度之间往往差异很大,个体在协作解决问题的过程中究竟需要何种要素仍然存在争议,且考虑到要素之和往往不同于整体,其内
12、容效度也尚需进一步的 研究。.整合观框架整合观把协作式问题解决能力视作一个统一整体,根据个体协作解决问题的过程来构建框架。整合观的建构取向可追溯至罗斯切尔()和泰斯利()为解释个体协作解决问题的过程而建立的联合问题空间模型。该模型认为,个体在协作解决问题的过程中,需要不断监控各种理解上的分歧,基于他人的想法或知识进行推理来解决冲突,并通过协商和共享知识来实现认知上的趋同,最终建立完备的联合问题空间来解决问题。继承了此建构思路,从“建立和维持共同的理解”“采取恰当的行动解决问题”“建立和维持团队组织”三个维度考察被试在不同问题解决阶段(探究与理解、表征与形成、计划与执行、监控与反馈)的表现。然而
13、,由于 的框架与问题解决的不同阶段绑定,这就要求测评工具必须明确区分出被试处于何种阶段,也就迫使研究者选择结构化程度高、操作空间低的人机交互模式。.两类框架的融合为改善要素观与整合观框架存在的问题,贺涵镜和孙等人尝试在整合观的视角下融合要素观的思想,先将协作式问题解决能力视作一个整体或参考问题解决的过程建立若干主维度,再将各主维度所需的具体技能解析为子维度或行为指标,最后借助因素分析的方法保证其结构效度。例如,在“配合解决问题”主维度下设置“回应他人”和“监控执行”两个子维度,进而在子维度下设置“讨论行动结果”等具体行为指标。可惜的是,上述研究主要采用数据驱动的方式来追求统计上的最优解,所建框
14、架缺乏理论驱动的验证性分析。正如孙等人在讨论中所说,“我们的统计结果仅能为理论模型提供部分支持()”。综上,虽然目前协作式问题解决能力测评实践中采用的测评框架仍以 或 为主,但学界已在尝试开发具有融合特色的新框架来更好地解析协作式问题解决能力的复杂结构。(二)任务模型:日趋真实的测评任务随着以核心素养为导向的新一轮课程改革不断深入,传统自陈式测验愈发难以满足准确评估学生素养的客观需要,“真实性评价”的测评理念日益成为当前素养测评的最优解。任务模型中的真实性一般指任务情境对现实生活的仿真程度,可从解题过程和感官体验两个角度进行解释。具体到协作式问题解决能力的测评领域,在 和 的引领下,虽然既有研
15、究在任务创设上均采用计算机仿真技术,但其真实性发展的侧重点却有所不同。协作式问题解决能力测评的仿真任务包括人人交互与人机交互两种类型,前者注重解题过程,后者注重感官体验。就人人交互来说,如图 上半部分所示,被试需要协作解决的问题正由简单固定的结构良好问题(如图)向复杂开放的结构不良问题转型(如图),通过提高被试活动的自由度来增强解 题过程的真实性。同时,协作者间的沟通交流成本也在不断降低,从单纯的文本输入向实时语音及视频过渡,最大程度还原被试在现实生活中的协作情境。就人机交互来说,如图 下半部分所示,被试所处的协作环境愈发灵活生动,从“按钮式”的操作界面(如图)发展到具有第一人称视角的游戏化虚
16、拟世界(如图)。此外,人机交互测验也在努力提高计算机代理程序的智能水平,结合会话代理技术等方法弥补人机与人人交互在体验感上的差异。就能力测评的准确性而言,过程真实显然比体验真实更加重要,但感官体验的提升也能有效降低测验焦虑,提高被试的测验动机。未来,测评任务的创设需要将过程与感官并重,全面提升测评任务的真实性。图 协作式问题解决能力的测评任务 任务来源:空调的使用;协作编程;注射实验;第一人称视角协作闯关任务。(三)证据模型:愈发复杂的统计模型个体的协作式问题解决能力隐藏在其协作解决问题的过程之中,要对这种潜在特质进行评估,就需要在过程数据中挖掘潜在能力与行为指标之间的关系,并借助统计模型来化
17、潜为显。相比于使用因素分析()类模型或者经典测量理论等其他方法进行能力估计,既有研究多采用项目反应理论(,简称)模型建立协作式问题解决能力与行为指标间的关系。模型侧重分析题目(行为指标)质量和估计被试能力,其本质是利用事前假定的题目得分概率与被试能力间的关系,建立题目、被试与得分概率间的数学函数。依据模型的复杂程度,可将 模型划分为基础模型和衍生模型两类。基础模型一般包括 和 模型及其多级计分版本(如分部计分模型和等级反应模型);衍生模型则是在基础模型上做多维度、多 水平、多类别以及多模态等方面上的二次开发。考虑到测评数据的复杂性以及模型拟合、简化和解释等方面的因素,不同研究者在构建统计建模时
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 协作 问题解决 能力 测评 方法 发展 局限 郭少阳
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。