数据驱动教学决策真的有效吗——基于近十年国内外43项相关的实验和准实验元分析.pdf
《数据驱动教学决策真的有效吗——基于近十年国内外43项相关的实验和准实验元分析.pdf》由会员分享,可在线阅读,更多相关《数据驱动教学决策真的有效吗——基于近十年国内外43项相关的实验和准实验元分析.pdf(11页珍藏版)》请在咨信网上搜索。
1、 Vol.33 No.9 2023 67 数据驱动教学决策真的有效吗?数据驱动教学决策真的有效吗?*基于近十年国内外 43 项相关的实验和准实验元分析 李李 静静1 顾秦一顾秦一1 蒋少杰蒋少杰1 郑旭东郑旭东2(1中国矿业大学 公共管理学院,江苏徐州 221116;2江苏师范大学 江苏省教育信息化工程技术研究中心,江苏徐州 221116)摘要:摘要:数据驱动教学决策是大数据时代循证科学研究在教育教学中的应用与发展,具有促进决策科学化、教学有效化、教育现代化的功能,但研究对于“数据驱动教学决策是否有效”这一问题仍然存在争议。对此,文章对近十年国内外 43 项相关的实验和准实验研究文献进行了元分
2、析,结果显示:数据驱动教学决策对学生学习效果具有显著的正向促进作用,具体体现在认知发展、行为发展、情感发展三个维度;数据驱动教学决策受决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量的影响,但不同调节变量对数据驱动教学决策的影响存在差异。基于研究结论,文章针对数据驱动教学决策的优化提出建议,以提升教学决策的科学性和有效性,助力教育数字化转型的深度推进。关键词:关键词:数据驱动;教学决策;学习效果;元分析【中图分类号】【中图分类号】G40-057【文献标识码】【文献标识码】A【论文编号】【论文编号】10098097(2023)09006711【DOI】10.3969/j.iss
3、n.1009-8097.2023.09.007 一一 研究现状研究现状 教学决策是教育工作者为了促进学生发展,通过感知、采集、分析、处理信息并选择教学方案的动态过程。“教学决策的合理性基本等同于教学有效性”1,因此教学决策不仅是教育教学活动的核心,还是保证教育质量的关键,更是教育工作者素养能力的基本组成。传统的基于经验的教学决策存在决策准备阶段信息搜集不足、决策过程中过分依赖个人经验、决策执行阶段信息反馈流动不畅等问题,降低了教学决策效果的广度、效度和力度。随着大数据、云计算、AI 技术等智能技术的蓬勃发展及其在教育领域的深度应用,教育科学的研究与实践逐渐由“假设驱动”转向“数据驱动”,并步入
4、数据密集型科研的“第四范式”(The Fourth Paradigm),“数据驱动决策”(Data Driving Decision Making)由此应运而生2。数据驱动决策是大数据时代背景下循证科学研究在教育教学中的应用与发展,是指“决策者在智能技术的辅助下,搜集、分析事实性数据,形成信息驱动链,进而智能推荐决策方案并执行的一种形式”3。值得说明的是,虽然初始表达“数据驱动决策”并没有出现“教育或教学”,但是基于该词组的起源和常见应用场景,学术界普遍认可数据驱动的决策是教育或教学决策4,因此本研究统一表述为“数据驱动教学决策”。目前,我国学术界对“数据驱动教学决策”的研究方兴未艾,数据驱动
5、教学决策是否真的有效、效果如何等问题亟待解答。对此,中外学者针对数据驱动教学决策对学生学习效果的影响进行了大量实证研究,但得出的结论不尽相同。有研究者发现:在认知发展维度,数据驱动教学决策对于学生在概念理解、知识记忆留存、思维能力等方面均有不同程度的提升567;在行为发展维度,数据驱动的教学决策有助于优化学生的学习技能、问题解决、互动行为等8910;在情感发展维度,数据驱动教学决策在提升学生学习态度、学习满意度、学习兴趣等方面也卓有成效111213。但是,也有研Vol.33 No.9 2023 68 究者得出了相反的结论,即数据驱动教学决策没有显著促进学生发展。例如,20102015 年荷兰特
6、温特大学对教师团队进行了 2 年的数据驱动教学决策培训,通过对比培训前后学生成绩的变化,发现数据驱动教学决策对 38 年级学生数学成绩的影响不显著14。基于此,本研究采用元分析方法,以“数据驱动教学决策对于学生学习效果的影响程度”为切入口,梳理了国内外近 10 年来相关的实验和准实验研究文献,并按照元分析方法的规范要求对这些文献进行筛选、梳理、分析,以解答“数据驱动教学决策真的有效吗?”这一问题。同时,本研究将决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个维度作为调节变量进行分层分析,以探究不同维度对数据驱动教学决策效果的具体影响。二二 研究方法与过程研究方法与过程 1 研究方法研
7、究方法与工具与工具 元分析(Meta-analysis)是一种针对特定目标,通过统计学的方法对多个独立的、相关的实验或准实验研究进行统计整合、再分析,以验证这些独立研究的共同效应或差异原因的方式15。目前,元分析已被广泛用于教育学、医学、心理学等领域,帮助决策者确定哪些干预措施有效、哪些干预效果最佳。本研究采用元分析方法,整合、分析数据驱动教学决策对学生学习效果影响的实验及准实验研究,以评估数据驱动教学决策能在多大程度上影响学习效果。本研究将标准化平均差(Standardized Mean Difference,SMD)作为效应量,用来表征数据驱动教学决策对学习效果的影响程度。同时,本研究采用
8、元分析软件 CMA 3.0 进行数据处理与分析,将来自不同独立研究的样本数量(N)、实验组和对照组前后测的均值(Mean)、标准差(SD)等原始数据录入软件,进行合并计算。2 研究过程研究过程(1)文献检索 本研究的英文文献数据主要来源于 Web of Science、Scopus 等数据库,检索主题词为“data-driven decision making”or“technology-driven decision making”or“technology-empowered instructional decision-making”or“data-based decision-maki
9、ng”and“students performance”or“learning performance”等;中文文献数据则主要来源于中国知网、万方、维普等电子数据库,检索的主题词为“数据驱动模式”或者“基于大数据学习”或者“数据驱动教师决策”或者“数据库”并且“学习效果”;同时,中英文文献检索的起止时间均设为 2003 年 1 月2022 年 12月。之后,本研究采用“滚雪球”的检索方式对第一轮所得文献进行第二轮检索。最后,删除前期重复的文献,获得可供进一步筛选分析的中英文文献 221 篇。(2)文献筛选 本研究按照以下标准对文献进行了筛选:文献主题应为数据驱动教学决策对学生学习效果影响的研究
10、,因变量为学习效果。文献必须是教育实验或准实验研究。其中,单组实验需要有前后测的对照,双组实验必须包含一个数据驱动教学决策干预下的实验组,以及与之相对应的对照组。文献中应报告样本数量(N)、均值(MEAN)用以计算效应量(SMD)。依据上述筛选标准,按照如图 1 所示的文献纳入排除流程,本研究得到 43 篇纳入分析的文献,共有55 个可用于元分析的效应量(其中部分实验与准实验研究包括多个效应量)。Vol.33 No.9 2023 69 图图 1 文献纳入排除流程文献纳入排除流程(3)元分析框架 本研究将数据驱动教学决策视作一个整体活动,并作为本研究的研究对象,构建了“数据驱动教学决策的效果”元
11、分析框架(下文简称“元分析框架”),如图 2 所示。图图 2 “数据驱动教学决策的效果数据驱动教学决策的效果”元分析框架元分析框架 根据布鲁姆的教育目标分类,元分析框架将数据驱动教学决策对学生学习产生的效果分为认知发展、行为发展和情感发展三个维度。其中,认知发展包括学业成就、识别记忆、知识迁移、高阶思维,行为发展包括学习技能、问题解决、学习互动和学习参与度,情感发展包括学习态度、学习动机、学习兴趣和学习满意度。调节变量层面,元分析框架根据 Mandinach 等16提出的“技术支持的数据驱动决策”经典模型,确定了以下四个调节变量:决策主体角色。教育教学活动中的主体包括学校管理者、教师和学生。其
12、中,学校管理者利用数据判断学校需要改进的特定领域,做出的决策通常包括政策决定、资源分配、课程修改等17;教师根据反映学生表现的数据来区分教学策略,实现个性化教学18;学生的实时表现数据、反馈信息等是教学执行和再决策的基础19,是“以学生为Vol.33 No.9 2023 70 中心”的教育理念的“数字化展现”。决策技术工具。不同的技术工具对数据驱动教学决策效果有不同的影响,元分析框架将不同技术工具划分为教育数据库、教师助理软件/设备和智慧实验室。决策驱动过程。信息链理论认为,从“事实”到“知识”的转化遵循“事实数据信息知识”的转化逻辑20。据此,元分析框架将“教育教学事实教学决策知识”的转化过
13、程划分为搜集教育事实数据(事实数据)、分类诊断教育问题(形成决策信息)和提出智能推荐方案(智能知识)。决策执行方式。决策执行方式是教学决策实施过程中学习者与智能技术形成“人技互动”的过程,依据“技术干预决策执行”的维度,划分为技术单向输出(人技单维互动),如课堂使用 PPT 单向呈现信息;人技双向协同(技术与学生双向交互),如计算机支持的协作学习(Computer Supported Collaborative Learning,CSCL)21;技术多维干预(人技多维互动),如利用 VR、AI 等技术的游戏化学习方式22。围绕“数据驱动教学决策真的有效吗?”这一问题,本研究尝试通过元分析回答以
14、下问题:数据驱动教学决策真的有效吗整体而言,数据驱动教学决策能否促进学习效果的提升?具体来看,数据驱动教学决策能否促进学习效果中的认知发展、行为发展、情感发展?哪些因素会且如何影响数据驱动教学决策的效果?(4)文献编码 本研究依据构建的“数据驱动教学决策的效果”元分析框架和纳入元分析文献的研究样本,对决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量进行编码,部分文献编码结果如表 1 所示。表表 1 部分文献编码表部分文献编码表 调节变量调节变量 类别类别 文献信息文献信息 发表时间发表时间 驱动过程驱动过程 分类诊断教育问题 Hwang 等23 2022 年 执行方式执行方式
15、 技术单向输出 Li Ling 等24 2022 年 技术工具技术工具 教师助理软件/设备 Lim 等25 2021 年 执行方式执行方式 人技双向协同 Keuning 等26 2019 年 驱动过程驱动过程 智能推荐方案 Danial 等27 2018 年 驱动过程驱动过程 搜集教育事实数据 姜强等28 2017 年 主体角色主体角色 教师 Laia 等29 2017 年 主体角色主体角色 学校管理者 van Geel 等30 2016 年 主体角色主体角色 学生 Choi 等31 2015 年 技术工具技术工具 智慧实验室 Chao 等32 执行方式执行方式 技术多维干预 Chaeller
16、 等33 2013 年 技术工具技术工具 教育数据库 鲁艳辉等34 2009 年 三三 研究分析与结论研究分析与结论 1 文献样本检验文献样本检验 发表偏倚检验。通常来说,期刊倾向于接受研究结果显著的文章。发表偏倚正是由于研究者、审稿人或编辑选择论文发表时对研究结果的偏好所形成的35,元分析的结果也可能因为 Vol.33 No.9 2023 71 选择文章的偏差而造成误差。因此,为保障本研究所得结论科学有效,需要对纳入元分析的独立研究样本进行相关评估和检验。发表偏倚可以通过漏斗图来分析鉴定:漏斗图形似倒置的漏斗,如果形状显示非对称,就表示有研究结果不显著的文章尚未被找到与纳入。而本研究的漏斗图
17、形状对称,且位于顶部有效区域(如图 3 所示),说明纳入元分析的研究样本中存在发表偏倚的可能性较小。Beggs 检验结果(Z=1.9381.96,p=0.0530.05)也表明,本研究不存在发表偏倚。图图 3 研究样本发表偏倚检验漏斗图研究样本发表偏倚检验漏斗图 异质性检验。本研究主要采用 I2,作为分析研究样本异质性的衡量标准。异质性检验结果显示,I2值为 94.1%,表明大约有 94.1%的观察变异由效应量的真实差异导致,而由随机误差造成的变异大约只有 5.9%。因此,为适应研究样本的异质性,本次元分析采用随机效应模型(Random Effects Models,REM)进行整体效应层面的
18、数据处理与分析,来确保研究结论的可靠性,并将效应量进行合并(效应量的置信区间 CI 值定为 95%)。2 研究分析研究分析(1)数据驱动教学决策对学生学习效果的影响分析 整体效应检验结果如表 2 所示,可以看出:数据驱动教学决策的学习效果包含 55 个效应量,合并效应量 SMD=0.504(p0.001)。根据 Cohen 的效应值统计理论,当效应量0.2 时,表示影响较小;当效应量介于 0.20.5 时,说明影响程度为中等;当效应量介于 0.50.8 时,说明影响较大;当效应量0.8 时,说明影响很大36。本研究中的效应量 SMD=0.5040.5,说明数据驱动教学决策对学生的学习效果具有较
19、大的促进作用。表表 2 数据驱动教学决策对学习效果的整体效应检验数据驱动教学决策对学习效果的整体效应检验 效应模型效应模型 研究数量研究数量 效应量效应量 SMD 95%置信区间置信区间 双尾检验双尾检验 下限下限 上限上限 Z 值值 df p 随机效应模型(随机效应模型(REM)55 0.504*0.400 0.607 9.544 54 0.000 注:*表示 p0.001。本研究主要从认知发展、行为发展、情感发展三个维度来衡量数据驱动教学决策对学生学习效果的影响,相关数据统计结果如表 3 所示。其中,认知发展主要评估对学业成就、识别记Vol.33 No.9 2023 72 忆、知识迁移、高
20、阶思维的影响效果;行为发展主要评估对学习技能、问题解决、学习互动、学习参与度的影响效果;情感发展主要评估对学习态度、学习动机、学习兴趣、学习满意度的影响效果。表表 3 数据驱动教学决策对学生学习效果的影响数据驱动教学决策对学生学习效果的影响 维度维度 分类分类 数量数量 效应量效应量 SMD 95%的置信区间的置信区间 Z 值值 合并效应量合并效应量 SMD 95%的置信区间的置信区间 上限上限 下限下限 上限上限 下限下限 认知认知发展发展 学业成就学业成就 14 0.125 0.244 0.006 2.063*0.296*0.499 0.093 识别记忆识别记忆 4 0.528 0.809
21、 0.248 3.690*知识迁移知识迁移 3 0.324 0.596 0.052 2.333*高阶思维高阶思维 5 0.294 0.548 0.040 2.267*行为行为发展发展 学习学习技能技能 2 0.749 1.603-0.105 1.719 0.762*1.047 0.477 问题解决问题解决 12 0.781 1.127 0.436 4.431*学习互动学习互动 3 0.768 1.499 0.037 2.058*学习学习参与度参与度 1 0.542 1.734-0.650 0.891 情感情感发展发展 学习态度学习态度 5 0.596 0.955 0.237 3.257*0.8
22、04*1.141 0.467 学习动机学习动机 1 1.119 1.979 0.259 2.551*学习兴趣学习兴趣 2 1.099 1.711 0.486 3.515*学习满意度学习满意度 3 0.728 1.235 0.221 2.815*注:*表示 p0.05,*表示 p0.01,*表示 p0.001。下同。在认知发展维度,数据驱动教学决策对认识发展的合并效应量为 SMD=0.296(p0.01),表明数据驱动教学决策能在中等程度上促进学生的认知发展。其中,识别记忆(SMD=0.528,p0.001)、知识迁移(SMD=0.324,p0.05)超过认知层面的整体水平,说明数据驱动教学决策
23、对学生这两项能力的提升最为显著。而学业成就(SMD=0.125,p0.05)、高阶思维(SMD=0.294,p0.05)的效应量略低于认知层面的整体水平,说明数据驱动教学决策对学生这两项能力的影响还有提升空间。在行为发展维度,数据驱动教学决策对学习行为发展的合并效应量为 SMD=0.762(p0.001),表明数据驱动教学决策对学生学习行为发展具有较大的促进作用。其中,问题解决(SMD=0.781,p0.001)、学习互动(SMD=0.768,p0.05)的影响效果最为显著,超过行为层面的整体水平;而学习技能(SMD=0.749,p0.05)、学习参与度(SMD=0.542,p0.05)的影响
24、效果并不显著。在情感发展维度,数据驱动教学决策对学生情感发展的合并效应量为 SMD=0.804(p0.001),表明具有数据驱动教学决策对学生情感发展有很大的促进效果。其中,效果最显著的是学习动机(SMD=1.119,p0.001)、学习兴趣(SMD=1.099,p0.001),远超情感层面的整体水平。此外,数据驱动教学决策对学生的学习满意度(SMD=0.728,p0.01)、学习态度(SMD=0.596,p0.001)也有积极影响。由上可见,数据驱动教学决策对于改善学生的情感发展效果良好,此领域可以深入研究与应用。Vol.33 No.9 2023 73(2)不同调节变量对数据驱动教学决策效果
25、影响的差异分析 不同调节变量对数据驱动教学决策效果的影响存在差异(如表 4 所示),具体分析如下:表表 4 不同调节变量对数据驱动教学决策效果的影响的差异不同调节变量对数据驱动教学决策效果的影响的差异 调节变量调节变量 维度维度 数量数量 效应量效应量 SMD 权重权重 95%置信区间置信区间 Z 值值 下限下限 上限上限 决策主体角色决策主体角色 管理者管理者 5 0.124*35.7 0.014 0.234 2.888*教师教师 4 0.270*28.6 0.123 0.417 学生学生 5 0.412*35.7 0.199 0.424 决策技术决策技术工具工具 教育数据库教育数据库 3
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 驱动 教学 决策 有效 基于 十年 国内外 43 相关 实验 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。