多学习行为协同的知识追踪模型_张凯.pdf
《多学习行为协同的知识追踪模型_张凯.pdf》由会员分享,可在线阅读,更多相关《多学习行为协同的知识追踪模型_张凯.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1422-1429ISSN 1001-9081CODEN JYIIDUhttp:/多学习行为协同的知识追踪模型张凯*,覃正楚,刘月,秦心怡(长江大学 计算机科学学院,湖北 荆州 434023)(通信作者电子邮箱)摘要:知识追踪模型主要使用学习过程、学习结束和学习间隔等三类学习行为数据,但现有研究没有融合上述类型的学习行为,无法准确描述多种类型学习行为的相互作用。针对上述问题,提出多学习行为协同的知识追踪(MLB-KT)模型。首先采用多头注意力机制描述每类学习行为的同类约束性,然
2、后采用通道注意力机制建模三类学习行为的多类协同性。将MLB-KT模型与深度知识追踪(DKT)、融合注意力机制的时间卷积知识追踪(ATCKT)模型在3个数据集上进行对比,实验结果表明,MLB-KT模型的曲线下面积(AUC)有明显增加,且在ASSISTments2017数据集上的表现最佳,与DKT、ATCKT模型相比分别提升了12.26%、2.77%;表示质量对比实验的结果也表明MLB-KT模型具有更好的表现。可见建模同类约束性和多类协同性能更好地判断学生的知识状态、预测学生未来的答题情况。关键词:知识追踪;学习行为;多头注意力机制;通道注意力机制;序列建模中图分类号:TP183 文献标志码:AM
3、ulti-learning behavior collaborated knowledge tracing modelZHANG Kai*,QIN Zhengchu,LIU Yue,QIN Xinyi(School of Computer Science,Yangtze University,Jingzhou Hubei 434023,China)Abstract:Knowledge tracing models mainly use three types of learning behaviors data,including learning process,learning end a
4、nd learning interval,but the existing studies do not fuse the above types of learning behaviors and cannot accurately describe the interactions of multiple types of learning behaviors.To address these issues,a Multi-Learning Behavior collaborated Knowledge Tracing(MLB-KT)model was proposed.First,the
5、 multi-head attention mechanism was used to describe the homo-type constraint for each type of learning behavior,then the channel attention mechanism was used to model the multi-type collaboration in three types of learning behaviors.Comparison experiments of MLB-KT,Deep Knowledge Tracing(DKT)and Te
6、mporal Convolutional Knowledge Tracing with Attention mechanism(ATCKT)models were conducted on three datasets.Experimental results show that the MLB-KT model has a significant increase in Area Under the Curve(AUC)and performs best on ASSISTments2017 dataset,the AUC is improved by 12.26%and 2.77%comp
7、ared to DKT and ATCKT respectively;the results of the representation quality comparison experiments also verify that the MLB-KT model has better performance.In summary,modeling the homo-type constraint and multi-type collaboration can better determine students knowledge status and predict their futu
8、re answers.Key words:knowledge tracing;learning behavior;multi-head attention mechanism;channel attention mechanism;sequence modeling0 引言 智能导学系统(Intelligent Tutoring System,ITS)和大规模在线开放课程(Massive Open Online Course,MOOC)等智慧教育平台逐渐被大众接受,然而智慧教育的初始内禀属性并未包括判断学生的知识状态、预测学生未来的学习表现等功能。基于上述原因,知识追踪(Knowledge T
9、racing,KT)成了智慧教育领域的重要研究内容,它通过分析平台收集的学习行为数据判断学生的知识状态,并根据知识状态预测学生未来作答的表现。知识追踪目前被广泛应用于各类在线教育平台,如国家高等教育智慧教育平台、学堂在线、爱学习以及国外的 Khan Academy、edX、Coursera 等。当前知识追踪的主要意义和作用在于通过把握学生的知识状态和未来的答题表现,为智慧教育平台提供细粒度的教育策略,为每个学生提供个性化的教育服务。学习序列由学生的学习记录组成,主要包括学生的学习行为数据。学习行为数据一般可分为学习过程、学习结束和学习间隔数据三类1。学习过程数据主要包括学生尝试作答次数和请求提
10、示次数等;学习结束数据主要包括学生作答的习题及作答的结果等;学习间隔数据主要包括学生相邻两次学习的时间间隔和学习某概念的次数等。图 1展示了学文章编号:1001-9081(2023)05-1422-08DOI:10.11772/j.issn.1001-9081.2022091313收稿日期:2022-09-02;修回日期:2022-11-23;录用日期:2022-11-25。基金项目:国家自然科学基金资助项目(62077018);科技部高端外国专家引进计划项目(G2022027006L)。作者简介:张凯(1980),男,湖北武汉人,教授,博士,CCF高级会员,主要研究方向:图神经网络、贝叶斯深
11、度学习、知识追踪、知识图谱;覃正楚(1998),男,湖北宜昌人,硕士研究生,CCF会员,主要研究方向:深度学习、知识追踪;刘月(1998),女,湖北十堰人,硕士研究生,主要研究方向:深度学习、知识追踪;秦心怡(1998),女,湖北荆门人,硕士研究生,主要研究方向:深度学习、知识追踪。第 5 期张凯等:多学习行为协同的知识追踪模型习过程行为、学习结束行为和学习间隔行为及其先后关系。经典的知识追踪模型2-4仅使用学习结束数据。这类模型一般通过分析学生的学习结束行为判断学生的基本知识状态,但学习结束数据只包含了学生答对或答错某道习题的信息,无法更加准确地追踪学生的知识状态。例如,学生A、B的学习结束
12、数据相同,但学习过程数据不同,在经典知识追踪模型中无法表示学生A、B不同的知识状态。学生的学习记录中还包括学习过程行为和学习间隔行为,这些行为也是学生知识状态发生变化的映射。有研究者利用学习过程和学习结束数据追踪学生的知识状态5,用学习间隔数据建模学生的遗忘行为6-7,但都没有考虑学习行为的多类协同性,即学习序列中多种类型学习行为的相互作用。为了更加准确地追踪学生的知识状态,本文的主要工作有:1)描述学习行为的同类约束性。首先,选取三类学习行为数据的集合作为输入;然后用多头注意力机制获取输入数据的注意力权重,表示单一类型学习行为在时间序列上的约束关系,用来描述学习行为的同类约束性。2)描述学习
13、行为的多类协同性。首先,拼接三类学习行为数据的集合作为输入;接着用通道注意力机制获取三类学习行为的全局信息;最后将全局信息映射为学习行为之间的注意力权重,表示多种类型学习行为的相互作用,用来描述学习行为的多类协同性。3)提出多学习行为协同的知识追踪(Multi-Learning Behavior collaborated Knowledge Tracing,MLB-KT)模型。首先,使用编码器融合学习行为的同类约束性和学习行为的多类协同性;然后使用解码器通过输入不同的查询向量来获取学生的学习向量和遗忘向量;最终达到更准确地追踪学生知识状态的目的。1 相关工作 1.1知识追踪1.1.1基于学习结
14、束行为的知识追踪模型贝叶斯知识追踪(Bayesian Knowledge Tracing,BKT)2首先提出知识追踪的概念,并用概率计算解决知识追踪的任务。BKT以学习结束数据为输入,定义初始学会某概念的概率P(L0)、未学会状态到学会状态的转移概率P(T)、未掌握概念但猜对的概率P(G)、掌握概念但答错的概率P(S)等,并使用隐马尔可夫模型(Hidden Markov Model,HMM)8建模上述四个概率的关系,从而预测学生的未来学习表现。深度知识追踪(Deep Knowledge Tracing,DKT)3首次使用深度序列模型来解决知识追踪的任务。类似于BKT,DKT仍使用学习结束数据作
15、为输入,以循环神经网络(Recurrent Neural Network,RNN)9或 长 短 期 记 忆(Long Short-Term Memory,LSTM)网络10的隐藏状态来表示学生的知识状态,最终以全连接层预测学生的未来学习表现。动 态 键 值 记 忆 网 络(Dynamic Key-Value Memory Network,DKVMN)4受标准记忆增强网络的启发11,提出用记忆矩阵的方法解决知识追踪的任务。DKVMN仍使用学习结束数据作为输入,用一个键(key)矩阵存储概念,一个值(value)矩阵存储学生对概念的掌握状态;模型通过两个矩阵判断学生每次学习时对各个概念的掌握状态,
16、最终以全连接层输出学生未来学习表现的概率。在后续的研究中,研究者仍仅用学习结束数据作为模型的输入建模学生的知识状态:Kser等12在BKT的基础上提出了动态贝叶斯知识追踪模型,建模不同概念之间的依赖关系;Su等13在DKT的基础上为模型的输入添加了习题信息;Abdelrahman 等14在 DKVMN 的基础上使用了 Hop-LSTM 网络结构,使模型能够捕获学生学习记录中的长期约束性。这类模型的变种还有:TLS-BKT(Three Learning States Bayesian Knowledge Tracing)15-16、PDKT-C(Prerequisite-driven Deep
17、Knowledge Tracing with Constraint modeling)17、HMN(Hierarchical Memory Network for knowledge tracing)18等。BKT、DKT和DKVMN是经典的知识追踪模型,这些模型为后续的研究奠定了坚实的基础;但它们在追踪学生的知识状态时仅用学习结束数据建模学习行为的同类约束性,没有使用学习过程数据和学习间隔数据建模学习行为的多类协同性,所以无法为表示学生的知识状态提供更加充分的支撑。1.1.2基于学习间隔行为的知识追踪模型部分研究用到了学习间隔数据:Nagatani等6受艾宾浩斯遗忘曲线19的启发,在 DKT
18、 模型的基础上增加了学习间隔数据作为输入,他们认为学习间隔数据是影响遗忘行为的因素,通过向模型增加学习间隔数据作为输入能够建模遗忘行为,提出了DKT-F(DKT+Forgetting)模型;李晓光等7受艾宾浩斯遗忘曲线和记忆痕迹衰退说19-20的启发,提出了学习与遗忘融合的深度知识追踪模型,该模型不仅考虑了上述学习间隔数据,还考虑了学生概念掌握状态对遗忘的影响。虽然上述两个模型在使用学习结束数据的基础上增加了学习间隔数据并取得了较好的效果,但仍仅建模学习行为的同类约束性,忽略了建模学习行为的多类协同性。1.1.3基于学习过程行为的知识追踪模型部分研究用到了学习过程数据:Cheung等5用学习过
19、程数据输入分类和回归树模型预测学生能否正确作答习题,然后将预测结果与真实结果组合,最后将组合的数据与学习结束数据输入 DKT 模型预测未来答题情况,提出了 DKT-DT(Deep Knowledge Tracing with Decision Trees)模型。该方法将学习过程数据作为学习结束数据的一种补充,改进建模学习行为同类约束性的方法,但尚未建模学习行为的多类协同性。总的来说,大部分研究在追踪学生的知识状态时仅用学习结束数据作为输入,或引入两种类型的学习行为数据作为输入,也有引入全部三种类型学习行为数据作为输入21,但均未建模学习行为的多类协同性。针对上述问题,本文提出了多学习行为协同的
20、知识追踪模型,在建模学习行为同类约束性的同时,对学习行为的多类协同性也进行建模,为表示学生的知识状态提供更充分的支撑。1.2注意力机制从生物学的角度看待注意力机制,它的原理是人类基于非自主性提示(Nonvolitional cue)和自主性提示(Volitional cue)有选择地引导注意力的焦点22。非自主性提示指的是图1学习行为及其先后关系Fig.1Learning behaviors and their sequential relationship1423第 43 卷计算机应用人没有认知和意识的驱动来获取信息;自主性提示指的是人有认知和意识的驱动来获取信息,其中,查询是自主性提示,键
21、和值是非自主性提示。添加自主性提示的好处是使注意力机制的输出偏向于某些输入数据,而不是对输入数据全盘接收。例如在判断学生的知识状态时,学生S在某次学习中答对了有关概念C的习题。如果没有认知和意识的驱动,仅以学习结束数据为标准,教师的注意力由非自主性提示引导并判断学生S对概念C的掌握状态;但如果有了认知和意识的驱动,在学习结束数据的基础上,教师还会注意到学生的学习过程数据和学习间隔数据,注意力由自主性提示引导并判断学生S对概念C的掌握状态。Ghosh 等23提 出 了 AKT(context-aware Attentive Knowledge Tracing)模型,用注意力机制构建习题qt和结果
22、rt的上下文感知表示,总结学生过去的表现来解决知识追踪任务。邵小萌等24提出融合注意力机制的时间卷积知识追踪(Temporal Convolutional Knowledge Tracing with Attention mechanism,ATCKT)模型,用注意力机制建模学生学习的习题对各时刻知识状态不同程度的影响。注意力机制的输入是查询(query)、键(key)以及值(value),输出是值的加权和,注意力权重通过计算查询和键的相似度获得。自注意力机制是注意力机制的变体,它的输入来自同一数据,由于没有外部数据的输入,所以更擅长捕捉数据内部的相似性,减少了 对 外 部 数 据 的 依 赖
23、。Pandey 等25提 出 了 SAKT(Self-Attentive model for Knowledge Tracing)模 型,首 次 将Transformer模型26应用到知识追踪领域,通过描述输入在时序上的约束关系来完成知识追踪任务。Transformer 模型的主要结构是多头注意力机制,由多个注意力机制或自注意力机制并行组成,其中的全连接层将输入数据映射到不同的子空间,能够基于相同的机制学习到不同的权重,用来描述学习行为的同类约束性。多头注意力机制使用学习过程、学习结束以及学习间隔数据作为自主性提示,它的缺点在于不同的学习行为在追踪知识状态时被视作具有相同的权重。通道注意力机制
24、能解决这一问题27-30,将三类学习行为数据作为通道注意力机制的输入,“挤压”操作收集三类学习行为数据的全局信息,“激励”操作将全局信息转化为注意力权重,表示多种类型学习行为的相互作用,用来描述学习行为的多类协同性。2 多学习行为协同的知识追踪模型 2.1模型提出的思想学习序列包括不同类型的学习行为,如学习过程、学习结束、学习间隔等行为。本文使用学习过程数据bI、学习结束数据bII、学习间隔数据bIII分别描述上述三类学习行为,其中:bI主要包括学生的尝试作答次数和请求提示次数等数据;bII主要包括学生作答的习题及作答的结果等数据;bIII主要包括学生相邻两次学习的时间间隔和学习某概念的次数等
25、数据。我们发现,学习行为具备同类约束性和多类协同性的特征。具体说明如下:根据文献 31,学生知识状态的变化受其已有知识状态的约束,表现为学习行为的同类约束性,即知识状态的变化在某一学习行为上的反应是平缓的。具体地,学习过程数据bI的同类约束性可能表现在,针对某一习题学生的尝试作答次数在相邻时间步的变化是平缓的;学习结束数据bII的同类约束性可能表现在,针对某一习题学生的作答结果的变化也是平缓的;学习间隔数据bIII的同类约束性可能表现在,若干次相邻的学习时间间隔的变化同样是平缓的。从模型角度上来说,对三类学习行为数据的表征应考虑其各自的同类约束性,以此来反映学生知识状态的客观变化,这是当前研究
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 学习 行为 协同 知识 追踪 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。