基于多特征提取的时间卷积知识追踪模型.pdf
《基于多特征提取的时间卷积知识追踪模型.pdf》由会员分享,可在线阅读,更多相关《基于多特征提取的时间卷积知识追踪模型.pdf(6页珍藏版)》请在咨信网上搜索。
1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第7期总第335期文章编号:1006-2475(2023)07-0025-05收稿日期:2022-08-08;修回日期:2022-10-03基金项目:国家自然科学基金资助项目(61672389);广州市大数据智能教育重点实验室项目(201905010009)作者简介:谢仕斌(1997),男,广东汕头人,硕士研究生,研究方向:教育大数据,知识追踪,E-mail:;刘梦赤(1962),男,教授,研究方向:大数据系统,智能信息系统,E-mail:;唐诗琪(1998),女,广东湛江人,硕士研究生,研究方向:自然语言处理,情感分类,E-
2、mail:;周瑞平(1998),女,四川广安人,硕士研究生,研究方向:数据库技术。0引言近年来,随着互联网教育的快速发展,智能辅导系统(Intelligent Tutoring System,ITS)1和大规模在线开放课程(Massive Open Online Courses,MOOCs)等在线教育平台2也越来越普及,数百万的学生选择使用在线平台学习。与传统的线下课堂教育不同的是,在线教育系统能够保留学生详细的学习轨迹,提供调查不同轨迹下学生行为效能的条件3。然而教育信息化的普及也导致在线教育平台产生了海量且繁杂的教育数据,也造成了学生与教师人数悬殊,使得教师难以追踪每一个学生的知识掌握情况
3、,从而无法提供有效的个性化学习指导。同时,对学生来说,面对日益增长的海量数据信息,学生也难以找到真正对自己有帮助的信息4。因此,利用科学的方法有针对性地对教育数据进行分析与挖掘是非常有必要的5。其中,知识追踪便是智慧教育领域中的关键技术之一,其任务可以简单表述为:根据学习者的历史学习交互记录,跟踪学习者的知识状况,从而预测未来的学习表现,实现个性化教育。经典的知识追踪模型主要包括基于隐马尔可夫模型(Hidden Markov Model,HMM)6的贝叶斯知识追踪(Bayesian Knowledge Tracing,BKT)7和基于循环神经网络(Recurrent Neural Networ
4、k,RNN)8的深度知识追踪(Deep Knowledge Tracing,DKT)9。由于神经网络较强的学习能力,DKT模型的预测基于多特征提取的时间卷积知识追踪模型谢仕斌1,2,刘梦赤1,2,唐诗琪1,2,周瑞平1,2(1.华南师范大学计算机学院,广东 广州 510631;2.华南师范大学广州大数据智能教育重点实验室,广东 广州 510631)摘要:知识追踪(Knowledge Tracing,KT)是教育数据挖掘领域中的关键技术,其通过利用学生的历史学习记录来预测学生下一次的作答表现。针对基于时间卷积网络(TCN)的深度知识追踪模型存在的只使用学生答题序列和答题结果,而忽略学生其他行为特
5、征的问题,本文提出一种基于多特征提取的时间卷积知识追踪模型TKT-PCA。使用时间卷积网络和主成分分析(Principal Component Analysis,PCA)方法自动提取多种学生作答行为中的隐藏特征并学习它们的表示,不仅降低了特征维度减少冗余信息,还充分评估了学生的知识掌握情况。实验结果表明,与其他知识追踪基线模型相比,TKT-PCA有更好的预测性能。关键词:深度学习;知识追踪;时间卷积网络;教育数据挖掘;智能教育中图分类号:TP391文献标志码:ADOI:10.3969/j.issn.1006-2475.2023.07.005A Temporal Convolutional Kn
6、owledge Tracking Model Based onMultiple Feature ExtractionXIE Shi-bin1,2,LIU Meng-chi1,2,TANG Shi-qi1,2,ZHOU Rui-ping1,2(1.School of Computer Science,South China Normal University,Guangzhou 510631,China;2.Guangzhou Key Laboratory ofBig Data and Intelligent Education,South China Normal University,Gua
7、ngzhou 510631,China)Abstract:Knowledge tracing(KT)is a key technology in the field of educational data mining.It uses studentshistorical learning records to predict studentsnext answer performance.Aiming at the problem that the deep knowledge tracking model basedon time convolution network(TCN)only
8、uses students answer sequences and answer results,and ignores other behavior characteristics of students,a deep knowledge tracking model based on multi feature extraction(TKT-PCA)is proposed.The modeluses principal component analysis(PCA)method to automatically extract hidden features in a variety o
9、f students answer behavior and learn their representation.It not only reduces the feature dimension and redundant information,but also fully evaluatesstudentsknowledge mastery.The experimental results show that the TKT-PCA has the better prediction performance comparedwith other knowledge tracking b
10、aseline models.Key words:deep learning;knowledge tracking;temporal convolution network;educational data mining;intelligent education计算机与现代化2023年第7期能力往往要远强于BKT模型。然而,RNN类网络模型通常需要等待上一个时间步的前向传递结束后才可进行下一个时间步的前向传递,因此训练时间较长。并且,在长序列任务上,RNN经常存在梯度消失和梯度爆炸的问题,从而无法利用很久以前的信息。最近的研究表明,RNN并不是时间序列任务的唯一选择。某些特定的卷积神经网络结
11、构也可以达到很好的效果。Bai 等人10提出了时间卷积网络(Temporal Convolution Networks,TCN),并将其与多种 RNN 结构相对比,发现在多种时间序列任务上TCN都能达到甚至超过RNN模型的性能10,同时也避免了递归模型的常见缺陷,如梯度爆炸或梯度消失以及计算效率差等问题11。此外,与在RNN中对后续时间步的预测必须等待前一个时间步完成的情况不同,在TCN中所有时间步的输入信息的前向传递过程是同时进行的,因此训练速度也大幅提升。如今,TCN也被广泛用于对时间序列问题的建模。Deng等人12提出一种新的股票趋势预测模型KDTCN。该模型可以更快地对突变作出反应,并
12、且在股票数据集上胜过其他先进的方法。He等人13提出了一种基于时间卷积神经网络的时间序列异常检测方法,这是首次将TCN应用于时间序列异常检测,实验验证了提出的方法的有效性。Chen等人14提出了一种基于卷积神经网络的多关联时间序列预测的概率预测框架,在多个数据集上该框架的精度和效率均优于其他先进的方法。近年来,研究者们也展开了使用时间卷积网络进行知识追踪的研究。然而,现有的基于TCN的知识追踪模型往往只考虑了知识点ID和作答结果作为模型的输入,却忽略了学生在答题时的其他行为特征,如作答时间、作答次数、上次作答结果等。但是,这些特征不仅能够表示学生的作答行为,更为知识追踪提供了额外的信息,充分利
13、用这些额外信息能够更加准确地评估学生的知识掌握情况。针对上述问题,本文提出了一种基于多特征提取的时间卷积知识追踪模型TKT-PCA。本文主要工作如下:1)将在线教育平台生成的所有特征都纳入到知识追踪模型中,并采用特征提取方法主成分分析(Principal Component Analysis,PCA)来自动处理多个特征并学习它们的表示。2)利用时间卷积网络将学生的答题结果与行为特征相结合,来跟踪学生的知识状态。时间卷积网络使用空洞因果卷积结构,能够有效避免递归模型常见的梯度问题。3)在公开数据集上将本文提出的模型与5种较为流行的知识追踪模型进行对比实验,验证了本文模型具有更好的性能。此外,还通
14、过设计消融实验,验证了多特征提取的有用性。1相关研究BKT 模型是目前最流行的知识追踪模型之一。BKT模型提出了一个关于学生知识状态的隐含变量,学生的知识状态由一个二元组表示。整个模型结构实际上是一个隐马尔可夫模型6,根据状态转移矩阵来预测下一个状态,根据当前的状态来预测学生的答题结果。虽然 BKT 模型在知识追踪领域取得了成功,但是其本身依然存在几个问题。首先,学生的知识状态用二元组表示,不允许模糊性的存在,而这并不是很符合现实中的学习情况。其次,BKT模型还需要专家对相关知识进行标注,这需要耗费大量的时间和精力,人工成本较高。循环神经网络是一种处理时间序列任务的模型,信息是基于早期的信息和
15、当前输入的信息进行递归传播的。相对于HMM,RNN具有高维、连续的隐藏状态表示。RNN在很多时间序列任务上都取得了非常好的结果,因此许多研究者将其应用到知识追踪领域。Piech 等人9首次使用 RNN 来处理知识追踪任务,提出了DKT模型。DKT模型通过运用RNN的隐藏层来表示学生的知识空间状态,来判断学生学习情况,从而预测学生未来的表现。近年来,许多学者也尝试使用其他模型结构来对知识追踪进行研究。Zhang等人15提出了动态键值对 记 忆 网 络 知 识 追 踪 模 型(Dynamic Key-ValueMemory Network,DKVMN)。该模型借鉴了MANN16的思想,并结合了BK
16、T和DKT的优点。与MANN不同的是,使用一个称为键的静态矩阵,用于存储知识点,而另一个称为值的动态矩阵,则用于存储和更新相应知识点的掌握程度,提升了模型的可解释性。随着基于注意力机制的模型的发展,也有一些研究者将自注意力模型应用于知识追踪领域中。Pandey 等人17提出了基于自注意力机制18的知识追踪模型SAKT。SAKT 模型使用 Google 提出的 Transformer 模型对学生做题序列进行建模。由于脱离了RNN的结构限制,SAKT也不存在长序列依赖问题。2模型描述2.1问题定义知识追踪研究旨在根据学生的历史做题记录来追踪学生知识状态的变化,从而根据学生的知识水平和对知识点的掌握
17、程度来预测其在未来的学习表现。本文用S来表示一组学生,用E来表示一组习题。此外,用R0,1来表示学生作答结果,其中0表示答题错误,1表示答题正确。在t时刻,学生i的学习交互向量表示为s(i,t)=f1,f2,fn,其中fp表示学生i的第p个特征,n表示特征总数。因此,学生i从时刻1到t的学习交互序列Si可表示为Si=s(i,1),s(i,2),s(i,t)。定义1 学生学习表现预测。给定每一个学生从时刻1到t的学习交互序列Si=s(i,1),s(i,2),s(i,t),目标是预测t+1时刻的学习表现。2.2模型整体结构为了增强深度知识追踪预测学生表现的效果,本文提出了TKT-PCA模型。如图1
18、所示,TKT-PCA模262023年第7期型由2个部分组成:1)嵌入模块,该模块结合了学生的答题结果和行为特征,并使用机器学习方法 PCA将学生的答题行为处理成特征向量;2)深度学习模块,该模块将嵌入模块生成的特征向量作为输入,使用时间卷积网络 TCN 提取学生每个时刻的知识状态,通过全卷积层和空洞因果卷积层计算得出下一题正确的概率。图1TKT-PCA模型结构2.3特征嵌入引入学生的答题行为特征无疑能够为本文的模型提供额外的信息,使得模型更加准确地评估学生的知识掌握情况。但与此同时,也会导致输入向量维度的增加,增加了模型的训练时间和参数。因此,在信息损失最小的情况下,有必要在充分考虑特征独立性
19、和特征之间的关系的基础上,减少特征空间的维度。主成分分析19是一种常见的数据降维方法,其目的是在信息损失较小的前提下,将高维的数据转换到低维,从而减小计算量。因此,本文采用PCA方法来处理学生的多种特征。特征嵌入的细节描述如下:首先,对特征信息中出现的单位进行去除,比如次数、毫秒等,使其转换为无量纲的纯数值。然后,对学习交互向量s(i,t)=f1,f2,fn进行归一化。计算公式如下:fi=fi-fm,f=1ni=1nfi,m=1ni=1n(fi-f)2(1)其中,f表示为均值,m表示为标准差,fi则表示为归一化后的新特征。这就得到一个新的特征序列和特征矩阵:Si=s()i,1.s(i,t)T
20、Rt n(2)接着,计算协方差矩阵D:D=1tSiSiT Rn n(3)通过协方差矩阵D计算特征向量及其对应的特征值,然后将特征值从大到小进行排序。选择前k个最大特征值所对应的特征向量组成一个新的矩阵QRnk。最后,计算出最终的矩阵 Xi=SiQ,XiRtk。这样,通过PCA方法减少了特征空间的维度并生成了新的特征矩阵Xi=x1,x2,xt来表示学生i从时刻1到t的学习记录,从而作为模型的输入。2.4时间卷积网络TCN2.4.1空洞因果卷积与传统的卷积神经网络不同,因果卷积是单向的结构,不能看到来自未来的数据。其结构如图 2 所示,对于上一层t时刻的值,只能依赖于下一层t时刻及t时刻之前的值。
21、由此可见,因果卷积是一种严格的时间约束模型。图2因果卷积然而,单纯的因果卷积对历史信息的覆盖范围并不大。面对学生长期的历史学习记录,因果卷积需要不断增加网络深度。随着深度逐渐增大,网络中参数成倍增加,使得网络的训练难度也迅速变大。为了解决这个问题,TCN使用空洞卷积20来扩大因果卷积网络对历史信息的感受野。如图3所示,空洞卷积允许卷积时的输入存在间隔采样,采样率受图中的空洞因子d控制。底层的d为1,表示每个点作为输入进行采样;中间层的d为2,表示每2个点作为输入进行采样。通常,本文设定d=2i(i代表网络的第i层),即d的大小随网络深度呈指数型增长。因此,卷积网络使用的层数较少,便可以获得较大
22、的感受野。对于一维输入序列x,滤波器f:0,1,2,k-1,空洞卷积函数F的数学表达式为:F(s)=(x df)(s)=i=0k-1f(i)xs-di(4)其中,s为输入的时间序列信息;d为空洞因子,即空洞间隔大小;s-di指代对历史某一信息的定位。图3空洞因果卷积2.4.2残差连接残差连接被证明是训练深层网络的有效方法,它使得网络可以跨层传递信息,避免了梯度消失和梯度爆炸等问题21。残差块的计算如下:=Activation(x+F(x)(5)TCN模型使用了残差块22来代替卷积层。如图4所示,一个残差块包含2层卷积和非线性映射,每层中还加入了WeightNorm来正则化网络。为了确保残差连接
23、有效,当输入通道的数量与空洞因果卷积的输出通道数量不同时,还需使用额外的11卷积。Output Dilation=2tHidden LayerDilation=2t-1Hidden LayerDilation=21Hidden LayerDilation=20Inputx1x2xtStPCAxtOuputHidden LayerHidden LayerHidden LayerInputOuputHidden Layer d=21Hidden Layer d=20Input谢仕斌,等:基于多特征提取的时间卷积知识追踪模型27计算机与现代化2023年第7期图4TCN残差块3实验与结果分析为了评估本
24、文TKT-PCA模型的性能指标,在公开的常用知识追踪数据集上进行实验,并与5种具有代表性的模型进行对比。实验结果表明:TKT-PCA模型的预测能力均优于其他模型。3.1数据集本 文 实 验 所 使 用 的 公 共 数 据 集 是 ASSISTments200923。AssisTments 平台是一个免费的在线教育平台。该数据集源自2009-2010学年期间学生在ASSISTments平台的答题记录。其中,本文选择的是”skill-builder”版本的数据集,该版本去除了旧版本中出现的重复数据。该版本数据集中包含了4151名学生,110个知识点标签以及325637条答题记录。同时,此版本数据集
25、也记录了学生在答题时的23种行为特征,部分特征描述如表1所示。表1部分行为特征特征类型user_idproblem_idskill_idms_first_responsehint_countattempt_count描述学生序号问题序号知识点序号学生首次响应的时间请求提示次数学生尝试作答次数3.2模型实现本文实验将数据集中 80%的数据作为训练集,20%的数据作为测试集,并使用5折交叉验证方法对模型的超参数进行调整。TKT-PCA模型训练时,卷积层的卷积核设置为7,批处理大小为32,使用Adam优化器 24 对 TKT-PCA 模型进行训练,学习率设为0.001,同时,使用Dropout 25
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 提取 时间 卷积 知识 追踪 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。