《数据挖掘》课件 第3章 分类.pdf
《《数据挖掘》课件 第3章 分类.pdf》由会员分享,可在线阅读,更多相关《《数据挖掘》课件 第3章 分类.pdf(49页珍藏版)》请在咨信网上搜索。
1、数据挖掘高级大数据人才培养丛书之一,大数据挖掘技术与应用第三章分类分类是一种很重要的数据挖掘技术,也是数据挖掘研究的重点和热点之一。分类的目 的是分析输入数据,通过训练集中的数据表现出来的特性,为每一个类找到一种准确描 述或者模型,这种描述常常用谓词来表示。由此生成的类描述用来对未来的测试数据进 行分类。尽管这些未来测试数据的类标签是未知的,仍可以由此预测这些新数据所属的 类。也可以由此对数据中每一个类有更好的理解。高级大数据人才培养丛书之一,大数据挖掘技术与应用第三章分类.3.1 基本概念3:2决策树3.3 贝叶斯分类3.4 支持向量机3.5 实战:决策树算法在Weka中的实现 习题,3.1
2、基本概念第三章分类3.1.1分类的基本概念分类(Classificat ion)是一种重要的数据分析形式,它提取刻画重要数据类的模型。这种模型称为分类器,预测分类的(离散的、无序的)类标号。这些类别可以用离散值 表示,其中值之间的次序没有意义。分类也可定义为:分类的任务就是通过学习得到一个目标函数(Tar get Funct ion);,把每个属性集x映 射到一个预先定义的类标号y o图行天下 Ko.20150104020018208171)3.1基本概念第三章分类3.1.2分类的过程数据分类过程有两阶段:(1)学习阶段(构建分类模型)。(2)分类阶段(使用模型预测给定数据的类标号)o训练集I
3、 Tid属性1属性2属性3类1YesLarge125KNo2NoMedium100KNo3NoSmall70KNo4YesMedium120KNo5NoLarge95KYes6NoMedium60KNo7YesLarge220KNo8NoSmall85KYes9NoMedium75KNo10NoSmall90KYes测试集I Tid属性1属性2属性3类11NoSmall55K?12YesMedium80K?13YesLarge110K?14NoSmall95K?15NoLarge67K?建立分类模型的一般方法 3.1基本概念第三章分类3.1.3分类器性能的评估方法分类器的性能和所选择的训练集和
4、测试集有着直接关系。一般情况下,先用一部分 数据建立模型,然后再用剩下的数据来测试和验证这个得到的模型。如果使用相同的训 练集和测试集,那么模型的准确度就很难使人信服。保持法和交叉验证是两种基于给定 数据随机选样划分的,是常用的评估分类方法准确率的技术。图片来源:拍信P高级大数据人才培养丛书之一,大数据挖掘技术与应用第三章分类3.1 基本概念3.2 决策树3.3 贝叶斯分类314 支持向量机3.5 实战:决策树算法在Weka中的实现 习题)32决策树第三章分类决策树是数据挖掘的有力工具之一,决策树学习算法是从一组样本数据集(一个样 本数据也可以称为实例)为基础的一种归纳学习算法,它着眼于从一组
5、无次序、无规则 的样本数据(概念)中推理出决策树表示形式的分类规则。3.2.1 决策树概述决策树(Decision Tr ee)是一种类似于流程图的树结构,其中每个内部节点(非树 叶节点)表示在属性上的测试,每个分支表示该测试上的一个输出,而每个树叶节点存 放一个类标号,树的最顶层节点是根节点。决策树生成方式一般情况下都是由上而下的。每次不同的事件或决策都有可能引发至少两个以上的事件,形成不同的结果,这种决策 方法用图形表示出来很像一棵树,所以称之为决策树。决策树是一种简单且广泛使用的 分类器。通过训练数据来构建决策树,可高效地对未知的数据进行分类。)32决策树第三章分类3.2.2 决策树的用
6、途和特性基于决策树的决策算法是属于实用性很好的总结预测算法之一,是一个趋近于非连 续型函数值的算法。决策树在各行各业有着非常多的广泛应用,如在医院的临床决策、人脸检测、故障诊断、故障预警、医疗数据挖掘、案例分析、分类预测的软件系统等方 面都有很大的用处。决策树的最佳用途是图解说明如何领会决策与相关事件的相互作用。)32决策树第三章分类3.2.3 决策树工作原理决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到 什么值的类似规则的方法。决策树分为分类树和回归树两种,分类树对离散变量做决策 树,回归树对连续变量做决策树。直观看,决策树分类器就像判断模块和终止块组成的流程图,终
7、止块表示分类结果(也就是树的叶子)。判断模块表示对一个特征取值的判断(该特征有几个值,判断模 块就有几个分支)。年龄?:学生?;买二-A 尸,厂-Q买电脑的决策树45信用评级?1亡秀般买:C买二)32决策树第三章分类上图表示了一个关心电子产品的用户是否会购买电脑,用它可以预测某条记录(某 个人)的购买意向。树中包含了三种节点:根节点(r oot r ode),它没有入边,但有两条或多条出边。子节点(child node),恰有一条入边和两条或多条出边。叶节点(leaf node)或终节点(t er minal node),恰有一条入边,但没有出边。在决策树中,每个叶节点都赋予一个类标号。非终节
8、点(包括根节点和内部节点)包含属性测试条件,用以分开具有不同特性的记录。这棵决策树对销售记录进行分类,指出一个电子产品消费者是否会购买一台计算机。每个内部节点(方形框)代表对某个 属性的一次检测。每个叶节点(椭圆框)代表一个类。)32决策树第三章分类3.2.4 决策树构建步骤决策树分类算法应用的完整流程应包含建树和应用。建树是从经验数据中获取知识,进行机器学习,建立模型或者构造分类器,是决策树算法的工作重点,通常又将其分为 建树和剪枝两个部分。决策树构建的基本步骤如下:1.开始,所有记录看作一个节点。2.遍历每个变量的每一种分割方式,找到最好的分割点。3.分割成多个节点Ni,N2,,Nm(m的
9、数量与当前的属性相关)。4.对Ni,N2,,Nm分别继续执行23步,直到每个节点足够纯为止。(纯 的含义是要么全部是是,要么全部是否)。)32决策树第三章分类树的主体建好后,接下来便是对其剪枝。决策树的剪枝一般通过极小化决策树整体的损失函数或代价函数来实现。决策树剪枝常用的方法有两种:预剪枝和后剪枝。预剪枝是根据一些原则尽早停止树的增长,如树的深度达到用户所要的深度、节点 中样本个数少于用户指定个数等。预剪枝在建立树的过程中决定是否需要继续划分或分 裂训练样本来实现提前停止树的构造,一旦决定停止分枝,就将当前节点标记为叶节点。后剪枝是通过在完全生长的树上剪去分枝实现的,通过删除节点的分支来剪去
10、树节)32决策树第三章分类3.2.5 决策树算法原理1.认识决策树1)决策树的生成过程一棵决策树的生成过程主要分为以下3个部分:(1)特征选择:特征选择是指从训练数据众多的特征中选择一个特征作为当前节点 的分裂标准,如何选择特征有着很多不同量化评估标准,从而衍生出不同的决策树算法。(2)决策树生成:根据选择的特征评估标准,从上至下递归地生成子节点,直到数 据集不可分则决策树停止生长。(3)剪枝:决策树容易过拟合,一般都需要剪枝,缩小树结构规模、缓解过拟合。)32决策树第三章分类基于信息论的决策树算法有ID3、CART和C4.5等算法,其中C4.5和CART两种算法 从ID3算法中衍生而来。CA
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据挖掘 数据挖掘课件 第3章 分类 数据 挖掘 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。