RR2-大数据分析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,数据挖掘,数据挖掘（,ata Mining,）：又称为数据库中的知识发现（,Knowledge discovery from databases,(KDD),），是基于、机器学习、统计学等技术，高度自动化地分析原有的数据，进行归纳性推理，从数据仓库或数据库中提取可信的、新颖的、有效的、人们感兴趣的、能别人理解的知识的高级处理过程。这些知识是隐含的、事先未知的有用信息，提取的知识表现为概念、规则、模式、规律等形式，以帮助管理者作出正确的决策。,模式：它给出了数据特性或数据之间的关系，是对数据所包含的信息更抽象的描述。模式按功能可以分为预测型模式和描述型模式。在实际应用中，可以细分为关联模式、分类模式、聚类模式和序列模式等。,1,数据挖掘四部曲,数据挖掘的类型,生物学方法,神经网络方法,神经网络是人工智能领域的一个重要的分支。采用神经网络设计的系统模拟人脑的结构，而与传统的系统截然不同。由医学可知，人的大脑中有几十亿个大脑细胞（称为神经元），这些神经元通过神经中枢的导电神经纤维互相连接，从而形成一个复杂的脑神经网络。人在学习某一件事的时候，某些神经元的连接得到强化。,在人工神经网络中，用计算机处理单元来模拟人脑的神经元，并将这些处理单元象人脑的神经元那样互相连接起来，构成一个网络。神经网络并非使用编程的方式让计算机去做某项工作，而是采用所谓,“,训练,”,的方法让神经网络进行,“,学习,”,。完成某项工作的正确动作，使得神经网络的某些连接或模式得到强化；而错误的动作则使神经网络的相应连接或模式不被强化。从而让神经网络,“,学会,”,如何去做这项工作。,6,CRISP-DM,（,CRoss-Industry Standard Process for Data Mining,）,业务理解（,Business Understanding,）,数据理解（,Data Understanding,）,数据准备（,Data Preparation,）,建模（,Modeling,）,评估（,Evaluation,）,实施 （,Deployment,）,Quiz,Q1,什么是,有监督学习,？,Q2,什么是,无监督学习,？,Q3,什么是,聚类分析,？,Q4,什么是,什么是一个好的聚类方法?,Q5,什么是,S-0-I,模型,？,Q6,什么是,麦肯锡七步法,？,什么是聚类分析?,簇（,Cluster）:,一个数据对象的集合,聚类分析,把一个给定的数据对象集合分成不同的簇；,在同一个簇（或类）中，对象之间具有相似性；,不同簇（或类）的对象之间是相异的。,聚类是一种无监督分类法:没有预先指定的类别；,典型的应用,作为一个独立的分析工具，用于了解数据的分布；,作为其它算法的一个数据预处理步骤；,11/19/2025,Data Mining:Concepts and Techniques,10,什么是一个好的聚类方法?,一个好的聚类方法要能产生高质量的聚类结果,簇，这些簇要具备以下两个特点：,高的簇内相似性,低的簇间相似性,聚类结果的好坏取决于该聚类方法采用的相似性评估方法以及该方法的具体实现；,聚类方法的好坏还取决与该方法是能发现某些还是所有的隐含模式；,11/19/2025,Data Mining:Concepts and Techniques,11,计算对象之间的相异度,通常使用距离来衡量两个对象之间的相异度。,常用的距离度量方法有:,明考斯基距离,（,Minkowski distance）,:,其中,i,=(,x,i1,x,i2,x,ip,),和,j,=(,x,j1,x,j2,x,jp,),是两个,p,维的数据对象,q,是一个正整数。,当,q,=,1,时,d,称为,曼哈坦距离,（,Manhattan distance）,11/19/2025,Data Mining:Concepts and Techniques,12,当,q=2,时,d,就成为,欧几里德距离,:,距离函数有如下特性：,d(i,j),0,d(i,i),=0,d(i,j),=,d(j,i),d(i,j),d(i,k),+,d(k,j),可以根据每个变量的重要性赋予一个权重,11/19/2025,Data Mining:Concepts and Techniques,13,K-,平均算法,给定,k,，算法的处理流程如下,:,1.,随机的把所有对象分配到,k,个非空的簇中；,2.,计算每个簇的平均值，并用该平均值代表相应的簇；,3.,将每个对象根据其与各个簇中心的距离，重新分配到与它最近的簇中；,4.,回到第二步，直到不再有新的分配发生。,The,K-Means,Clustering Method,Example,2025/11/19 周三,14,Cases,Marriage length(yrs),Wealth($000s),1,35,100,2,3,20,3,7,10,4,12,75,5,20,250,6,1,50,7,18,78,8,50,300,9,22,90,10,4,12,K-Means Example,2025/11/19 周三,15,Cases,Marriage length(yrs),Wealth($000s),1,35,100,2,3,20,3,7,10,4,12,75,5,20,250,6,1,50,7,18,78,8,50,300,9,22,90,10,4,12,k=2,e.g Cluster 1 has examples,(1,4,7,8,9),Cluster 2 has examples,(2,3,5,6,10),Step 1.Randomly assign to each of k groups,2025/11/19 周三,16,Cases,Marriage length(yrs),Wealth($000s),1,35,100,2,3,20,3,7,10,4,12,75,5,20,250,6,1,50,7,18,78,8,50,300,9,22,90,10,4,12,e.g Cluster 1 has examples,(1,4,7,8,9),Marriage length mean=27.4,Wealth mean =128.6,Cluster 2 has examples,(2,3,5,6,10),Marriage length mean=7,Wealth mean =68.4,Step 2.Calculate cluster means,2025/11/19 周三,17,Cases,Marriage length(yrs),Wealth($000s),1,35,100,2,3,20,3,7,10,4,12,75,5,20,250,6,1,50,7,18,78,8,50,300,9,22,90,10,4,12,e.g Calculate the error associated with each cluster grouping as sum of squares of distance from each example in the whole data set from cluster mean.,Marriage length means=27.4,7,Wealth means =128.6,68.4,Error_cluster_1=,(35-27.4),2,+,(100-128.6),2,+,(7-7),2,+,(10-68.4),2,+,.,=80,523.6,Step 3.Calculate cluster error,2025/11/19 周三,18,Cases,Marriage length(yrs),Wealth($000s),1,35,100,2,3,20,3,7,10,4,12,75,5,20,250,6,1,50,7,18,78,8,50,300,9,22,90,10,4,12,e.g Step 1 clusters were:,Cluster 1(1,4,7,8,9),Cluster 2(2,3,5,6,10),Move example 5 from cluster 2 to cluster 1 so new cluster is:,Cluster 1(1,4,5,7,8,9),Cluster 2(2,3,6,10),Repeat:If the new cluster generates an error lower than the first,retain the new cluster and repeat,Step 4.Move an example to a new cluster and repeat,2025/11/19 周三,19,数据分析系列剧第二集：七步法的应用,S-0-I,模型,Quiz,Q1,什么是,分类,？,Q2,分类的两个步骤,是什么？,Q3,什么是,线性回归,？,Q4,什么是,关联规则,？,Q5,什么是,关联规则的,支持度,？,Q6,什么是,关联规则的,信任度,？,Q7,数据可视化,是什么？,分类就是提出一个分类函数或分类模型（即分类器），通过分类器将数据对象映射到某一个给定的类别中。,2025/11/19 周三,23,11/19/2025,Data Mining:Concepts and Techniques,24,分类过程：模型创建,训练集,分类算法,IF rank=professor,OR years 6,THEN tenured=yes,模型,11/19/2025,Data Mining:Concepts and Techniques,25,分类过程(2):使用模型,模型,测试集,未知数据,(,Jeff,Professor,4),Tenured?,回归于分类预测,线性回归是利用,数理统计,中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。分析按照,自变量,和,因变量,之间的关系类型，可分为线性回归分析和非线性回归分析。,27,Linear Classification,Binary Classification problem,The data above the line belongs to class x,The data below line belongs to class o,Examples:SVM,Perceptron,Probabilistic Classifiers,x,x,x,x,x,x,x,x,x,x,o,o,o,o,o,o,o,o,o,o,o,o,o,2025/11/19 周三,27,2025/11/19 周三,数据挖掘：概念和技术,28,关联规则：基本概念,给定:(1)交易数据库,(2),每笔交易是,：,一个项目列表(消费者一次购买活动中购买的商品),查找:,所有,描述一个项目集合与其他项目集合相关性的规则,E.g.,98%of people who purchase tires and auto accessories also get automotive services done,应用,*,护理用品,(商店应该怎样提高护理用品的销售？,),家用电器,*,(其他商品的库存有什么影响,?),在产品直销中使用,附加邮寄,Support and Confidence,Support count,:The support count of an itemset,X,denoted by,X.count,in a data set,T,is the number of transactions in,T,that contain,X,.Assume,T,has,n,transactions.,Then,confidence,if A then B,=pr(A,B)/pr(B)=pr(B|A),support,if A then B,=pr(A,B)/n,2025/11/19 周三,29,2025/11/19 周三,数据挖掘：概念和技术,30,关联规则挖掘一个例子,对于,A,C：,support=support(,A,、,C,)=50%,confidence=support(,A,、,C,)/support(,A,)=66.6%,Apriori,的基本思想:,频繁项集的任何子集也一定是频繁的,最小值尺度 50%,最小可信度 50%,2025/11/19 周三,数据挖掘：概念和技术,m,个项目构成的,k,项集的集合为,Apriori,算法 例子,数据库,D,扫描,D,C,1,L,1,L,2,C,2,C,2,扫描,D,C,3,L,3,扫描,D,