统计学 ---数据的收集与整理.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,2,章 数据的搜集与整理,PowerPoint,统计学,第,2,章 数据的搜集与整理,2.1,统计数据的收集,2.2,统计数据的整理,2.1,统计数据的收集,统计数据的直接来源,统计数据的间接来源,一、统计数据的直接来源,两个渠道：,调查或观察,-,取得社会经济数据的重要手段,实验,-,取得自然科学数据的主要手段,（一）统计调查方式,统计调查方式,抽样调查,普,查,统计报表,重点调查,典型调查,1,、抽样调查,(Sample survey),（,1,）从总体中随机抽取一部分单位,(,样本,),进行调查，并根据样本调查结果来推断总体数量特征,总体,随机样本,（,2,）目的是推断总体的未知数字特征,（,3,）遵循随机原则抽样,（,4,）特点,-,按随机原则抽选调查单位,-,用样本推断总体,-,在调查前可计算和控制抽样误差,2,、普查,(census),1.,专门组织进行的一次性全面调查,2.,相对于常规性调查,3.,相对于经常性调查,4.,相对于非全面调查,5.,我国已建立了周期性普查制度,总体,3.,统计表报,(Statistical report forms),1.,按照国家有关法规的规定，自上而下地统一布置、自下而上地逐级提供基本统计数据,2.,是我国重要的数据收集方式,3.,以原始数据为基础，按统一的表式、指标、报送时间、程序填报,4.,重点调查和典型调查,典型调查,(Model survey),从调查对象的全部单位中选择若干有代表性的单位进行调查,目的是描述和揭示事物的本质特征和规律,调查结果不能用于推断总体,重点调查,(Key-point investigation),从调查对象的全部单位中选择少数重点单位进行调查,调查结果不能用于推断总体,（二）数据的搜集方法,数据的搜集方法,询问调查,访问调查,观察实验,电话调查,邮寄调查,观,察,座,谈,会,个别深访,实,验,访问调查,(Personal interview),1.,调查者与被调查者通过面对面地交谈而获得资料,2.,有标准式访问和非标准式访问,标准式访问通常按事先设计好的问卷进行,非标准式访问事先一般不制作问卷,对不起，打扰了！,邮寄调查,(Mail survey),是一种标准化调查,调查者与被调查者没有直接的语,言交流，信息的传递依赖于问卷,通过某种方式将调查表或问卷送,至某被调查者手中，由被调查者,填写，然后将问卷寄回指定收集点,问卷或表格的发放方式有邮寄、,宣传媒介传送、专门场所分发三种,电话调查,(Telephone survey),调查者利用电话与被调查者进行语言交流以获得信息,时效快、成本低,问题的数量不宜过多,您好,!,我是,调查公司的调查员,座谈会,(Colloquia),将一组被调查者集中在调查现场，让他们对调查的主题发表意见以获得资料,人数不宜过多，一般为,6,10,人,侧重于定性研究,个别深度访问,(Personal,Interviewing,),一次只有一名受访者参加、针对特殊问题的调查,适合于较隐秘的问题,侧重于定性研究,观察法,(Observational method),调查人员边观察边记录以收集所需信息,能够在被调查者不察觉的情况下获得资料,实验法,(Experimental method),在设定的特殊实验场所、特殊状态下，对调查对象进行实验以获得所需资料,有室内实验法和市场实验法,（三）调查方案设计,调查方案的内容,调,查,目,的,调查对象调查单位,调查项目和调查表,其,他,确定调查目的,(Objective of survey),调查要达到的具体目标,回答“为什么调查？”,调查之前必须明确,确定调查对象和调查单位,调查对象,(Respondent),：,调查研究的总体或调查范围,调查单位,(Survey unit),：,需要对之进行调查的单位。可以是调查对象的全部单位（全面调查），也可以是调查对象中的一部分单位（非全面调查）,回答“向谁调查？”,调查对象,调查单位？,设计调查项目和调查表,调查项目,(Survey items),：,调查的具体内容,调查表,(Questionnaire),：,表现调查项目的表格或问卷,回答“调查什么？”,Q,1 ,Q,2 ,Q,3 ,Q,4 ,二、统计数据的间接来源,1.,公开出版物：,中国统计年鉴,、,中国统计摘要,、,中国社会统计年鉴,、,中国工业经济统计年鉴,、,中国农村统计年鉴,、,中国人口统计年鉴,、,中国市场统计年鉴,、,世界经济年鉴,、,国外经济统计资料,、,世界发展报告,Internet,2.,网络,中国统计年鉴,2003,中国人口统计年鉴,中国市场统计年鉴,世界发展报告,世界经济年检,工业普查数据,中国统计出版社,2.2,统计数据的整理,一、数据的预处理,二、数据分组与频数分布,三、频数分布的图示和类型,一、数据的预处理,1.,数据审核,2.,数据筛选,3.,数据排序,数据的预处理,数据的审核,检查数据中的错误,数据的筛选,找出符合条件的数据,数据排序,升序和降序,寻找数据的基本特征,1,、数据审核,原始数据,(raw data),审核的内容,完整性审核,检查应调查的单位或个体是否有遗漏,所有的调查项目或指标是否填写齐全,准确性审核,检查数据是否有错误，计算是否正确等,检查是否存在异常值,1,、数据的审核,二手数据,(second hand data),适用性审核,弄清楚数据的来源、数据的口径以及有关的背景材料,确定数据是否符合自己分析研究的需要,时效性审核,尽可能使用最新的数据,确认有否必要做进一步的加工整理,2,、数据筛选,(data filter),当数据中的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，需要对数据进行筛选,数据筛选的内容包括,将某些不符合要求的数据或有明显错误的数据予以剔除,将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔除,数据筛选,(data filter),用,Excel,进行数据筛选,8,名学生的考试成绩数据,3,、数据排序,(data rank),按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索,排序有助于对数据检查纠错，以及为重新归类或分组等提供依据,在某些场合，排序本身就是分析的目的之一,排序可借助于计算机完成,数据排序,(,方法,),（,1,）,分类数据的排序,字母型数据，排序有升序降序之分，但习惯上用升序,汉字型数据，可按汉字的首位拼音字母排列，也可按笔画排序，其中也有笔画多少的升序降序之分,（,2,）数值型数据的排序,递增排序：设一组数据为,x,1,，,x,2,，,，,x,n,，递增排序后可表示为：,x,(1),x,(,2),x,(2),x,(n,),二、数据分组与频数分布,数据分组,与频数分布,分组方法,分组方法,等距分组,异距分组,单变量值分组,组距分组,单变量值分组,(,要点,),适合于离散变量,适合于变量值较少的情况,组距分组,(,要点,),将变量值的一个区间作为一组,适合于连续变量,适合于变量值较多的情况,需要遵循“不重不漏”的原则,可采用等距分组，也可采用不等距分组,组距分组,(,步骤,),1.,确定组数：组数的确定应以能够显示数据的分布特征和规律为目的。在实际分组时，可以按,Sturges,提出的经验公式来确定组数,K,确定组距：组距,(Class Width),是一个组的上限与下限之差，可根据全部数据的最大值和最小值及所分的组数来确定，即,组距,(,最大值,-,最小值,),组数,3.,统计出各组的频数并整理成频数分布表,组距分组,(,几个概念,),1.,下限,(low limit),：,一个组的最小值,2.,上限,(upper limit),：,一个组的最大值,3.,组距,(class width),：,上限与下限之差,4.,组中值,(class midpoint),：,下限与上限之间的中点值,下限值,+,上限值,2,组中值,=,频数分布表的编制,(,例题分析,),【,例,】,某电脑公司,2002,年前四个月各天的销售量数据（单位：台）。试对数据进行分组。,频数分布表的编制,(,步骤,),确定组数：根据,Sturges,提出的经验公式得组数,K,为：,确定各组的组距：,组距,(,237-141)10=9.6,10,用,Excel,制作频数分布表,等距分组表,(,上下组限重叠,),等距分组表,(,上下组限间断,),等距分组表,(,使用开口组,),等距分组与不等距分组,(,在表现频数分布上的差异,),等距分组,各组频数的分布不受组距大小的影响,可直接根据绝对频数来观察频数分布的特征,不等距分组,各组频数的分布受组距大小不同的影响,各组绝对频数的多少不能反映频数分布的实际状况,需要用频数密度（频数密度,=,频数,/,组距）反映频数分布的实际状况,三、频数分布的图示,Excel,分组数据,直方图和折线图,分组数据,直方图,(histogram),用矩形的宽度和高度来表示频数分布的图形，实际上是用矩形的,面积,来表示各组的频数分布,在直角坐标中，用横轴表示数据分组，纵轴表示,频率,/,组距,，各组与相应的频率,/,组距就形成了一个矩形，即直方图,直方图下的总面积等于,1,分组数据的图示,(,直方图的绘制,),140,150,210,直方图下的面积之和等于,1,某电脑公司销售量分布的直方图,我一眼就看出来了，销售量在,170,180,之间的天数最多,!,190,200,180,160,170,(1/1200,天,),25,20,15,10,5,30,220,230,240,分组数据,折线图,(frequency polygon),折线图也称频数多边形图,是在直方图的基础上，把直方图顶部的中点,(,组中值,),用直线连接起来，再把原来的直方图抹掉,折线图的两个终点要与横轴相交，具体的做法是,第一个矩形的顶部中点通过竖边中点（即该组频数一半的位置）连接到横轴，最后一个矩形顶部中点与其竖边中点连接到横轴,折线图下所围成的面积与直方图的面积相等，二者所表示的频数分布是一致的,分组数据的图示,(,折线图的绘制,),折线图与直方图,下的面积相等！,140,150,210,某电脑公司销售量分布的折线图,190,200,180,160,170,220,230,240,(1/1200,天,),25,20,15,10,5,30,STATISTICA,未,分组数据,茎叶图,未分组数据,茎叶图,(stem-and-leaf display),1.,用于显示未分组的原始数据的分布,2.,由“茎”和“叶”两部分构成，其图形是由数字组成的,3.,以该组数据的高位数值作树茎，低位数字作树叶,4.,树叶上只保留一位数字,5.,对于,n(20,n,300),个数据，茎叶图最大行数不超过,L,=10,lg(,n,),6.,茎叶图类似于横置的直方图，但又有区别,直方图可观察一组数据的分布状况，但没有给出具体的数值,茎叶图既能给出数据的分布状况，又能给出每一个原始数值，保留了原始数据的信息,未分组数据,茎叶图,(,例题分析,),未分组数据,茎叶图,(,扩展的茎叶图,),