R语言基础培训常用统计分析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,基于,R,的基本统计分析,1,内容提要,描述统计,频数表分析,方差分析,t,检验,卡方检验,线性回归,相关分析,2,描述分析,(Descriptive statistics),描述统计就是把数据集所包含的信息加以简要地概况，如计算数据的数字特征、制作频数表和频数图等等，用所获得的统计量和图表来描述数据集所反映的特征和规律，使得研究的问题更加简单、直观。,描述性统计主要包括反映数据集中趋势的特征值,(,比如平均数、中位数、众数、分位数,),、数据离散程度的特征值,(,比如方差、标准差、值域、变异系数,),和数据分布形态的特征值,(,比如偏度、峰度,),。,3,标准差（,std.dev,）和标准误（,SE.mean,）,标准差（,std.dev,）,真实均值,SE,样本均值,当样本含量,n 足够大时，标准差趋向稳定；而标准误随n的增大而减小，甚至趋于0。,4,标准差（,std.dev,）和标准误（,SE.mean,）,比如，某学校共有,500,名学生，现在要通过抽取样本量为,30,的一个样本，来推断学生的身高。这时可以依据抽取的样本信息，计算出样本的均值与标准差。如果我们抽取的不是一个样本，而是,10,个样本，每个样本,30,人，那么每个样本都可以计算出均值，这样就会有,10,个均值。也就是形成了一个,10,个数字的数列，然后计算这,10,个数字的标准差，此时的标准差就是标准误。但是，在实际抽样中我们不可能抽取,10,个样本。所以，标准误就由样本标准差除以样本量来表示。当然，这样的结论也不是随心所欲，而是经过了统计学家的严密证明的。,SE.mean=std.dev/n,1/2,5,在实际的应用中，标准差主要有两点作用，一是统计量样本离散程度的表征；二是用来对样本进行标准化处理，即样本观察值减去样本均值，然后除以标准差，这样就变成了标准正态分布。标准误的作用主要是用来做区间估计，常用的估计区间是均值加减,n,倍的标准误（例如,95%,的置信区间是：均值,+1.96,*,SE,）,标准差（,std.dev,）和标准误（,SE.mean,）,6,95%CI:,假设上面这个随机抽样估计学生身高的例子，抽样,100,次，每次抽,10,个学生测量身高，均值估计值及标准误为,152cm12cm,。但有时需要表示为估计量的,95%,的置信区间,152cm-1.96*12cm,，,152cm+1.96*12cm,。可以解释为，如果从再从总体中抽样,100,次（每次抽样,10,个），产生,100,个平均值，这,100,个平均值将有,95,次落在,152cm-1.96*12cm,，,152cm+1.96*12cm,这个范围内，,5,次落在这个范围外，如果抽样次数越多，这个推断越准确。这个来源于中心极限定理的应用：任何分布,(,总体,),抽样,n,次，每次抽样的和符合正态分布。通俗一点说,不管是学校的学生身高是怎么分布,每次随机抽取,10,个求和,抽取,n,次，这,n,个身高总和是符合正态分布的。平均身高为身高总和除于,10,，所以平均身高也是正态分布的。正态分布双尾,95%,的分界点所对应的值刚好是,1.96,。,7,8,9,峰度（,Kurtosis,）,峰度（,Kurtosis,）是描述某变量所有取值分布形态陡缓程度的统计量。它是和正态分布相比较的。,Kurtosis=0,与正态分布的陡缓程度相同。,Kurtosis0,比正态分布的高峰更加陡峭,尖顶,Kurtosis0,正偏差数值较大，为正偏或右偏。长尾巴拖在右边,Skewness0,负偏差数值较大，为负偏或左偏。长尾巴拖在左边,计算公式：,Skewness,越大，分布形态偏移程度越大,11,频数表,(Frequency table),分析,频数表分析是对数据集按数据范围分成若干区间，即分成若干组，求出每组组中值，各组数据用组中值代替，计算各组数据的频数，并作出频数表。,12,频数表分析例子,summary(oats$yield),#,计算频数,A-table(cut(oats$yield,breaks=40+20*(0:7),round(prop.table(A)*100,2)#,计算频数比例,#,画频数表,hist(oats$yield,#breaks=7,xlim=c(40,180),xlab=yield,main=Frequency chart of yield),13,方差分析,ANOVA,方差分析是一种在若干组能相互比较的试验数据中，把产生变异的原因加以区分的方法与技术，其主要用途是研究外界因素或试验条件的改变对试验结果影响是否显著。,类型：单因素方差分析,(One-way ANOVA),、双因素方差分析,(Two-way ANOVA),。,方差分析的基本模型是线性模型，并假设随机变量是独立、正态和等方差的。,方差分析是根据平方和的加和原理，利用,F,检验，进而判断试验因素对试验结果的影响是否显著。,14,单因素方差分析,15,#Tukey HSD,方法,#,install.packages(multcomp),library(multcomp),tuk-glht(fit,linfct=mcp(Treat=Tukey),summary(tuk)#standard display,tuk.cld-cld(tuk)#letter-based display,opar chisq.test(freq,p=probs),Chi-squared test for given probabilities,data:freq,X-squared=6.7,df=5,p-value=0.2423,27,卡方检验,x=c(100,110,80,55,14),probs=c(29,21,17,17,16)/100,chisq.test(x,p=probs),chisq.test(x,p=probs),Chi-squared test for given probabilities,data:x,X-squared=55,df=4,p-value=2.685e-11,28,卡方检验（列联表）,yesbelt=c(12813,647,359,42),nobelt=c(65963,4000,2642,303),chisq.test(data.frame(yesbelt,nobelt),chisq.test(data.frame(yesbelt,nobelt),Pearsons Chi-squared test,data:data.frame(yesbelt,nobelt),X-squared=59,df=3,p-value=8.61e-13,29,练习四,以数据,stu.data.csv,为例，,试对体重做频数分析。,请分析身高是否符合正态分布？,试分析性别对体重有无影响。,问题,4,：请检验总体平均体重与,60kg,有无显著差异？男生和女生的平均体重有无显著差异？,问题,5,：男女生比例是否符合,1.2:1.0,？,30,练习四 答案,df-read.csv(file=stu.data.csv,header=T),#,问题,1,A-table(cut(df$weight,breaks=40+15*(0:7),round(prop.table(A)*100,2),#,计算频数比例,hist(df$weight,breaks=7,xlim=c(40,140),xlab=weight,main=Frequency chart of weight),#,问题,2,shapiro.test(df$height),#,问题,3,fit-aov(weight Sex,data=df),summary(fit),library(agricolae),duncan.test(fit,Sex,alpha=0.05)$groups,31,#,问题,4,t.test(df$weight,mu=60,alternative=two.sided),wt.m-subset(df$weight,df$Sex=,男,),wt.f-subset(df$weight,df$Sex=,女,),var.test(wt.m,wt.f),#,等方差检验,t.test(wt.m,wt.f,paired=F),#,问题,5,summary(df$Sex),ct-c(87,33),pt 0,）,公式是有效的。,35,多项式回归,fit-lm(weight N+I(N2),data=df)#,二次项回归模型,summary(fit)#,回归分析结果,plot(df$N,df$weight)#,绘制散点图,lines(df$N,fitted(fit)#,添加回归线,添加光滑曲线,require(graphics),plot(cars,main=lowess(cars),lines(cars),lines(lowess(cars),col=2),36,多元线性逐步回归,37,最优线性回归方程为：,y=-649.779+14.592x1+6.841x2+9.329x3,回归方程表明：对于川农,16,号小麦而言，当,x2,和,x3,固定时，穗数,x1,每增加,1,万,/,亩，产量,y,将平均增加,14.592Kg/,亩；当,x1,和,x3,固定时，每穗粒数,x2,每增加,1,粒，产量,y,将平均增加,6.841Kg/,亩；当,x1,和,x2,固定时，千粒重,x3,每增加,1g,，产量,y,将平均增加,9.329 Kg/,亩。,38,自变量的作用主次,第一种方法：计算通径系数,(path coefficient,p),。,df.2-as.data.frame(scale(df)#,对数据集做标准化处理,lmfit round(coef(lmfit),3),(Intercept)x1 x2 x3,0.000 0.777 0.410 0.609,第二种方法：根据,x1,、,x2,、,x3,回归系数的,t,值大小，也可判断自变量,x,的主次顺序，凡是,t,值较大者就是较重要的因子。,结论：,自变量,x,的主次顺序为：穗数,x1,千粒重,x3,每穗粒数,x2,。,39,交互作用多元线性回归,40,练习四,以数据,stu.data.csv,为例，,试对体重做频数分析。,请分析身高是否符合正态分布？,试分析性别对体重有无影响。,问题,4,：请检验总体平均体重与,60kg,有无显著差异？男生和女生的平均体重有无显著差异？,问题,5,：男女生比例是否符合,1.2:1.0,？,41,练习四 答案,df-read.csv(file=stu.data.csv,header=T),#,问题,1,A-table(cut(df$weight,breaks=40+15*(0:7),round(prop.table(A)*100,2),#,计算频数比例,hist(df$weight,breaks=7,xlim=c(40,140),xlab=weight,main=Frequency chart of weight),#,问题,2,shapiro.test(df$height),#,问题,3,fit-aov(weight Sex,data=df),summary(fit),library(agricolae),duncan.test(fit,Sex,alpha=0.05)$groups,42,#,问题,4,t.test(df$weight,mu=60,alternative=two.sided),wt.m-subset(df$weight,df$Sex2=1),wt.f-subset(df$weight,df$Sex2=2),var.test(wt.m,wt.f),#,等方差检验,t.test(wt.m,wt.f,paired=F),#,问题,5,summary(df$Sex),ct-c(87,33),pt corr.test(df,use=complete),Call:corr.test(x=df,use=complete),Correlation matrix,h dbh v cpro wd wpro tl tw lrt,h 1.00 0.86 0.90-0.43-0.29 0.32-0.20-0.04-0.17,dbh 0.86 1.00 0.98-0.41-0.35 0.39-0.18-0.15-0.07,v 0.90 0.98 1.00-0.43-0.38 0.43-0.20-0.11-0.12,cpro-0.43-0.41-0.43 1.00 0.22-0.25 0.18-0.08 0.20,wd -0.29-0.35-0.38 0.22 1.00-0.98-0.09-0.08 0.00,wpro 0.32 0.39 0.43-0.25-0.98 1.00 0.02-0.02 0.01,tl -0.20-0.18-0.20 0.18-0.09 0.02 1.00 0.16 0.79,tw -0.04-0.15-0.11-0.08-0.08-0.02 0.16 1.00-0.47,lrt -0.17-0.07-0.12 0.20 0.00 0.01 0.79-0.47 1.00,Sample Size,1 30,Probability values,(Entries above the diagonal are adjusted for multiple tests.),h dbh v cpro wd wpro tl tw lrt,h 0.00 0.00 0.00 0.53 1.00 1.00 1.00 1.00 1.00,dbh 0.00 0.00 0.00 0.63 1.00 0.85 1.00 1.00 1.00,v 0.00 0.00 0.00 0.53 0.92 0.53 1.00 1.00 1.00,cpro 0.02 0.02 0.02 0.00 1.00 1.00 1.00 1.00 1.00,wd 0.12 0.06 0.04 0.24 0.00 0.00 1.00 1.00 1.00,wpro 0.08 0.03 0.02 0.18 0.00 0.00 1.00 1.00 1.00,tl 0.28 0.35 0.29 0.35 0.65 0.92 0.00 1.00 0.00,tw 0.84 0.42 0.55 0.69 0.66 0.93 0.39 0.00 0.28,lrt 0.38 0.71 0.54 0.29 0.99 0.96 0.00 0.01 0.00,55,二元数据的双系列相关系数,式中,r,P,为双系列相关系数，,M,P,和,M,q,分别为两组的平均值，,Sx,为标准差，,P,和,q,代表两个组观测值数量的比例。该系数同样可以用,t,检验显著性,在生态学调查中往往取多个样方，在每个样方中记录植物种存在与否和环境因子的值，要计算二元数据与环境因子的相关系数不能用前面的方法。这里用双系列相关系数（,Biserial Correlation Coefficient,）,这时将环境因子按照种的存在与否分为两组，则双系列相关系数：,56,种,Pt,e,ridium,(,蕨属）与土壤湿度的双系列相关分析,土壤湿度对种,Pt,e,ridium,的分布有显著影响？,Pt,e,ridium,存在与否,土壤湿度,（,%,）,分组,P,组（存在）,q,组（不存在）,-,85.2,85.2,+,55.9,55.9,-,95.2,95.2,-,58.1,58.1,+,54.9,54.9,-,83.4,83.4,+,68.2,68.2,+,46.8,46.8,-,54.8,54.8,-,92.2,92.2,-,90.7,90.7,+,30.2,30.2,+,35.2,35.2,-,90.3,90.3,-,95.6,95.6,-,91.5,91.5,-,55.4,55.4,+,35.5,35.5,+,42.1,42.1,-,43.3,43.3,57,