【数据分析 R语言实战】学习笔记 第七章 假设检验及R实现 - 推酷
【数据分析 R语言实战】学习笔记 第七章 假设检验及R实现
假设检验及R实现
7.1假设检验概述
对总体参数的具体数值所作的陈述，称为假设;再利用样本信息判断假设足否成立，这整个过程称为假设检验。
7.1.1理论依据
假设检验之所以可行，其理沦背景是小概率理论。小概率事件在一次试验中儿乎是不可能发生的，但是它一以发生，我们就有理由拒绝原假设:反之，小概率事件没有发生，则认为原假设是合理的。这个小概率的标准由研究者事先确定，即以所谓的显著性水平α(0&α&1)作为小概率的界限，α的取值与实际问题的性质相关，通常我们取α=0.1, 0.05或0.01，假设检验也称为显著性检验。
7 .1.2检验步骤
(1)&&& 提出假设
(2)&&& 确定检验统计量，计算统计量的值
(3)&&& 规定显著性水平，建立检验规则
(4)&&& 作出统计决策
临界值规则:
双侧检验:|统计量|&临界值时，拒绝H 0
左侧检验:统计量&=临界值时，拒绝H 0
右侧检验:统计量&临界值时，拒绝H 0
在一个假设检验问题中，拒绝原假设H0,的最小显著性水平称为检验的p值。p值可以告诉我们，如果原假设是正确的话，我们得到目前这个样本统计值的可能性有多人，如果这个可能性很小，就应该拒绝原假设。也就是说，P值越小，拒绝H0的可能性越大。在显著性水平α下,P值规则为:如果P≤α，则拒绝H 0 ;如果P&a，则不拒绝原假设。
7.1.3两类错误
7.2单正态总体的检验
单正态总体的假设检验方法:
7.2.1均值μ的检验
(1) σ 2 已知
R自带的函数中只提供了t检验的函数t.test()，而没有Z检验的函数，自己编写函数z.test()，用于计算z统计量的值以及P值:
& z.test=function(x,mu,sigma,alternative=&two.sided&){
n=length(x)
result=list()
#构造一个空的list，用于存放输出结果
mean=mean(x)
z=(mean-mu)/(sigma/sqrt(n))
#计算z统计量的值
options(digits=4)
#结果显示至小数点后4位
result$mean=result$z=z
#将均值、z值存入结果
result$P=2*pnorm(abs(z),lower.tail=FALSE)
#根据z计算P值
#若是单侧检验，重新计算P值
if(alternative==&greater&) result$P=pnorm(z,lower.tail=FALSE)
else if(alternative==&less&) result$P=pnorm(z)
BSDA包提供了函数z.test( )，它可以对基于正态分布的单样本和双样本进行假设检验，其使用方法如下:
z.test(x,y=NULL,alternative=&two.sided&,mu=0,sigma.x=NULL,
sigma.y=NULL, onf.level = 0.95)
其中，x和Y为数值向量，默认y=NULL，即进行单样本的假设检验:alternative用于指定求置信区问的类型，默认为two.sided&表示求双尾的置信区间，为less则求置信上限，greater求置信F限:mu表示均值，仅在假设检验中起作用，默认为0;sigma.x和sigma.y分别指定两个样本总体的标准差。
东方财富数据中心可以获得2012年各月北京市的新建住宅价格指数，是否服从均值为102.4、方差为0.45(标准差为0.67)的正态分布
& bj=c(102.5,102.4,102.0,101.8,101.8,102.1,102.3,102.5,102.6,102.8,103.4,104.2)
& z.test(x=bj,mu=102.4,sigma=0.67,alternative=&two.sided&)
[1] 0.6894
[1] 0.4906
使用程序包BSDA中的函数z.test()
& library(BSDA)
& z.test(x=bj,mu=102.4,sigma=0.67,alternative=&two.sided&)
[1] 0.6894
[1] 0.4906
检验的结果是，由于P =0.4906& a =0.05，因此在0.05的显署性水平下，不能拒绝原假设，认为2012年各月北京的新建住宅价格指数服从均值为102.4的正态分布。
(2)σ 2 未知
直接调用t检验函数t.test()即可:
t.test(x, y = NULL,alternative = c(&two.sided&, &less&, &greater&),mu = 0, paired = FALSE, var.equal = FALSE,conf.level = 0.95, ...)
其中，x为样本数据，若仅出现x，则进行单样本t检验:若x和Y同时输入，则做双样本t检验;alternative用于指定所求置信区间的类型，默认为two.sided，表示求双尾的置信区问，若为less则求置信上限，greater求置信下限:mu表示均值，表示原假设中事先判断的均值，默认值为0 ;
paired是逻辑值，表示是否进行配对样本t检验，默认为不配对;var.equal也是逻辑值，表示双样本检验时两个总体的方差是否相等;另外，这个函数还可以直接计算置信IX问，conf.level用来表示区间的置信水平。
& t.test(x=bj,mu=102.4,alternative=&less&)
One Sample t-test
t = 0.67, df = 11, p-value = 0.7
alternative hypothesis: true mean is less than 102.4
95 percent confidence interval:
-Inf 102.9
sample estimates:
7.2.2方差σ2的检验
(1) μ已知
(2) μ未知
R中没有直接的函数可以做样本方差的卡方检验(只有检验卡方分布的函数)，所以我们把上述两种情形写在同一个函数chisq.var.test()中，调用它就可以直接做各种情形的单样本方差检验。应用到2012年北京市新建住宅价格指数的案例中，如果样本方差保持在一定范围内，则说明房价比较稳定，l}}此我们在0.05的显著性水平下检验总体方差是否不超过0.25。
& chisq.var.test=function(x,var,mu=Inf,alternative=&two.sided&){
n=length(x)
#均值未知时的自由度
#均值未知时的方差估计值
#总体均值已知的情况
if(mu&Inf){df=n;v=sum((x-mu)^2)/n}
chi2=df*v/var
#卡方统计量
options(digits=4)
result=list()
#产生存放结果的列表
result$df=result$var=v;result$chi2=chi2;
result$P=2*min(pchisq(chi2,df),pchisq(chi2,df,lower.tail=F))
#若是单侧检验，重新计算P值
if(alternative==&greater&) result$P=pchisq(chi2,df,lower.tail=F)
else if(alternative==&less&) result$P=pchisq(chi2,df)
& chisq.var.test(bj,0.25,alternative=&less&)
[1] 0.4752
[1] 0.9656
检验的结果为P值非常大，远大于a=0.05 ,因此不能拒绝原假设，说明新建住宅价格指数的方差大于0.25，变动很大。
7.3两正态总体的检验
单正态总体的假设检验方法:
7.3.1均值差的检验
(1)两个总体的方差已知
编写均值差的正态检验函数z.test2()
& z.test2=function(x,y,sigma1,sigma2,alternative=&two.sided&){
n1=length(x);n2=length(y)
result=list()
#构造一个空的list，用于存放输出结果
mean=mean(x)-mean(y)
z=mean/sqrt(sigma1^2/n1+sigma2^2/n2)
#计算z统计量的值
options(digits=4)
#结果显示至小数点后4位
result$mean=result$z=z
#将均值、z值存入结果
result$P=2*pnorm(abs(z),lower.tail=FALSE)
#根据z计算P值
#若是单侧检验，重新计算P值
if(alternative==&greater&) result$P=pnorm(z,lower.tail=FALSE)
else if(alternative==&less&) result$P=pnorm(z)
程序包BDSA中的函数z.test（）可以快速地实现方差己知时两总体均值差的假设检验。
以Bamberger's百货公司的数据为例，公司实施延长营业时间的改革计划，假设已知改革前后销售额的总体标准差分别为8和12，检验这项措施对销售业绩是否有显著影响。
& sales=read.table(&D:/Program Files/RStudio/sales.txt&,header=T)
& attach(sales)
& z.test2(prior,post,8,12,alternative=&less&)
[1] -24.54
[1] -8.843
[1] 4.678e-19
使用函数z.test()可以得到相同的结果，同时还可以输出置信区间估计。
& z.test(prior,post,sigma.x=8,sigma.y=12,alternative=&less&)
Two-sample z-Test
prior and post
z = -8.8, p-value &2e-16
alternative hypothesis: true difference in means is less than 0
95 percent confidence interval:
sample estimates:
mean of x mean of y
表明延长营业时间后销售额更高
(2)两个总体的方差未知但相等
(3)两个总体的方差未知且不等
& t.test(prior,post,var.equal=FALSE,alternative=&less&)
Welch Two Sample t-test
prior and post
t = -8.4, df = 44, p-value = 6e-11
alternative hypothesis: true difference in means is less than 0
95 percent confidence interval:
-Inf -19.62
sample estimates:
mean of x mean of y
7.3.2成对数据的t检验
& x=c(117,127,141,107,110,114,115,138,127,122)
& y=c(113,108,120,107,104,98,102,132,120,114)
& t.test(x,y,paired=TRUE,alternative=&greater&)
Paired t-test
t = 4.6, df = 9, p-value = 7e-04
alternative hypothesis: true difference in means is greater than 0
95 percent confidence interval:
sample estimates:
mean of the differences
p远小于a=0.05 ,拒绝原假设，说明药物组均值明显降低，该药物有降压作用。
7.3.3两总体方差的检验
R中的函数var.rest()做方差比较的F检验以及相应的区问估计
& var.test(prior,post)
F test to compare two variances
prior and post
F = 0.39, num df = 26, denom df = 26, p-value = 0.02
alternative hypothesis: true ratio of variances is not equal to 1
95 percent confidence interval:
sample estimates:
ratio of variances
检验结果的P =0.01914&a=0.05，故拒绝原假设，说明延长营业时间前后销售额的方差不相同。
7.4比率的检验
7.4.1比率的二项分布检验
在R中使用函数binom.test()完成:
binom.test(x,n,p=0.5,alternative=c(&two.sided&,&less&,&greater&),conf.level = 0.95)
2000户家庭中人均不足5平米的困难户有214个，政府希望将总体中困难户的比率控制在10%左右，判断这一目标是否达到。
& binom.test(214,2000,p=0.1)
Exact binomial test
214 and 2000
number of successes = 210, number of trials = 2000,
p-value = 0.3
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
sample estimates:
probability of success
由于p=0.2966&a=0.05，故不能拒绝原假设，说明总体居民的困难户比率保持在10%左右。检验结果还给出了置信区问和样本比率估计值0.107
7.4.2比率的近似检验
大样本，可以使用正态检验方法代替二项分布：
& prop.test(214,2000,p=0.1)
1-sample proportions test with continuity correction
214 out of 2000, null probability 0.1
X-squared = 1, df = 1, p-value = 0.3
alternative hypothesis: true p is not equal to 0.1
95 percent confidence interval:
sample estimates:
7.5非参数的检验
7.5.1总体分布的c2检验
(1)理论分布已知
R软件中提供了实现Pearson拟合优度卡方检验的函数chisq.test()，其调用格式为
chisq.test(x, y = NULL, correct = TRUE,p = rep(1/length(x), length(x)), rescale.p = FALSE,simulate.p.value = FALSE, B = 2000)
& bj=c(102.5,102.4,102.0,101.8,101.8,102.1,102.3,102.5,102.6,102.8,103.4,104.2)
& hist(bj)
函数cut()用于将变量的区域分成若干区间，其调用格式为
cut(x, breaks, labels = NULL,
include.lowest = FALSE, right = TRUE, dig.lab = 3,
ordered_result = FALSE, ...)
函数table()可以计算因子合并后的个数，以列联表的形式展示出每个区间的数据频数。
table(..., exclude = if (useNA == &no&) c(NA, NaN), useNA = c(&no&,
&ifany&, &always&), dnn = list.names(...), deparse.level = 1)
& A=table(cut(bj,breaks=c(101.4,101.9,102.4,102.9,104.5)))
#两个函数嵌套使用
(101.4,101.9] (101.9,102.4] (102.4,102.9] (102.9,104.5]
& br=c(101.5,102,102.5,103,104.5)
& p=pnorm(br,mean(bj),sd(bj))
#注意pnorm()计算出的是分布函数
& p=c(p[1],p[2]-p[1],p[3]-p[2],1-p[3])
& options(digits=2)
[1] 0.067 0.153 0.261 0.519
& chisq.test(A,p=p)
Chi-squared test for given probabilities
X-squared = 7, df = 3, p-value = 0.06
总体分布的卡方检验结果为P=0.05849& a =0.05 ,因此在0.05的显著性水平下，不能够拒绝原假设，可以认为北京市新建住宅价格指数服从正态分布。
7.5.2Kolmogrov-Smirnov检验
(1)单样本KS检验
Kolmogorov-Smirnov检验是用来检验一个数据的观测经验分布是否是已知的理论分布，当两者之间的差距很小时可以认为该样本取自己知的理论分布。KS检验通过经验分布与假设分布的上确界来构造统计量，因此它可以检验任何分布类型：
ks.test(x, y, ...,
alternative = c(&two.sided&, &less&, &greater&),
exact = NULL)
对一台设备进行寿命检验，一记录10次无故障工作时间，检验其是否服从参数为1/1500的指数分布
& X=c(420,500,920,50,00,2350)
& ks.test(X,&pexp&,1/1500)
#pxep为指数分布累积分布函数的名称，1/1500为指数分布参数
One-sample Kolmogorov-Smirnov test
D = 0.3, p-value = 0.3
alternative hypothesis: two-sided
单样本KS检验的结果为P值=0.2654,其大于显著性水平0.05，因此不能拒绝原假设，说明该设备的寿命服从λ=1/1500的指数分布。
(2)两样本KS检验
假设有分别来自两个独立总体的两样本，要想检验它们背后的总体分布是否相同，就可以进行两独立样本的KS检验。原理与单样本相同，只需要把原假设中的分布换成另一个样本的经验分布即可。
有分别从两个总体抽取的25个和20个观测值的随机样本，判断它们是否来自同一分布。
& xx=c(0.61,0.29,0.06,0.59,-1.73,-0.74,0.51,-0.56,0.39,1.64,0.05,-0.06,0.64,-0.82,0.37,1.77,1.09,-1.28,2.36,1.31,1.05,-0.32,-0.40,1.06,-2.47)
& yy=c(2.20,1.66,1.38,0.20,0.36,0.00,0.96,1.56,0.44,1.50,-0.30,0.66,2.31,3.29,-0.27,-0.37,0.38,0.70,0.52,-0.71)
& ks.test(xx,yy)
Two-sample Kolmogorov-Smirnov test
D = 0.2, p-value = 0.5
alternative hypothesis: two-sided
(3) KS检验与卡方检验的比较
KS检验与卡方检验的相同之处在一于它们都是采用实际频数和期望频数之差进行检验。但不同点在于，卡方检验必须先将数据分组才能获得实际的观测频数，而KS检验法可以直接对原始数据的n个观测值进行检验，所以它对数据的利用更完整。另外在使用范围上，卡方检验主要用于分类数据，而KS检验主要用于有计量单位的连续和定量数据。
KS检验作为一种非参数方法，具有稳健性。它不依赖于均值的位置，对数据量纲不敏感，一般来讲比卡方检验更有效。与其他参数检验不同，KS检验的适用范围非常广，不像t检验一样局限于正态分布(当数据偏离较大时t检验会失效)。
已发表评论数()
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
主题不准确
没有分页内容
图片无法显示
视频无法显示
与原文不一致这里是&&ksflier&&的丁香客，立即开通并关注，最新动态不容错过！
发帖：15&&&&收藏：3
发帖：10&&&&收藏：1
发表的帖子
回帖：41&nbsp&nbsp&nbsp&nbsp收藏：7&nbsp&nbsp&nbsp&nbsp投票：4
回帖：27&nbsp&nbsp&nbsp&nbsp收藏：2&nbsp&nbsp&nbsp&nbsp投票：0
回帖：39&nbsp&nbsp&nbsp&nbsp收藏：0&nbsp&nbsp&nbsp&nbsp投票：0
发表的回复
&发布了新帖&
文章地址： 文章内容说了是主动退市，标题党还说“遭退市”？转《澎湃新闻》的文章千万小心
&回复了帖子&
依据中国CDC下发的最新狂犬病指南，建议如下（仅供参考，请遵医嘱）：1、立即进行规范的伤口冲洗；2、请务必确认七年之前的10针疫苗确实是狂犬疫苗（而非免疫球蛋白或其他疫苗），且符合5针法免疫程序（0、3、7、14、28天各一针）。如可以确认，则建议本次第0天和第3天各接种1 剂狂犬疫苗，无需接种免疫球蛋白。如无法确认，则按照现行的方案全程接种（5针法或2-1-1法），并建议接种免疫球蛋白。
&回复了帖子&
建议延迟至体重大于2500G时再行接种。
&回复了帖子&
这还用说服力么？高中毕业的人都看得出是伪科学了
&回复了帖子&
汇报结果时直接说“确切概率法计算得P值为XXX&,用该方法不提卡方值是多少。
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
一般疫苗使用说明书均要求：患急性疾病、严重慢性疾病、慢性疾病的急性发作期和发热者暂缓接种。但其中“什么是严重慢性疾病”、“什么是慢性疾病的急性发作期”需要医师根据专业知识和临床经验判定，并无明确规范。本人掌握的经验，仅供参考：先心病中主要根据患儿心脏功能来判定能否接种，当心脏功能无异常时才能考虑给予接种。同时先心病容易合并免疫缺陷，也需要注意排除。
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
这个安全性分析，不应该是现在才做。从1980S推广计划免疫的时候就应该做了。现在做出来的结论，老百姓信么？在违反储存规范条件的疫苗不慎被接种后需不需要处置，什么情况下应该处置如何处置早该有预案了。
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
您没有权限阅读该帖子
&回复了帖子&
楼上的没看懂题意吧？ 原题是根据两亚组（性别）均数和标准差计算总体均数，公式如下：
&回复了帖子&
1、小头症是新生儿小头或在出生后头部停止发育的一种疾病。 2、目前并未证实寨卡病毒与小头症的因果关联，但可能性比较大。目前比较多的是新生儿小头，但出生后头部停止发育也不能排除。 3、对于寨卡病毒的流行病学研究还不是非常清楚，但确实存在一种可能性：你在疫源地隐形感染了病毒，回到家中
&回复了帖子&
首先你要查一下你所在领域的文献，有没有其他研究者的分组方法，如果有的话你可以作为参考。如果没有那就一组一组的尝试。 第一步，分为0-1cm组和1cm以上组，用卡方检验比较两组间缓解率是否有差异，再用方差分析或K-W分析缓解时间是否有差异。 第二步，分为0-2cm组和2cm以上组，
&回复了帖子&
建立媒体恶意不实报道责任追究制度： 目前有极个别不负责人的媒体和记者，为了炒作和吸引眼球等目的，在新闻自由的掩护下恶意弯曲事实进行报道，造成极大的不良影响，激化医患矛盾。在目前整个社会都在声讨和整治网络谣言的形势下，理应把涉及医疗的不实报道作为重点整治目标之一。 1、对于发表不实
&回复了帖子&
大清亡了？？？
&回复了帖子&
这......目前观察到的都是通过伊蚊传播，人与人接触并不传播。
&发布了新帖&
您没有权限阅读该帖子推荐这篇日记的豆列
······小木虫 --- 500万硕博科研人员喜爱的学术科研平台
&&查看话题
数理统计高手请进：如何计算KS检验中的p-value
如题，在假设检验中要求采用KS检验。按一些参考资料上所述，KS值为经验累计分布函数与假定累计分布函数之差的最大值，但我没有看到与该检验相关的p-value的定义。更不知道求解方法了？
不知道那位数理统计的高手能够指点指点？
不是太明白，能不能简单表述一下？
s = n*KSstatistic^2;
pValue = 2*exp(-(2.1/sqrt(n)+1.409/n)*s);
这个计算公式与假设分布有关系吗？
n样点数；KSstatistic=K-S值
谢谢你，这个公式的计算我明白了，只是我有个疑问。一般来说，计算p-value需要知道统计量的分布，那KS检验的统计量服从什么分布？这种分布与检验中数据的原假设分布是否有关系，例如对于原假设为正态分布和Gamma分布，它们的统计量的分布是否一样？
自己多： 谷歌学术，wiki百科，cnki.net，
KS检验统计量在n趋于无穷时收敛到max（B（f（t）））值，其中B（×）和布朗桥有关，该值服从柯尔莫哥洛夫分布，也就是当n很大的时候，可以近似认为KS检验统计量服从柯尔莫哥洛夫分布，并且分布参数对初始的理论分布函数（也就是f（x））形式不敏感。
研究生必备与500万研究生在线互动！
扫描下载送金币
浏览器进程
打开微信扫一扫
随时随地聊科研}