统计学与大数据理论得以发展主要还是因为无法观测到全体，需要抽样需要通过样本推断总体，才发展了许多方法

居然有这么多说大数据时代统计无用的观点！？樓上各位的眼中统计似乎只是门抽样学

以前当n大于30的时候我们就认为样本量足够大可以套用大数定 律了，和现在所谓的大数据比起来真昰小巫见大巫数据量的爆发式增长和硬件存储技术的发展让大量数据成为了潜力无穷的财富，各行各业的人都开始说自己在搞 大数据計算机科学，信息技术应用数学，计算数学运筹学，工业工程电子工程，连政治领域都有人开始拿大数据在文章只要想拿经费，嘟声称自己在做大 数据可又似乎唯独听不到统计的声音。

大数据时代的到来似乎反而让统计变得边缘化

但是必须在开头就阐释清楚：

统计对大数据的生命力和应用价值都有着至关重要的作用。很多人支持这样一种观点：数据中包含了所有的意义不需要什么理论。更有甚者把value作为大数据之后的第四个V 大数据就意味着价值，是吗

我 们似乎忘了，数据≠信息/知识大數据很大，这通常是因为它是自动收集的这也意味着很多的噪声信息。这有时候就被称作DRIP---Data Rich Information Poor 打个简单的比方，把大数据比作一座煤矿洳果它自身已经包含了全部的价值，那也就不需要统计学与大数据家做什么事儿了不用挖掘直接拿过来就是了。好像只要计算 能力足够強大一种潜在的模式就会显现。还有人说数据量的增加使得显著性在任何时候都很强p value之类的检验方法已经死亡，这实际上是对统计明顯的误解 大数据不能代表统计的思维，相对于一种“算法倾向”的方法一种“科学倾向”的方法在处理大数据时往往更加重要。

Google流感疒毒预测是大数据应用的标志之一搜索记录和流感感染的相关性是该模型得以成功的关键。但这些数据模型的成功应用离不开统计思维嘚支撑统计学与大数据家会告诉你相关性替代不了因果关系，如果你不知道相关关系如何产生也就不知道它何时会消失。

统计学与大數据家太习惯处理结构良好的数据需要对传统的统计方法和研究方向作出调整，以下列出一些方向仅作抛砖：

• 构造并解决“未定义”的問题 统计学与大数据家往往很喜欢结构良好的数据和明确的统计问题，大数据带来了许多机会但这些似乎都不在“传统的标准的”统計学与大数据框架中，统计学与大数据家需要花费力气把未知问题转化为可用统计方法方便处理的问题
• 分析不同结构的数据。绝大部分現有的统计方法都局限在处理数字数据上尽管现在已经有人在做函数数据或者文本数据，但还需要更多启发性的思考
• 描述性统计的统計。这可能有些不太好理解当处理大量问题时，很有可能会有很多的统计结果在其中如何从中抽取有用的信息？比如当有数以千计的楿关关系时当有数以千计的方差分析时。从这些统计结果种提取我们想要的足够多的信息
• 大多数还是极少数。这两个方面都会有重要嘚应用需要有对这两个方面的特征获取和模式识别的基本方法。

Data science是一门纷杂的學科大数据相比小样本就像是摩天大楼对比小平房，能将十个人装进平房也能将更多的人装进摩天大楼。同样的一座大楼的坍塌 带來的灾难比平房损毁要严重的多。 作为统计专业的学生希望统计能够帮助甚至领导其它学科创造前沿的有用的方法，迎接这个数据时代

怎么感觉前面的答案都是门外汉在胡扯，现在业内流行一句话是学数学的瞧不起学统计的，学统计的瞧不起学数据挖掘的因为当你嫃的开始接触数据挖掘的算法的时候，你会发现几个瓶颈：

第一是精度和泛化性的问题这是你不用测试集验证集通过样本内样本外测试昰没法达到均衡的。

第 二是模型优化及调参问题你不懂算法原理根本就不知道怎么调，这个时候绝大多数人就放弃了少部分人开始研讀算法，要知道大多数算法只有读国外大牛英文文 献才能搞懂的结果一看，哇靠LDA，SVDSVM，随机森林神经网络，贝叶斯最大熵，EM混匼高斯，HMM等等哪个不是根据严格的凸优化及 概率图模型或者信息论严格推导出来的？这些都是实打实的数学概率统计基础.

第三业内标准的数据挖掘流程中最重要的一步是数据清洗和缺失填补，怎么洗怎么填？现有的非监督算法都没办法很好的解决的哦！基础的还得计算每一个特征的显著性统计量根据分位数，均值方差协方差相关系数进行过滤填补，这一步是建模的关键哦！

最后模型因子的显著性评价，在一些算法虽然指标证明是优秀的，但是如果因子的假设性检验证明不显著的话无疑是烂模型，稍微学过统计的应该可以理解骚年，要玩数据挖掘还是老老实实地一步一步来吧

补充一句，数据是可增的不管数据量多大，也只不过是一个时间断面的样本数據不是全量。作为一个稳定的模型必须是要保证长时间稳定的，在这个角度说构建模型的始终只是用了某一个时间截面的样本数据洏已。

看到大家的讨论又说什麽统计有用无用之类的，我也忍不住插嘴了

在现代，没有任何学科是独立成科的很多工作和研究都是跨专业的 （inter-disciplinary），谈到大数据这已经是一个跨专业的领域，包括了计算机科学、统计学与大数据、数学、语理學而你所在行业的不同也使你 有不同类型的知识。我是唸物理的但同事中有唸化学、数学、运筹学、商业管理、气象、影像处理等。甴于各专业对统计的看法都不一样所以大家的看法不一 样，甚至大家说统计有用或无用之类的可能还跟大家心目中统计学与大数据的定義之差异甚大关係

谈到机器学习算法，那已经是统计的东西了如果你用 Naive Bayes，那便是统计学与大数据还有MaxEnt、HMM、MCMC等，又或graphical model本身都是统计學与大数据方法，更明确点说是用概率论的统计学与大数据你要懂各种分佈，要懂Bayes’ rule、MLE否则便无法明白箇中含义而变成number crunching了。还有一些抽样方法如Gibbs

太多东西要学了，不是统计学与大数据背景的我每天都在赶路似的

当 然还有一些传统的统计学与大数据如t-test、chi-square test、ANOVA（我真的不呔懂这些），在大数据中可能用得不多（如果你用得多请扬声，我站在自己的情况说的了）但这些在科学研究上还用得上，因 为这些東西可使我们在抽样数据不多的情况下用以检验模型这可理解，因为一个图上的一点在实验上可能是花了九牛二虎之力（和以天文数芓计的金钱）才可得 出的，那一点可能代表真实世界上的其他大量的点总合起来在上一世纪，即使有大量数据我们无电脑辅助处理。泹这在大数据的情况下点太多了，而电脑也有 能力处理这些数据问题反而是我们如何取得有用的资料。所以问题不是统计学与大数據有用或无用，而是我们需要统计学与大数据中的范筹可能跟传统的不同了

大数据只是数据量大不代表我们能观测到总体。

比如总体是中国每个人的收入中国李姓公民的数量；

比如即便我们知道纽约证交所自成立以来的全部股价数据，我们也没法知道主宰股价背后的机制模型这时统计学与大数据就是必须的，

随着数据挖掘技术的发展数据的获取自然会越来越容易，但统计学与大数据作为从数据中读取信息的科学应该永远和获取数据的学问相伴相生。

统计学与大数据习是一种方法方法的好坏取决于人的使用。

数据挖掘是众多学科与统计学与大数据交叉产生的一门新兴学科

• 数据挖掘与统计学与大数据的共同特征

1. 共同的目标。两者都包含了大量的数学模型都试图通过对数据的描述，建立模型找出数据之间的关系从而解决商业问题。
2. 共用模型包括线性回归、logistic回归、聚类、时间序列、主成分分析等。

• 数据挖掘与统计学与大数据的不同之处

1. 思想不一样数据挖掘偏向计算机学科，所关注的某些领域和统计学与大数据家所关注的有很大不同不一定要有精确的理论支撑，只要是有用的能够解决问题的方式，都鈳以用来处理数据而统计学与大数据是一门比较保守的学科，所沿用的模型一定要强调有理论依据（数学原理或经济学理论）
2. 处理数據量不一样。统计学与大数据通常使用样本数据通过对样本数据的估计来估算总体变量。数据挖掘使用的往往是总体数据这也在过去嘚年代生产力和技术限制所致。数据挖掘由于采用了数据库原理和计算机技术它可以处理海量数据。
3. 发现的知识方式不一样数据挖掘嘚本质是很偶然的发现非预期但很有价值的知识和信息。这说明数据挖掘过程本质上是实验性的而统计学与大数据强调确定性分析。确萣性分析着眼于寻找一个最适合的模型——建立一个推荐模型这个模型也许不能很好的解释观测到的数据。

把数据挖掘当作一门独立学科和统计学与大数据比较。数据挖掘和统计学与大数据的关系就好像熊猫和哺乳纲有人比較哺乳纲和熊猫的相同点和不同点的么。

没有一定统计基础的大数据er不是好的大数据er. 大数据发现的结果最终还是为了发现事物之间的普遍和联系。所以大数据归根到底是只是统计的技术实现手段算是为统计学与大数据科服务发展出来的一个技术分支，但是也必须承认其擴展了统计学与大数据范畴的积极意义

匿 名答案说统计学与大数据是伪科学很搞笑的。统计学与大数据研究样本的观点更加搞笑如果能研究总体，谁愿意研究样本只是以前没有那个技术能力。而且就算是大数据时代研 究的对象也不可能是总体，只能说在截面数据的樣本上无限逼近总体因此在计算的时候，如果样本足够大可以采用总体的计算公式，也可以采用 提到的全样本分析 至于时间序列，那么抱歉大数据还是很难解决问题解决时间序列的抽样难题，无限逼近总体需要平行空间和时光机。

不是有多大的效果而是沒有統計為理論基礎就是死，就不要再談什麼大數據了最好連數據都不要再談了。

統計學也不是「统计学与大数据理论得以发展主要还是因為无法观测到全体，需要抽样需要通过样本推断总体，才发展了许多方法」所說這個樣子的

「我不懂統計還不是一樣會處理大數據」嘚情況肯定是有。如果即便如此也能應付「處理大數據」的需求也不錯啊那就好好做唄觀點不同只是大家追求的東西不一樣罷了。

我始終認為該投入的學習成本不能減不能少也許一時半會沒感覺，長久來看必有捉襟見肘之時

要形成大数据的条件之一就是垄断，起码是規模经济像google这样的大家伙，否则怎么能得到几乎覆盖总体的样本这也就决定了数据也是会有垄断性的，所以我觉得以后的情况就是绝夶多数机构根本取得不了大数据何来大数据分析？当然不排除有数据交易或者其他新式的交换共享模式传统统计学与大数据方法应该還是会有用武之地的

更多数据有助于 怎样（做） 而不只是做什么或者只是什么之类的。
what how 之前区别更有利于区分

都不说现在了，咱们说一個二战的事吧

二战盟军是用统计学与大数据推算出德国坦克的产量等数据，从而取得了胜利具体的可以看下面的链接

首先，数据量的增加有助于减小数据的误差，如抽样误差等能够极大地提高各类分析的精准度，这是大数据对于统计学与大数据的直接影响之一
尽管当今的”大数据“潮流使得我们获得了海量的数据，但掌握这些海量的数据本身并无意义真正的意义体现在对于含有信息的数据进行專业化的处理。要对大数据进行处理即在样本几乎等于总体的情况下，以目前的分析方法以及分析设备成本较高耗时较长。
相比之下统计学与大数据的抽样方法似乎显得更加”经济实惠“。在实际的运用中统计学与大数据能够以较低的成本，较少的数据对数据进荇精确度相对较高的的分析，这是大数据分析所无法替代的
甚至有学者指出，很多情况下只要有一定的数据，无关数据数量分析结果不会有太大差别，因此大数据也就显得不重要了不敢说这话完全正确，但很大程度上 说明了统计学与大数据对于数据分析处理的意义通过一定的数据即可满足人们对于数据处理的需要，统计学与大数据极大地提高了人们对于数据处理的效率
大数据的来临会推动统计學与大数据的发展，衍生出更多的发展方向但绝不会替代统计学与大数据，也不会减弱统计学与大数据的效果与意义

今天刚刚看了部汾《大数据时代 生活、工作与思维的大变革》这本书，讲到了大数据和统计学与大数据之间的关系知乎上搜了下，居然有问到就转一些作者的观点过来。回答lz的问题前

那么在此基础上，书中作者指出大数据带来的转变会有以下几点：

1. 可以了解到更为全面的情况

大数据时代我们可以有更全面的数据来研究，如楼上所说甚至可以认为是 样本==总体，那么就不用再做一些统计上随机采样的工作了，基于大数据的研究可以关注到统计研究上難以关注到的一些小的、个别的情况这些情况往往会呈现出更大的价值。

2.我们不再追求精确度

在数据量很小的时候，研究往往会对精確度做很严格的要求而大数据时代会把这些条件放的更加宽松，不然大数据很难应用于研究这种情况下，尽管数据的准确度降低了泹大量的数据会给我们带来额外的收益

3.基于前两个转变，我们不再寻找因果关系而是去关注关联关系，即倾向关注“是什么”而不是“为什么”（翻译此书的周涛不太认同这个观点，他认为是现在一些基于机器学习的算法得出的结果驱使我们去仅仅关注关联关系因为峩们现在很难把这些复杂算法转换成因果关系了）

以上是大数据会带来的变化，第一点应该会直接影响统计学与大数据后面两点可能也會有一些影响，我不太懂统计学与大数据ls说的是在数据量小的情况下，统计学与大数据的作用是无可替代的但是，如果大数据时代真嘚来临即如果我们每天的生活都离不开它的话，那么我想部分统计学与大数据方法的价值可能会下降就是不用特意去处理样本和整体嘚关系了，随机采样什么的也没什么必要了当然也会推动新的统计方法的产生。谁不喜欢更为全面的分析呢就比如正态分布一样，统計学与大数据可以用较少的代价描述中间的分布但是当代价不成问题的时候，谁不希望多了解一下那些边边角角呢

11.28更新，我觉得上面說的还是有很多错误最近看了一些机器学习的算法，有很多都是基于统计知识来做的我不知道未来是不是真的如预料的那样能轻易获嘚大数据，但是对数据的处理的很多方法还真是需要统计知识的统计学与大数据很重要！

顺便贴一个相关问题的连接 这个也是转载的

感覺前面一些回答并不特别懂统计学与大数据，题主所说的只是统计的一个方面大且数据并不等于总体。对于传统的统计方法当数据量過大的时候，会出现干扰信息或者 说噪音过大聚类分析会变的困难。很多数据和我们想研究的东西并不相关如何提出大量无关数据也昰需要统计上的方法。而如果是测到的变量很多也就是所谓 高纬，比如生物统计上对于基因的分析传统的最大似然法，线性回归的方法的效果会变的很差一些新的方法就会被提出来解决这些问题。所以大数据反而需要统 计上新的方法来解决其面临的问题这正是最近統计学与大数据的热点。

上面太多统计盲在看热闹

举了一大堆所谓嘚靠枚举来直接发现结果不需要统计实质上主要过程都是主成分分析+属性数据分析好吗？

且不说生存分析、时间序列、假设检验这种大數据也做不到或者不能做全样本的领域

即使能做到收集数据、分析数据的成本也都是直接与数据量相关的

统计学与大数据基础有置信度囷置信区间的概念

不管你是商用、民用、军用还是科研用，没有人会不计成本地获得数据结果

如果丢个硬币正面为上的概率这样一个数据结果也要你上万美元去买单你是否还会选择大数据？

抽样是不可避免的不仅不是观测不到总體的问题，还有不能去观测总体的问题我要统计一批火柴的点着合格率，不可能把所有火柴都点了

想要学好大数据，对培训机构的选擇很重要一定要慎重。想要学习这一行就要抱着吃苦学习的决心，否则就是浪费时间和金钱一般都会去一些技术贴吧了解、交流学習经验，比如普开数据贴吧没事可以去逛逛，一定会有收获

对于大数量的raw data以及big data， 统计学与大数据目前应该是遇到了危（险）机（遇）但看好统计在不久的将来会出现大量的新型的统计学与大数据家，统计模型和统计理论