收藏是点赞的3倍...你们这些人良心嘟不会痛吗= =

没想到这个回答还是有挺多同学点赞和收藏的本着认真负责的态度，我想来更新一波前几天和我的一个好朋友就统计学知識的领域问题讨论了许久，我的观点是数据分析是未来统计学知识的一个发展方向机器学习在某种程度上可以看做是应用统计学知识。臸于我为什么会这么说首先看一下这篇文章：

然后再看一下陈希孺老爷子（）在《数理统计学知识简史》的结语里的说法：

美国统计学知识届著名的元老图基（J.W.Tukey）在1962年发表了一篇有很大影响的长文《数据分析的未来》，在此文中他把数理统计学知识工作分为两类一类是對数据分析有贡献的，对另一类他说：“一件数理统计学知识工作，如果即使从长期的观点看甚至通过曲折的环节，也不能对数据分析的实践有所贡献则应视为一件纯数学工作。应从纯数学的标准去评价”

依本书作者的观点看，在一定程度上可以说“数据分析”嘚提倡者所主张的，是数理统计学知识的“艺术化”这倒应了不列颠百科全书中“统计学知识是收集和分析数据的科学与艺术”的说法。
这种主张的出现不完全是出于对统计学知识研究过分数学化的倾向的一种反动，在很大程度上与高性能计算机的出现有关数据分析嘚基本命题是“从数据中挖掘尽可能多的信息”，故而有“数据挖掘”（data mining）的提法
最有可能的前途或许是：数据分析不大可能发展成一門符合现金数学分支严格性标准的那种“硬”科学分支，而会以一个其领域没有明确界定的实体而存在其中将包括现行的一些有用的统計方法，数学方法计算机软件将在其中起重大作用。
这提高反映在数据分析要吸收前一阶段的成果并有计算机这一有力工具的帮助这嘟是早先描述性阶段所不具备的。这一看法的实质是肯定了数据分析是统计学知识未来发展的方向。
第二如果对现今统计学知识不进荇“改革”，这一改革是指将统计学知识的发展转到数据分析的轨道上统计学知识可能会发生存在性的危机。
当前的统计学知识理论研究确实有比较显著的与实际脱节的现象积累了不少矛盾，而这可能意味着新一轮的突破性进展正在孕育中，它也许就是数据分析这個恐怕还不能说得太早。

看了一下这本书是在2000年左右写完的，距今已经快20年了陈老爷子的眼界与格局的确让人佩服。而统计学知识的突破性进展是否是数据分析我想时间会给出答案。

看了最高票的回答深有感触。之前在知乎上看到过一些问题：

我真心觉得统计学知识这么好的专业，找不到工作的人可能是你学砸了。

我刚上大一的时候还以为统计就是会计现在想来真的是naive。每次被亲戚朋友问到學什么专业的时候我说统计，他们也以为是会计后来我就直接说自己是学数学的了。。这也从侧面说明了统计是一个比较神秘而低調的学科大家对它了解较少，所以统计学知识新生往往会摸不着头脑所以我会着重讲一些如何提升“统计观”的方法。毕竟有时候方姠比努力更重要

先用两句统计学知识大牛的名言开头：

在终极的分析中，一切知识都是历史；在抽象的意义下一切科学都是数学；在悝性的基础上，所有的判断都是统计——C.R.劳《统计与真理》

在《大不列颠百科全书》中对统计学知识的定义是这样的：

收集和分析数据嘚科学与艺术

我认为统计学知识专业的学生（本科）应该掌握的专业知识包括：

• 数据的收集，数据的展示数据的度量等描述性统计分析知识；统计量，参数估计假设检验，方差分析等统计推断的原理和知识这些是统计专业学生的基本功，应该是要非常熟悉的
• 统计学知识的专业课程知识，比如数理统计回归分析，抽样调查时间序列，多元统计（尤其是聚类分析）随机过程，非参数统计贝叶斯統计，实变函数等等
• 统计软件，国内的统计学知识教学较于国外还是差距还很大的从使用的统计软件上就能看出来。据我观察目前國内教学使用的统计工具从多到少应该是：spss,sas,r,python。好在最近这种情况改善了不少

这样看，统计学知识要掌握的知识技能还是很多的具体 已經说得很详细了。

所以我在下面讲些更有趣的

提到的谢益辉()大大在统计之都写的几篇文章当年也是为我打开了统计学知识的大门。我列絀了四篇文章的链接以及一些印象深刻的话

另一方面是计算机的广泛应用趋势，我也要特别强调计算机在未来的统计中必将扮演越来樾重要的角色，想要摇着笔杆子去追赶奔四 3.2 绝对是不可能了计算机方面又尤其要数编程能力最重要，这番话是对那些想冲到统计时代前沿的同学们说的统计方法的发展太快，以至于很多统计软件都跟不上因此，若自己掌握计算机编程技术的话就能不必受到统计软件的淛约

关于统计软件，随着时间的推移我最终以 R 语言为中心，基本废弃了其它工具的学习换句话说，其它统计工具对我来说作用有限不符合本人的统计分析思想和使用习惯。长话短说本文的摘要为三个字：用 R 吧！

学统计一定要了解统计的起源发展，所以再推荐两本類似于统计学知识史的书感受统计学知识的发展是如何影响世界的：

• -------ps：此书已经停止印刷了

统计专业的学生怎么能不知道统计学知识的“诺贝尔”奖呢？

统计专业的学生一定要知道几个厉害统计学知识家：

• ------ 数学很好的大牛统计学知识家
• ---------统计很好的大牛数学家
• -------目前华人统计學知识届的大牛考普斯奖获得者

没事可以去下面的论坛去逛逛：

再推荐一些文章，相信每个学统计的学生在看完之后都不会再问出回答開始那样的问题了

最后用中的一句话来结束：

一死生为虚诞，齐彭殇为妄作各位加油

常关注『丁点帮你』微信公众号嘚小伙伴们应该都比较熟悉最近推出的『每日丁点』统计知识系列我们希望每天给大家呈现精炼又便于理解的知识总结。

目前已有10篇叺门级知识点的讲解短文与大家见面了，这些知识点也是后续学习和实操中必不可少的理论基础今天我们就来一起回顾一下，看看每天進步一丁点之后你的收获吧！

1. 为什么要学统计？

按照教科书的定义统计学知识（statistics）是一门关于数据的科学，它包括收集、分析、解释囷表达数据目的是获得可靠的结论。为什么要学统计因为个体之间存在变异，也就是个体间的差异比如，一个班每个学生的身高、兩种药物的疗效等几乎都不可能完全相同的一定会有“差异”。如果世间万物都完全一致（比如克隆人）那么个体之间就不存在差异（也就是所谓的变异），到那时统计学知识就毫无用武之地因为我们能以一当十，甚至以一当所有不需要抽样，不需要求平均

变异玳表了什么？答案是信息！身高体重的差异给了我们谁更高谁更壮的信息；某项生理指标的差异，例如血压可以获得健康与非健康的信息；两种药物或治疗方法的差异，获得了孰优孰劣的信息……为了获取诸如上面所说的信息我们开始收集和分析数据，再对结果进行解释和表达最终得出谁更高、谁更壮、有多少人更健康、哪种药更好的结论。

2. 数据是统计的基础变量是数据的基础。

制作频数分布表囷直方图的目的是为了快速了解数据的分布情况所谓分布，简单理解就是想知道数据会主要集中在哪儿。无论什么资料刨除它的单位（如身高、体重等），它们都是一个一个的数字那么从数轴上看，这些数字会处在在哪些地方呢比如身高的数据，如果以米为单位根据常识可以猜测，它会大概集中在1.5-1.8这个区间内也就是说，虽然每个人的身高不完全相同但身高的数据却是有规律的，如何发现这種规律第一步就是画出它的频数分布表和直方图。

制作频数分布表的步骤如下：（1）找出最小值和最大值（2）计算全距 (range，R) ：也就是最夶值与最小值之差（3）确定组距：相邻两组之间的距离，组距=全距/组段数通常组段数取8~12组。（4）确定组段的上、下限：每个组段的起點为下限(lower limit)终点为上限(upper limit)。每个组段均包含组段的下限值最后一组的组段写出上限值。（5）列表整理：计算频数、频率、累计频数及累计頻率频数分布直方图的以横轴为得分、纵轴为频数；然后在横轴上标出各个组段（比如40-50），用直条的高度表示各组段的频数（也可以用“频率”）频数越大则直条越高。由此可见制作直方图就是了解数据的第一步，化繁为简将具体的数值转换为一个个组段区间，从洏对数据的情况有一个大致的了解

4. 集中趋势和离散趋势

前文我们谈到，拿到整理好的数据的第一步是制作频数表和直方图从中我们可鉯大概知道数据的分布情况，也就是说能看出大多数的数会集中在哪儿。

这在统计学知识中称作集中趋势（central tendency）我的理解就是“数据往哪里集中”。

教科书的定义是“指某一组数据向某一中心值靠拢的趋势反映了一组数据中心点的位置，也是频数分布表和直方图中高峰所在的位置即频数最大的组段”。

为什么数据会表现出集中趋势呢因为具有“同质性”。从字面上可以直接理解为调查对象具有相同點这些共同点使得个体对某项事物的感知（比如生命质量）有趋同的作用，反映在数据上就表现为“集中趋势”

与集中趋势相对应的叧一个特征是“离散趋势”。大部分数据虽然会集中在某个区间但并不是所有数据都这样集中。从某数据的“集中位置”往左右两边延伸距离越远，数据与集中位置的差异就越大由此，统计学知识上就把数据偏离集中位置的程度称作离散趋势（dispersion tendency）

为什么会有离散趋勢呢？答案是存在变异大家虽然有很多共同点，但毕竟不是一个模子刻出来的在某些地方存在差异，比如性格温和还是急躁、生活态喥乐观还是悲观等

5. 集中趋势的数字表达：均数和中位数

前文我们讲解了数据的集中趋势和离散趋势，而均数和中位数就是描述数据集中趨势的最常用的指标也称“位置测量指标”，因为它们量化的是数据的集中位置（center）表示大多数观测值所在的中心。

大家平常最熟悉嘚均数全称叫“算术均数 (arithmetic mean)”计算方法自然不用多讲，但需指出的是根据数据资料的形式均数一般有两种算法：除了把所有的观测值加囷再取平均以外，还可以根据频数分布表用各组的组中值乘以频数来计算，比如得分在40~组的频数为25则可以直接用组中值45乘以25得出。当嘫这是一种近似算法，在可以获得原始的个体数据时还是应基于个体的数据用加和平均来算。均数不能用于偏态分布的根本原因是它對于特别大或特别小的观测值十分敏感尤其是样本量较小的情况下，均数其实难以代表总体情况因此，我们在拿到数据后的第一步不昰算平均数而是，直观地看看原始数据的面貌由此，我们来看看描述集中趋势的第二个指标——中位数（M）可以说它的出现和使用僦是用来弥补上述均数的这种缺陷的。要计算中位数很简单将所有的数据从小到大排列，处于正中间位置的数就是中位数所以在一组數据中，有一半的数据比它大另一半比它小。不过这些需要注意的是当样本量n为奇数时，中位数就是最中间那个数即第(n+1)/2；而当样本量为偶数时，则中位数是中间两个数的平均数即第n/2和第n/2 + 1个观测值的均数，注意不是第n/2 - 1与均数相比，中位数还是存在明显不足的：1、中位数没有考虑大部分观测值的大小仅仅纳入一个或两个数据，而均数的计算充分利用了全部数据的信息；2、两组数据合并时合并后的Φ位数不能用原来两组的中位数表达，而均数可以通过相应的公式来计算得到新合并数据的平均；3、均数可以通过去掉极端数值进行修正（比如所谓的截尾均数）而中位数无法进行这样的修正，同时当样本量较大时，极端值对均数的影响会减弱因此，相比中位数均數使用更加广泛。 通过比较中位数和均数的大小可以帮助我们粗略判断数据的分布类型。具体而言当数据呈对称分布时，均数和中位數接近；而当数据呈右偏态分布（即右边有个长尾巴）时均数大于中位数；左偏态分布（尾巴在左），均数小于中位数

6. 集中趋势的数芓表达：几何平均数

与前文讲的算数平均数和中位数一样，几何均数也是描述数据集中趋势的指标之一几何均数（geometric mean, G）是n个观测数据乘积嘚n次方根，常用于描述存在少数偏大的极端值的正偏态分布或观测值之间呈倍数关系或近似倍数关系数据的集中位置原文：

我们对四分位数间距很熟悉，四分位数间距就是通过百分位数计算出来的这一点我们后文再详述。除了四分位数间距大家熟知的中位数也是一个百分位数，称第50百分位数（P50）

关于百分位数（Percentile, Px），教科书的定义是是指将所有n个观测值从小到大排列后，对应于x%位的那个数字

比如甴1~100的所有正整数组成的一个数据（n=100），那么这个数据的第50百分位数就是50第10百分位数就是10，第80百分位数就是80

也就是说，从理论上讲计算百分位数（Px）实际上只需将数据进行一个排序，然后数数就可以一个百分位数Px将一组数据分成两部分，有x%的数小于等于它（100-x）%的数夶于它。

不过在现实情况中，我们有时找不到正好有x%的观测值小于或等于它此时，百分位数Px的计算通常只能采用最为接近的一个数

8. 離散趋势的数字表达

在这个系列文章的开篇，我们就讨论过统计学知识研究的核心问题：变异简单理解就是差异。那么什么叫变异大、什么叫变异小呢

变异程度，也可以理解为离散趋势与离散趋势相对应的是我们前文讲解的集中趋势，我们知道集中趋势的主要指标是均数和中位数而结合我们今天要讲解的离散趋势的描述指标，我们就能够全面地把握数据的分布特征

为什么完整描述数据的分布特征僦需要加入离散趋势，即变异程度呢看看下面这个例子：

这三组儿童的平均身高都为100cm。但是仅根据它们的平均数相等我们不能说这三組儿童的身高分布就是一致的：

下图可以一目了然地发现A组儿童身高的差异程度最大（即数据最离散），其次是B组而C组儿童身高差异程喥最小，数据都很接近

虽然这里数据量很小，但三组儿童身高在变异程度上如此显著的差异似乎提示着某些信息从而可以引领我们进┅步探索。

回到今天的主题——变异程度（离散趋势）的定量描述指标

首先，最简单的指标是极差（range, R）也称全距，是一组数据中最大徝与最小值的差值极差越大说明数据的变异程度越大，即数据越离散极差一般可用来反映传染病、食物中毒的最短和最长潜伏期等。

佷明显极差是一个比较粗略的指标，它仅用到最大值和最小值的信息不能反映组内其他数据的变异情况。另外极差与样本例数有关。一般地样本量越大，得到较大或较小变量值的可能性越大极差就可能越大，故样本量相差较大时不宜采用极差进行比较。

最常见嘚指标是方差或标准差前者是后者的平方。

方差的具体计算我们不需要再多讲不过关于样本方差为什么除以（n-1），我们平台之前发过攵章解释大家可以参考：。

方差或者标准差越大说明数据越离散、变异程度越大

另一个常见的指标是四分位数间距（inter-quartile range, IQR），它是根据百汾位数计算出来的计算公式是IQR = P75 - P25，即第75百分位数与第25百分位数的差

这两个百分位数与中位数，即P50将一组数据分成四等分，因此这三个百分位数称为四分位数（quartile）可分别记为Q1、Q2、Q3。

Q1和Q3分别称为下四分位数（P25）和上四分位数（P75）

与极差相比，四分位数间距不受两端极大戓极小数据的影响因此其更加稳定。IQR常与中位数一起使用综合反映数据的平均水平和变异程度，写成M(P25, P75)

除了上述三个指标外，当我们唏望比较两组数据的变异程度时还可以使用变异系数（CV）。

当两组数据的测量尺度相差太大比如希望比较蚂蚁和大象的体重变异，直接用标准差显然是不合理的；另外如果两组数据单位（量纲）不同，例如希望比较身高和体重的变异两者的量纲分别是米和千克，直接使用标准差来进行比较也不合适：3米和4千克究竟谁更大呢？

由此我们将样本标准差除以样本均数，得到变异系数（CV）它没有单位，同时又按照其均数大小进行了标准化所以可以进行客观的比较。

变异系数的值越大表示数据的变异程度越大。

5. 集中趋势和离散程度指标总结

学习完描述数据集中趋势和离散趋势的各种指标后如何用恰当的图形呈现它们便成了一个重要问题。而今天要谈的箱式图就是來解决这个问题的

箱式图，有时也称箱线图因为中间包含一个箱子样的长方形，两端有两根细线故称之。

箱子中间的横线为中位数、箱体的下端和上端分别是Q1和Q3的位置由此，箱体的高度则代表四分位数间距所以，箱体越高表示数据的变异程度越大

相比直方图可展示原始数据的大体分布形态，箱式图表达的信息其实也很全面它能简洁地呈现数据平均水平和变异程度，是探索性分析中最常用的图形工具实际应用中，往往将几组数据的箱式图绘在一起便于组间比较。

一般而言箱式图主要呈现5个汇总的统计指标，包括一组数据嘚最小值、下四分位数、中位数、上四分位数、最大值但是，我们为了涵盖更全面的信息故常将均数也体现在图中。

如下图： 该图绘淛了两个箱式图分布代表正常居民中和患有慢性鼻窦炎的患者的精力评分，如图在箱体中间还标出了均数，用菱形表示；以及离群值用小空心圆表示。

此时需注意竖线下端和上端表示的不再是整个数据最大值和最小值严格来说，应该称为上限和下限上限是非异常范围内的最大值，计算公式是 Q3 + 1.5 IQR即第75百分位数加1.5倍的四分位数间距。下限是非异常范围内的最小值等于 Q1 - 1.5 IQR。在上下限范围之外的数称为”离群值（outliers）“，其与其他数值差异较大提示数据收集过程可能有误。

10. 怎么判断数据是否有误

统计学知识是关于数据的科学因此，准確地获取数据保证数据质量也是非常重要的问题。下面我们就来简单谈谈对于数据进行逻辑核查的几种常用策略以及离群值的判断和處理。

一、逻辑核查的7种策略

1. 检查变量存储类型

在软件中变量分为数值型变量、字符型变量等（这里与统计学知识中对变量的分类相区別）。

一般而言数值型变量只能包括数字、小数点等，而不能含有字母或文字

这种有时看似十分低级的错误有时可能成为分析过程无法顺畅进行的绊脚石，所以也需要要留意。

检查每个变量的取值范围例如：一个人的体重不能为负数；出生月份应在1~12之间；某成年男性的身高值低于140cm或者高于210cm也值得怀疑。

检查观测值是否为事先定义的数值之一例如：录入性别时，事先规定用1表示男性2表示女性，如果数据中出现其他观测值则说明有误

检查有无前后矛盾，相关问题的逻辑是否一致例如，出院日期早于入院日期、收缩压小于舒张压等就不符合逻辑

在录入数据时，一般而言每个观察单位通常都设有一个唯一的标识号，如调查对象编号、住院号、门诊号等

根据标識号检查是否存在同一个观察单位的数据两次重复录入。

检查每一个观察单位的完整性和整个数据库的完整性比如，在问卷调查中往往根据问卷的完成情况定义有效问卷，比如完成80%即视为有效问卷

同时，需要注意每个变量在整个数据文件中的缺失比例这是数据质量嘚一个重要方面。

不同来源的两个数据库中同一内容的信息应该一致通过检查不同来源的数据的一致性，可快速验证数据的可信度

前攵，我们简单谈过离群值的概念一组数据中如果个别数值与其他数值相比差异较大，远远偏离大多数数据的平均水平这样的数据被称為离群值（outliers）。

对于离群值的探索有时候不能通过上述逻辑核查的方法由此，需要采用相应的统计收到进行核查

1. 通过频数分布表或直方图初步判断

如果连续几个组段的频数均0，之后出现特别大或者特别小的数据即可能为离群值

如果观测值距箱式图底线(P25)或顶线(P75)的距离为箱体高度(IQR)1.5倍或以上,则可视为离群值。

其中与箱体距离超过3倍箱体高度,则可视该观测值为极端离群值或极端值；与箱体距离在1~1.5倍箱体高度嘚观测值可称为可疑离群值；

3. 通过均数和标准差判断

当数据呈近似正态分布且样本量较大时(如n>50)，若观测值在均数±3倍标准差之外则可视为離群值

4. 结合其他变量信息判断

比如，根据儿童的身高可初步判断其体重是否过高或者过低。根据身高所建立的体重核查规则比单纯只栲虑体重的核查更为有效

离群值是否应该直接剔除或者进行调整是一个具有争议的问题，处理不当可导致分析结果出现偏差

测量或者記录过程中出现错误而导致离群值，或者存在明显的逻辑错误应予以剔除。

当无明确理由剔除离群值时可按如下方法处理：

1. 对离群值刪除前后各做一次统计分析，若前后分析结果矛盾则下结论需谨慎

如采用中位数、进行对数变换（需观测值大于0，但注意对数变化可能誇大极小值的影响）；

截尾均数：将数据按从小到大顺序排列后两端截掉一定比例的数据后计算余下数据的均数，大家听过的“去掉一個最高分、去掉一个最低分”就是典型的例子。

---

注：文章有参考来源为《卫生统计学知识》（人卫第八版）

• 
  

丁点帮你公众号现推出“烸日丁点 | 统计系列”，每天给你讲透一个统计小问题让我们一起每天进步一丁点！

写在前面的话：感谢我们的godness芳芳奻士可以说没有芳芳姐姐，我们的题目可能就要夭折了在开题报告结束后，芳芳老师和我说“你可以做xxx那个方面 and xxx方面也挺有意思的還有你做个xxx的比较也蛮有趣的。”然后突然一下守得云开见月了哈哈哈就这么做下去了，如果对诗词歌赋感兴趣的同学看下去吧～

2018+1+I组【用数据解读李白】

从小到大读了那么多李白的诗，你知道他爱写啥吗
你能把握李白的诗的表达特点吗？
你知道不同历史阶段李白诗词嘚变化吗or
你晓得影响他用词的主要因素伐？

一、创作背景李白、李太白、青莲居士、谪仙人、诗仙是我国最伟大的诗人之一。从古至紟对于他盛赞从未间断，是绣口下的半个盛唐是可泣鬼神的落笔生花，他狂傲、不羁、纵歌、嗜酒、舞剑、悟道、作诗连离去时也欲水中捕月，摇曳生姿

贵妃捧砚的太白，才情古今只此一人善五七，歌行、乐府别具滋味跌宕起伏、大开大合、色彩明艳、意象诡譎，当你遇见他的作品你可能需要目不转睛、屏住呼吸，读罢忽觉天上人间，已然游遍大汗淋漓间，久久不能平静是了，就是这樣一个神秘、变幻莫测的诗仙人对于他遗留的近千篇作品，我们从中抽取了近300首作品希望能管中窥豹、略读天之骄子的内心世界。

1. 收集数据整个研究过程从诗词名句网中搜集数据前期从李白遗留的981首诗词进行随机抽样，样本容量为60首大约3000余字。

数据处理将李白的每┅首诗进行逐词拆分（包括题目），做了一系列的处理包括：删除了一些没有实际意义且出现频率低的词语（在60首只出现3次及以下的，例如：每、再、由等词）；合并了相同意义的一系列词语主要有一些表达颜色的词语，譬如：碧、绿、青；一些具有相同意义的虚词譬如：不、非、莫、无、未；还有一系列动词、形容词、名词的合并，譬如：孤与独、见与望、山与峰等之后统计其频数，发现通过統计随机挑选诗人的60首诗歌诗人确实有一定的写作用词偏好，而且惊奇地发现诗人伟大在于：诗歌意义深远、意象使用丰富多样、在對60首诗的统计中，地名（江东、湘水、吴中、清溪等）、人物（丹丘生、屈原、贾谊、伍子胥等）、意象（凤凰、猿、鹤、蕨等）等方面嘚词语应用出现重复极少且抒发情感恰到好处，过一分则娇柔造作少一分则平淡无奇。

3. 初期结果分析（1）如图显示根据统计发现诗囚使用自然景观类词语频数较大，主要集中于运用山、月、水、天和云等词语通过初期统计得出，诗人李白作品多描绘山水江山诗人囍好讴歌祖国山河与美丽的自然风光。

（2）在对于形容词的统计中发现：孤、独二字使用次数最高这两个词语的感情基调明显为伤感、消极、哀伤的，我们认为无论诗人在作品中是否是抒怀或者寓情，其词语的应用就是诗人内心的写照因为人的意识具有主观能动性，萬事万物都会随着意识的变化而呈现不同的形态因此我组认为，孤与独的高频出现明确表现出诗人的内心世界的孤独感

（3）在对于动詞的统计中发现：见、望以及还、归使用次数明显高于其他字词，以压倒性的出现频率成为60首作品中最高频出现的动词在此我们结合李皛生平，由于在他60余载的一生中有几乎75%的时间远离家乡，因此我们认为李白的对于动词的使用表现出诗人多年在外漂泊丰富游历之余，思乡情切期盼归去。

（4）对于其他类词语的统计中发现：表达否定意义的不、莫、无、非、未等词出现高达57次表达疑问语气的何出現16次，君、尔、我、吾等词出现42次那么可以发现，李白偏好使用否定、疑问和反问语气以加强表达效果和对情绪的抒发喜欢将身边人粅融于诗作中，体现出李白作品完全来源于日常生活、诗作有足够的烟火气息但又同时不失仙意。

4. 初步发现（1）作者倾向于使用孤、独、归、还等词极有可能是作者思乡孤独之情的流露

（2）自然山水类词语的高频出现，发现作者善于寓情于景、物喜描写自然生物，情景交融为其表达特点之一
（3）李白诗风较为夸张，善用比喻、拟人等手法；喜欢使用否定句式、疑问和反问句式表达观点和情绪；喜欢與人交流、来往；喜欢在诗中抒发个人对他人的评价和看法

1.主要方向：从诗词大全网、古诗词网收集数据，随机挑选诗歌120首约7500字，进荇一系列的统计和处理工作后期我组研究方向主要有三点：

第一，比较诗人不同时间段用词的差异和变化主要通过统计不同时期的高頻词，结合不同时间段的生活状况分析诗人大致的感情色彩；
第二抽取在各个时期都会出现的高频词，并结合年份和具体词语研究年份和高频词本身对于其出现频率的影响；
第三，收集了安史之乱时期（755——760）李白、杜甫的诗词各30首并对其进行如前处理、统计，通过┅定的统计方法比较李杜二人用词差异、二人用词的关联程度

2. 数据收集过程（1）结合李白生平大事记列表将李白一生按经历分为7个时期，抽取每个时期作品10～30首最后主要分为以下7个阶段：

701-729早年天才时期：远游辞亲，游川渝、扬州地区727年成婚；
730-734蹉跎岁月时期：求见玉真公主被拒，穷困潦倒、终日与田园与书卷为伴；
735-741西游献赋时期：献《大猎赋》《蜀道难》得唐明皇赏识；
742-743供职翰林时期：很得宠幸后心苼不满，终日酗酒；
744-754平静时期:作《行路难》离开长安后结识杜甫、高适（与杜甫一年会面三次），正式入教成为道士；
755-758安史之乱时期：避乱，参与永王叛乱再度入狱长流夜郎；
759-762最后时光：穷病交加，投奔族叔作了《临终歌》辞世（离世原因不详，现无确切说法此種较为主流）。
（2）统计李白各时期诗词的高频词对词语进行分类统计；
（3）选取7个时期都高频使用的词语，经过统计筛选发现有7组词語（详情见下文）结合它出现的年份及词语本身两个因子，做有交互作用的双因素方差分析
（4）收集到安史之乱时期杜甫作品30首，与哃时期李白的30首作品进行比对分析李白与杜甫之间用词有无相关性。
（5）对整个过程进行修正、补充样本等

PART ONE：不同时期高频词的具体凊况如下图：

通过以上条形图，可以看出诗人在不同时期用词的差异、整体描绘对象以及作品感情基调的变化。
从整体来看从青年时期，诗人外出云游四方描绘对象多为祖国山水风景，其用词也较为自由没有明显的感情色彩；
中年时期由于生活窘迫和年龄的增长，李白描绘的对象发生转变出现了“泪”“分、别、归”这样的字眼，这些词语和意向带有明显的悲伤情绪；
而及再次西游与青年时期外出游历相比，诗人有明显变化从李白描绘的对象便可略知一二，青年时期外出游历作品中多用“上、飞、流”等词而及中年时，则頻繁出现“回、归、愿、思、望”这些词这些词出现一致的情感趋势，明显有思念、怀旧的意味表达诗人在外浓烈思归之意。各个时期高频词的差异在一定程度上反映了诗人内心情感随着时间的推移发生剧烈的情感变化。

上图是李白供职翰林时期的作品统计随机挑選的10个样本，就发现除了李白一直青睐有加的自然山水外名词中出现了“君主、乐、侍从”这样的描绘对象，在一定程度上诗人在宫廷Φ写作风格、对象出现了“脱轨”作品整体不似前期描绘对象贴近生活，风格随意率性也许正是因为这样的束缚和“无趣”工作，导致了李白虽然很得宠辛却早早心生不满、厌倦了皇宫最终赐金还乡。

上图是李白一生中最为平静和快乐的几年的作品情况天宝三年（744）李白在洛阳结识了杜甫，此时的李白名扬天下杜甫也正风华正茂，自古以来才子佳人皆傲气而才情同样冠绝天下的两人却是一见如故，杜甫“性豪也嗜酒”与年长自己11岁的李白结交同年秋天，二人再次相约至开封一带并在那里遇见了高适，及天宝四年（745）李杜第彡次会面二人一同拜访了著名书法家，并在744年李白正式入道教广交友、性豪爽的李白在朋友的陪伴下，度过了战乱前的安宁与平静

茬战乱时期，李白的诗歌并没有呈现出一种大厦将倾、风雨满楼的压抑和灰暗与前期无明显的用词差异，在这一时期诗人作品主要有两種意向；一种较为浪漫、赋予人幻想一种为现实中存在的亭台楼阁。我们认为在战乱时期诗人偏好描绘一些流动性较大的意向（云、沝、风），间接反映出诗人对于自由、潇洒的向往和强烈追求；同时由于一些城市建设类词语的出现我们认为，诗人内心对于战争的无奈和反感通过那些由于战乱饱受摧残的城市建设来侧面抒发

在诗人最后的岁月里，我们也许在读过临终歌后久久不能释怀但在诗人最後的作品中，我们看不出一丝消极和哀莫诗人仍然喜好描绘山水、依然饮酒纵歌，李白之伟大就在于其无惧人生起落、生死别离，本為仙人何顾短长？

---

PART TWO：将每个时期中出现频率都较高的字词筛选出来分别选出了如下7组词，对其进行有交互的双因素方差分析（未知是否交互作用）分析时期（因子A）和词语类型（因子B）对词语使用频率的影响，选取里2*7*7个观测值（每个观测值下对应10～30首诗词）

1. 0.7906977大于0.05，無交互作用的原假设未拒绝说明诗人使用上述高频词语的频数受年份和词语本身的影响独立。
2. 样本因子即词语本身p－value接近于0，因此拒絕原假设该差异显著，说明高频词使用频率由于词语本身不同存在显著差异（即诗人确实有表达习惯会偏好使用上述7组词语）。
3. 列因孓即年份差异p－value接近于0，因此拒绝原假设该差异显著，说明高频词使用频率由于年份不同存在显著差异诗人偏好用词会因时期不同洏存在差异（即诗人使用上述7组词语会因年份不同偏好程度不同）。

---

挑选安史之乱时期李白和杜甫的诗各30首将诗中的高频词选出并对其進行分类并对比，然后作Chi－square检验分析李杜两人在安史之乱时期用词的相关性，独立与否
列举一些二人用词的对比：

你可能会惊叹于李杜二人的如此默契，使用词语频数的一致性惊人但是，透过表面的一致性通过Chi－square检验，我们得出了更加科学的结论如下：

所以接受原假设，认为李白和杜甫在安史之乱时期二人诗歌在动词的应用方面独立重新审视数据发现，虽然二人在这一时期动词用词频数接近泹经过检验认为独立的没有相关性。

所以接受原假设认为李白和杜甫在安史之乱时期二人诗歌在自然景观的应用方面独立，重新审视数據发现虽然二人在这一时期动词用词频数接近，但却独立没有相关性

四、总结偏误为期一个半月的调查与统计就此结束，在小组成员唍成任务的过程中也有遇到很多问题导致分析结果存在偏误，主要存在以下问题：

由于诗人在不同时期作诗数量的巨大差异导致某些時间段样本量小，难找到充分的样本（例如：701～729年间的作品难以收集到20首）；
小组成员文字处理能力有限普遍没有较高的词语处理能力，在面对一字多意、一意多词时不能妥善处理会受主观影响，出现调查者偏误导致数据处理有不合理的地方；
在选取数据分析方式时，容易出现偏误
虽然过程很艰辛，结果存在瑕疵磕磕碰碰完成了这次任务，但我们对于古诗词的热爱不会结束也希望能够得到大家嘚批评指导。

再次感谢大家看完～～～