长文~可先收藏再看哟~

150、在感知机Φ（Perceptron）的任务顺序是什么深度学习 DL基础 易
1 随机初始化感知机的权重
2 去到数据集的下一批（batch）
3 如果预测值和输出不一致，则调整权重
4 对一個输入样本计算输出值

153、下图显示了训练过的3层卷积神经网络准确度，与参数数量(特征核的数量)的关系深度学习 DL基础 易

从图中趋势可見，如果增加神经网络的宽度精确度会增加到一个特定阈值后，便开始降低造成这一现象的可能原因是什么？

网络规模过大时就可能学到数据中的噪声，导致过拟合 

A 即使增加卷积核的数量只有少部分的核会被用作预测

B 当卷积核数量增加时，神经网络的预测能力（Power）會降低

C 当卷积核数量增加时导致过拟合

154、假设我们有一个如下图所示的隐藏层。隐藏层在这个网络中起到了一定的降纬作用假如现在峩们用另一种维度下降的方法，比如说主成分分析法(PCA)来替代这个隐藏层 深度学习 DL基础 易

那么，这两者的输出效果是一样的吗

sigmoid会饱和，慥成梯度消失于是有了ReLU。
强调梯度和权值分布的稳定性由此有了ELU，以及较新的SELU
太深了，梯度传不下去于是有了highway。
干脆连highway的参数都鈈要直接变残差，于是有了ResNet
强行稳定参数的均值和方差，于是有了BatchNorm
在梯度流中增加噪声，于是有了 Dropout
RNN梯度不稳定，于是加几个通路囷门控于是有了LSTM。
LSTM简化一下有了GRU。
GAN的JS散度有问题会导致梯度消失或无效，于是有了WGAN

216、神经网络中激活函数的真正意义？一个激活函数需要具有哪些必要的属性还有哪些属性是好的属性但不必要的？深度学习 DL基础 中
说说我对一个好的激活函数的理解吧有些地方可能不太严谨，欢迎讨论（部分参考了Activation function。）

DeepFace 先进行了两次全卷积＋一次池化提取了低层次的边缘／纹理等特征。后接了3个Local-Conv层这里是用Local-Conv嘚原因是，人脸在不同的区域存在不同的特征（眼睛／鼻子／嘴的分布位置相对固定）当不存在全局的局部特征分布时，Local-Conv更适合特征的提取

7、什么是共线性, 跟过拟合有什么关联?

共线性：多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确

共线性会慥成冗余，导致过拟合

解决方法：排除变量的相关性／加入权重正则。

8、为什么网络够深(Neurons 足够多)的时候总是可以避开较差Local Optima？

查阅更为簡洁方便的分类文章以及最新的课程、产品信息请移步至全新呈现的“LeadAI学院官网”：

在第五章我们讨论的贝叶斯统计嘚这套方法在一些非统计学问题中，比如医疗诊断垃圾邮件过滤，飞机追踪等问题上大家都是用贝叶斯的这一套去做。但是在很多統计学问题上却存在一些争议，主要有一部分认为不应该用随机变量来刻画统计模型里面的参数

那么统计学派的这些人，他们就希望能够找到一些统计的方法而不是将参数设置为随机变量，用贝叶斯那一套去做这样的方法被称作频率派的方法，古典的方法或者也叫莋正统的方法在这样的方法下，他们并不是基于后验分布的而是建立一个估计器，利用对于真实分布的采样数据利用估计器对参数進行估计。所以在频率学派的观点下能够从真实的分布中进行重复的采样是进行频率派方法的关键。

相反在贝叶斯的观点中，我们只需要考虑我们真实拥有的数据并不需要知道这些数据是否是重复采样的结果。所以利用贝叶斯的方法可以去解决那些只会发生一次的事件也许更重要的是，贝叶斯方法避免了困扰频率论方法的某些悖论（这在后面会说）但是不管怎么说了解频率派的做法是很有必要的。

6.2 估计器的采样分布

在频率派的统计中参数通过一个估计器对于一些数据（从真实的分布中重复采样得到的数据），所以说有在统计學派的观点中，真实的分布是确定的所以说参数是固定的，但是采样出来的数据是随机的是变化的。但是在贝叶斯的概念中数据是萣的死的，但是参数是随机的在频率派的方法中，关于参数的不确定性的估计可以通过估计器的采样分布来近似具体的做法如下：首先假设我们有组数据，从一个真实的混合正态概率 R模型中采样得到的，其中就是真实的参数。那么对于每一组数据我们都能通过估计器得到关于参数的一个估计值当，由这些无穷多个点所构成的分布就是的采样分布

bootstrap是一个简单的monte carlo方法去近似采样分布，特别是在关于參数的估计器是一个特别复杂的函数的时候这个方法尤其有用。

这个思想其实特别简单假设我么已经知道了真实的参数，那么我们就鈳以生成许多假的数据集这些数据都是从真实的分布中生成的。那么接下来我们只需要用估计器估计出每一个样本集的关于参数的值，那么就可以用经验分布去近似参数的采样分布了但是实际上呢，真实的参数我们并不知道那么对于parametric bootstrap，我们就是用这个数据去得到的經验分布这里我认为就是采了几组数据就用几组，因为你不可能一个数据集就够那么还有non-parametric bootstrap，在这个方法下我们可以自己去构造数据集就是利用重复采样，我们从一个总的中不停的重复采样出若干个数据集这样，我们想得到多少个数据点就得到多少个然后再得到经驗分布。

这个例子是用的parametric bootstrap的方法不过书中说non-parametric bootstrap效果基本一样。这里两边都是由10000个数据集左边的每个数据集里面有10个数据，即N=10右边N=100。我們可以看到右边的分布与高斯分布十分的接近

那么一个很自然的问题就出来了，在频率派中我们最终去刻画参数的不确定性是用的采样汾布而在贝叶斯的框架中，我们则是使用的是后验分布那么这两者到底有什么不一样呢。从概念上来讲是有很大的不同但是其实在佷多常见的问题中，如果先验信息不强的话其实是差不多的。因为参数二点后验就是似然乘以先验如果先验不强，那么后验就是似然函数这也是完全由数据决定的。所以说有人说bootstrap分布就是‘’穷人的后验‘‘

但是bootstrap相比后验的计算方法是要更加的慢，因为bootstrap要进行多次嘚这个其实是很慢的，而在后验的计算中只需要进行一次似然乘以先验二点计算我个人理解上是是独立的不能取巧的，但是似然的计算虽然也涉及相同的数据量但是可以合并计算，是可以取巧的就是会更好算。

6.2.2 最大似然估计器（MLE）的大样本理论*

事实上呢如果我们嘚模型是确定的，然后如果我们采样得到的每组数据集的样本是无穷的那么我们的最大似然估计器（MLE）的得到的关于采样分布就是高斯嘚（这里指S趋向于无穷）。但是这里呢有两个前提条件那就是首先模型要是确定的，另外我们要能够得到无限多的样本这在很多机器學习问题中其实是实现不了的。

那么关于这个高斯分布的中心就是对于所有数据（我个人觉得就是无穷多个数据即S组的数据的MLE）MLE最大似然估计的结果但是这个高斯分布的方差是什么？直觉上我们发现高斯分布的方差就是与该分部中心位置处的曲率是相关的如果曲率很大嘚话，说明这个峰很尖那么就说明方差很小，相反如果曲率很小那么说明这个峰很平坦，那么方差就会很大

我们定义一个得分函数（score function）(这里指关于求微分之后，然后取 = )同时我们再定义一个观测信息矩阵，观测信息矩阵是得分函数的负的梯度定义如下：，在一维的凊况下就是这个矩阵其实就是关于曲率的一个测度。

由于我们研究的是采样分布是一系列随机变量的集合。那么Fisher 信息矩阵定义如下：其中。（这里要稍微说一下这不是一般的定义但是在某些假设下其实是一样的。标准的定义是这样的：这是得分函数的方差，但是洳果是MLE的结果因为导数为0，那么我们就有所以我们有，而我们又有所以在我们这里fisher信息矩阵就变成了如上的形式。）这里是真实嘚参数，假设我们是知道的我们这里简化写为：，其实我们能够发现并且令。

我们上面说过是从真实的分布中获得的。当：

有具體的证明见。所以我们说MLE的采样分布是渐近正态的

关于采样分布的均值我们知道可以用MLE得到，那么采样分布的的方差呢是未知的,所以峩们不能评估采样分布的方差。不过,我们可以近似用代替

因此关于的标准差就是：。对于二项采样模型我们有fisher 信息矩阵是，所以标准差就是：这跟无信息先验的后验标准差是一样的。

6.3 频率派决策理论

在贝叶斯的框架下我么有后验分布，同时我们可以计算后验损失那么得到后验期望损失的最小值就是参数的估计值，所以我们可以自动的去进行参数的估计而不要自己去设计估计器。但是在频率派的方法下如果要获得关于参数的估计，那么我们首先要确定估计器然后利用估计器去进行估计，但是选用什么估计器是一个非常棘手嘚问题。我们的期望损失如下：

其中就是，这是关于数据的分布那么这个损失函数需要我们自己去定义估计器，而且由于我们并不知噵所以我们并不能直接去比较哪一个估计器的性能更好，所以我们定义了一个估计器我们都没有办法知道这个估计器好不好用，这是非常难受的所以下面给出了一些解决的方法。

6.3.1 贝叶斯风险（这一块很重要）

那么很明显我们想要得到的就是一个不依赖于的关于估计器的函数。其中一个方法就是使用贝叶斯风险或者是积分风险具体如下：

那么我们的贝叶斯估计器就是，我们要知道一点是我们在没囿看到真实的数据的时候，我们的估计器就已经确定出来了

下面我们将要证明一个非常重要的定理，这个定理是决策轮下贝叶斯方法和頻率派方法的连接具体定理和证明如下：

但是这里我有一些疑惑为什么会突然加入了一个y这个变量，所以我觉的这样写是不是更好：

所鉯说其实对于每一个固定的数据我们有，也就是说什么样的估计器是最好的呢就是对于每一组固定的观测，使得最小的那个是最好的所以在这样的观点下来看的话，贝叶斯的方法提供了一个很好的方法去获得频率派的一些期望这一点就将频率派的方法和贝叶斯的方法很好的结合在了一起。

那么这个定理就说明了对于每一个决策我们都能够用一个先验然后通过贝叶斯决策得到也就是说如果我们能够找到合适的先验，那么贝叶斯决策就是最小化频率风险的最好方法

很显然很多频率派学家并不喜欢用贝叶斯风险，因为它需要选择一个先验在频率派学家的眼里，先验就是不能接受的所以下面我们要讲另一个方法。首先定义一个估计器的最大化风险：所以我们就是偠找一个估计器使得它的最大化风险最小，也就是说它的最差的情况也是最好的即：，书中给力一个例子：

我们可以看到在遍历了所有嘚之后的最大值是要比来的更小。那么这个估计器呢我们称之为minmax estimator。这个东西看上去很有吸引力但是一方面这个的计算很很复杂。另┅个方面这个估计器太悲观了他选得是最差的情况，也就是说对应于贝叶斯估计器他选的是一个最不让人喜欢的先验，但是往往这样呔悲观了其实选一个自然的先验是更合理，可以选一个差的先验优点说不通

关于频率决策论的一个基本的问题在于如果我们想得到风險的话，我们就需要得到真实的分布但是事实上这是做不到的。但是有些情况我们能够区分一些估计器的好坏比如说对于所有的我们嘟有，那我们就说支配了并且如果不等是严格的，那么就称之为严格支配如果存在一个估计器，它没有被任何的估计器严格支配那麼我们就可以称这个估计器是叫做Admissible estimators。

下面我们来给出一个关于估计器的例子考虑一个问题是关于估计一个高斯分布的均值，高斯分布的方差是已知的我们假设我们的样本采样自，并且我们使用平方损失函数其对应的风险就是均方误差MSE。我们定义如下的一些估计器：

对於在等于0时，其实就是在趋向于无穷时，就是

下面我们就来推导风险函数在6.4.4中我们会推导一个公式就是MSE可以被分解为bias的平方和方差，其中bias= 具体如下：

，对于和都是无偏的所以bias为0，所以我们有：

（这里关于中位数的方差我也不知道怎么算的，书上直接给出了23333）

對于而言，方差是等于0的所以，对于而言呢我们有：

书中做了一个仿真并给出一些解释：

左边的是N=5的情况，右边的是N=20的情况我们可鉯发现的是当的时候，是估计的最好的当但是这两者十分接近时，用了强先验的会是最好的当远离的时候，那么我们就会有mle的结果是朂好的这个现象想起来也是非常自然的。所以有的时候对于先验不是很肯定我们可以用一个比较弱的先验。

令我们感到可能比较惊讶嘚点就是中位数的这样一个估计器是始终要好于均值的估计器的无论在什么情况下都是这样的。所以在我们这个问题中均值估计器肯萣不会是一个admissible estimator。其实中位数估计器是具有更好的鲁棒性尤其在重尾分布的情况下，因为对于重尾分布来说他是有很大的可能会出现一個很大的值的，但是这个值其实出现的混合正态概率 R很小但是如果从均值出发，他会大大的影响均值但是这种低混合正态概率 R出现的點，并不会影响中位数在一篇文章中显示了，如果我们的采样是来自于laplace分布的话那么中位数估计器就是贝叶斯估计器。

假设我们有N个獨立的变量并且我们希望去估计，i=1..N那么一个比较常用的估计器就是MLE估计器，那么我们有我们从刚才的例子中知道，其实这是一个inadmissible估計器也就是说存在一个估计器是支配这个估计器的。

那么我们就有必要去建立一个更好的估计器James-Stein估计器就是这样的一个估计器，定义洳下：

其中以及是一个调谐常数。这个估计器相比MLE而言呢风险是更加的低的，但是这也带来了一个叫斯坦悖论的问题因为这N个量是唍全独立，举个例子假设是某个学生的IQ，是测试的得分没道理这个学生的IQ会受到别人的影响，更夸张一点如果其他的变量是其余的风馬牛不相及的东西那么根本很难扯上关系。

为了解决这个悖论提出了如下的方法。如果你的目标是估计那么没有什么比用更加的合適了，但是如果我们想要估计的是向量这里我们再看，假设我们要去估计从一个样本中如果 = ，那么我们会有：

那么这个时候使用斯坦估计器就是很合理的。总感觉这里还是怪怪的这里说5.6.2给了这个估计器的一个贝叶斯解释，不过我已经忘了看来记录博客还是很有好處的，可以回头看看捡的更快。

现在我们在寻找估计器的时候呢就从admissible的估计器里面去找。我们下面会讲到其实去构建一个admissible的估计器昰非常容易的。

证明：首先我们假设存在一个是严格支配的那么我们就有，对于某些是严格小于的那么当，并且我们有，并且所鉯我们有，那么就可以得到那么和就必须是一样的，所以说就证明好了

这个东西说明一个admissible估计器很容易就找到了，所以仅仅是admissible的估计器很有可能性性能还是会很差

6.4 估计器所需要的一些特性

由于频率派的决策理论并没有提供自动的方法去选择最好的估计器。那么我们就需要一些启发式的方法在这一节当中，我们讨论一些我们希望估计器所具有的特性不过遗憾的是，我们并不能找到一个估计器具备所囿的特性

我们称一个估计器是一致的，当我们的数据的采样数量趋向于无穷的时候可以恢复出真实的参数即：。当然我们的数据并不昰说真实世界的数据而是从这个参数下的分布中重复采样得到的。不管怎么说这个在理论上是一个很有用的特性。

MLE其实就是一致的估計器比较直觉上的感受就是最大似然估计其实就是想要最小化，那么也就是说当我们采样足够多的时候，真实的分布就会被完全刻画絀来自然我们假设的分布与其是一样的是最好的。

我们把一个估计器的偏差定义为：其中是真实的参数值。如果这个偏差是0那么我們就说这个估计器是无偏的。例如MLE对于高斯分布的均值就是无偏的：但是事实上高斯分布的方差的MLE估计不是无偏的，即：这个在混合囸态概率 R论上都学过。

那么我们为了使其变成无偏估计器我们使用如下估计器：，这就是一个无偏的估计器当然对于很大的N来说，他們之间的差别是可以忽略的

尽管MLE有时看起来是个无偏的估计器，但是其实往往他并不是而且无偏估计器有时也并不是那么必要的，这茬后面会讲到

6.4.3 最小化方差估计器

无偏的估计器看上去是非常好的（尽管后面会说一些问题，现在我们先不谈这个）但是呢仅仅是无偏嘚其实还远远不够。例如假设我们希望从数据集中去估计高斯分布的均值。我们仅仅使用第一个看到的值作为估计值即，其实这就是無偏的估计器但是这个估计器肯定不好相比于用所有数据的均值来看。所以估计器的方差也是非常重要的

一个比较自然的问题就是这個方差低到底能够低到多少呢，一个著名的结论叫做CramerRao lower bound给定了关于一个无偏估计器方差的最小值。更准确的是：

这就是给出了方差的下界具体的证明我就不去看了。知道这一点就好结果表明，MLE达到了Cramer Rao的下界对于任何无偏估计器具有最小的渐近方差。因此MLE被认为是渐菦最优的。

6.4.4 偏差和方差之间的权衡

尽管使用无偏估计器看起来是一个好的方法但是事实上并不总是这样。为什么呢假设我们现在用的昰平方损失，对应的就是风险就是MSE上面我们讲过这个是可以分解的。我们定义以及即对于所有的data的关于估计器结果的期望因此我们有：

这就是偏差和方差的权衡，对于一个估计器而言如果我们要使得方差并不是那么的大，就意味着有的时候我们并不能使用无偏的估计器无偏和渐进方差之间是存在一定的矛盾的关系的。

6.4.4.1 例子：估计高斯均值

假设我们需要去估计一个高斯分布的均值其中数据采样是，假设我们的数据是采样来自于一个比较显然的估计器就是MLE。这个估计器的偏差是0以及方差是：但是同样我们也可以使用MAP估计器。在4.6.1中我们知道对于先验是，我们进行MAP估计的话可以得到：

那么在MAP估计器下，我们可以得到偏差和方差的结果是：

所以尽管MAP估计器是有偏的但是其方差其实是更低的。

另一个要讲的例子就是ridge回归之前也讲到过，ridge回归在贝叶斯的观点下就是加了一个高斯的先验那么我们的高斯先验具有如下的形式。均值是0意味着参数尽量的小当的时候其实就是一个有偏的估计器。就是MLE下图阐述了这样做产生的效果：

当佷大的时候，其实方差会很小但是偏差会很大，相反则是偏差比较小方差比较大。

6.4.4.3 关于分类问题的偏差-方差的折中

我们刚刚讲了在岼方损失下，我们的risk可以看做是方差和偏差的这样一个和的关系但是在0-1损失下，情况就变得不一样如果我们大量的都能估对，那么这個时候偏差很小方差也很小，这个时候减小偏差就意味着减小方差另一方面如果我们大量情况下都是估计错误的，那么其实这个时候嘚偏差是很大的但是方差很小，这个时候为了减小偏差就可能会带来增大方差的情况后面我们总会有其他的方法来看待这些问题的。

6.5 經验风险最小化

对于频率决策论来说最大的一个问题还是不能够得到真正的风险函数，因为我们不知道真实的参数到底是多少（但是贝葉斯后验期望损失是可以的因为它依赖于真实的数据分布而不是分布的真实参数）。实际上我们可以去做一些改变从而去避免这个问题原来我们是要去估计产生数据分布中的一些参数，去求这个风险函数事实上我们可以去估计我们可以看到的一些量而并非我们看不到嘚这样的量。这样原来我们的风险函数是现在则是，在这样的情况下我们的风险函数就变成了：

但是我觉得这么写并不好，应该写成戓者说是

其中就是数据自然生成的分布当然，这个分布其实是不知道的但是我们可以利用数据去获得经验分布，这样我们就可以近似嘚得到即：，也可以写成因为是关于和y整体的一个分布，所以说其实这个后面的函数可以整合起来写

那么有了这样一个经验分布之後，后面我们就可以去想怎么去定义我们的经验风险如下：

这个式子其实是经过严格推导的，虽然看上去物理意义也是那么的明显跟囿监督学习的情况其实是一样的。

在0-1损失的情况下其实，这个其实就变成了误分类率在平方错误损失的情况下，这就变成了均方误差。我们定义一个task叫做经验误差最小化或者是ERM作为我们要找一个决策过程来最小化这个经验task：

在无监督学习的情况下我们可能只有数据，而没有y这个时候就被替换成了，其中例如其实这个时候我们就是要最小化重构误差。当然你可以说但是其实很多时候是有限制的，比如在PCA下在这样的情况下，我们就定义经验风险就是：

6.5.1 正则化的风险最小化

注意我们上面的经验风险是和贝叶斯风险是一样的，如果我们假设的关于自然分布的先验是正好与我们的经验分布是相等的：

这里注意理解这里的跟之前的是等价的

最小化经验风险往往有可能产生过拟合，因为数据生成的经验分布有可能会被噪声污染所以对目标函数增加一些复杂的惩罚项是很有必要的：，其中测试了关于這个的这样一个复杂度（越复杂越大）以及控制了这样一个惩罚项的强度（越大惩罚的越厉害）这个方法就叫做正则化的风险最小化（RRM）。注意到如果loss函数是负的log似然并且正则化也是负的log先验，那么这就相当于做MAP了其实这就是贝叶斯对于正则的解释，之前也说过

关於RRM两个关键的点就是：我们怎么去度量这个的复杂度，以及我们怎么去选择合适的对于一个线性模型来看，我们可以通过观察它的自由喥来确定他的复杂度后面关于这些东西，会更具体的说该怎么做

6.5.2 结构化风险最小化

在正则化的风险最小化中，我们就是要：得到估计器但是我们怎么样去选择这个呢？我们不能用训练数据再去选择这样的话可能会低估真实的风险，刻意再往训练数据上靠解决不了過拟合的问题。因此我们可以选择用一个结构化风险最小化的方法：，其中也是关于风险的估计那这样的话，其实我们就是要遍历找┅个使得这个最小。优良中比较常用的方法：一个叫做交叉验证还有一个是关于风险的理论上界

6.5.3 使用交叉验证估计风险

如果我们有验證集合的话，我们可以用验证集来评估风险这样去寻找最优的，当然如果我们没有验证集的话就可以使用交叉验证的方法，虽然在1.4.8我們已经提到过了不过这里再详细说明一下。我们令其中就是我们的训练数据，然后我们把数据分为若干个fold然后选择其中的一个fold作为test，其他的fold作为traning当然fold的分配要能够均匀一点。那么接下来我们就是要找一个算法可能是梯度下降啊等算法去估计一些参数以及模型参数：，这里模型的阶数可以指的是多项式的阶数或者说的正则项的强度等得到了相关的参数我们就可以进行估计了，即所以说上面的可鉯说就是确定我们估计器的一个参数。所以说：用k-fold的交叉验证去估计m就是这样，不停的去改变的m使得最小。我们定义一个叫fit-predict cycle的东西即：。

对于第k个fold，那么其实上面可以写为：

对于K=N的情况我们称之为leave one out cross validation（LOOCV）。这个时候这上面的-i应该是i，其中广义交叉验证没看懂说叻什么，后面遇到的话再说呜呜呜。

作为一个具体的例子我们就考虑关于线性回归二范数正则化的的选取。那么我么有并且有，这其实就是利用的上面的公式其中，以及我们有：（这个是MAP的结果）

对于分类问题0-1损失的话，可能我们的算法就不太实用当然我们也鈳以做，就是用暴力穷搜法另外当我们有多个参数的时候，这个时候可能还是使用经验贝叶斯更好经验贝叶斯可以用来处理多个超参數的问题，具体见5.6.（理解的不太够）

我们上面讲的都是围绕风险函数来的讲怎么求风险，但是关于风险这样的不确定度其实并没有给絀什么好的解释。估计的不确定性的标准频率方法是求标准差即：。其中

假设我们将CV应用于一组模型，并计算其估计风险的平均值和se那么一个启发式的方法就是我们选择的模型必须满足他的风险应该小于最小风险的那个模型的风险均值加上风险的标准差，即其中就昰风险最小的模型，同时在满足上面条件的基础上我们选择的模型是最简单的。那么这个规则就叫做 one-standard error rule

6.5.3.3  非混合正态概率 R无监督学习中模型选择的交叉验证

如果我们做的是非监督学习，我们必须使用一个损失函数例如，这个就是度量了重构误差事实上对于训练模型来说，我们使用越复杂的模型对于训练数据拟合的是更好的，但是对于测试数据则不然书的后面好像会讲到对于模型的复杂度的选择，对於无监督学习CV是做不到的（暂时我也不去深究）。那么这个时候我们就要使用一些混合正态概率 R模型或者加入一些启发式的东西。

6.5.4 使鼡统计学习理论给出风险的上界*

刚才我们上面讲用CV去找使得结构化风险最小化但是CV有一个很大的问题，就是CV很慢我们下面用一个叫统計学习理论（statistical learning theory SLT）。SLT就是想要得到一个关于这个的上界对于任意可能的数据分布以及假设空间。我们首先假设我们的假设空间就是有限的即：，那么我们就有如下的定理：

为了证明这个首先我们要给出两个定理：一个是hoeffding's不等式还有一个是union bound

霍夫曼不等式还有一般形式：

如果是一系列事件的集合，那么

为了符号的简单令是真实的风险，是经验风险那么我们有：

因为对于经验风险，我们有

不过这里是不是0-1損失才可以看成是伯努利分布我感到有点疑惑，如果是平方损失还是正确的吗那样的情况是不是要用霍夫曼不等式的一般形式。

这个bound昰随着N的增加而减小随着假设空间的增大而增大如果假设空间是无限的，那么这个方法就没用了那么还有一个方法叫做Vapnik-Chervonenkis or VC，这里我们就鈈详细叙述了

其实也就是说这个给了一个上界，所以说如果这个上界很小的话那说明在这样的情况下，我们的经验误差什么时候都会昰很小的对于CV来说，SLT的好处就是就是利用SLT会计算的很快但是呢，对于假设空间是无限的情况就没有办法处理所以可能没有办法处理┅些很有趣的模型，2333书上说可以SLT用到应用到计算复杂度方面的学习，这里我觉得就是题外话了就不考虑了。

其实最小化ERM/RRM里面的risk并不是簡单的是因为有可能loss会非常的复杂，之前我们讲到的大多情况下用的平方损失函数但是其实前面5.7里面我们也降到了关于AUC，FI等指标这樣的话计算会非常的复杂。举一个简单的例子我们就拿前面用到了0-1损失来看，这在分类问题中是很常用的损失函数但是这个是一个非咣滑的目标函数，其实不太好求最优值一个可行的方法就是最大化似然函数。因为似然函数是0-1risk的一个光滑凸的上界

下面我们就以二分類的logistic回归问题作为例子，并且令在这个logistic回归中，我们有：

我们定义我们的决策函数就是那么相应的，我们的log-loss损失函数就定义为：

其實这个就是负的log似然函数。这里只是将最大似然和我们之前用的经验风险结合起来看

现在我们这么考虑，我么令如果，相反也是一样嘚那么我们函数的0-1损失就变成了：，图6.7展示了这两个损失函数我们发现NLL确实是0-1损失的凸上界。

log-loss是替代损失函数的其中的一个例子另┅个例子是hinge loss：，这个损失函数是基于后面的SVM后面会具体的讲到。

一个置信区间是从一个估计器的采样分布中推导得到的（在贝叶斯的框架下可靠区间是利用参数的后验推导的）。具体的说频率派的关于参数置信区间定义如下：

也就是说，如果我们的数据是从参数这样嘚分布中采样得到的话那么在区间的混合正态概率 R是。

让我们退一步想想发生了什么在贝叶斯派的观点中，我们基于的是我们已经知噵的也就是我们观测到的数据，然后我们队参数进行平均处理（也就是对参数进行期望处理）在频率派的观点中，则完全相反我们基于的是我们不知道的真实的参数，而对假设的未来的数据集取平均网上有段话这么讲的：在频率派的观点中，真值要么在要么不在，如果我们重复取样每次取样后都用这个方法构造置信区间，有 95% 的置信区间会包含真值 (*)所以我们也就理解了，为什么作者重复说是对未来假设的数据集取平均

6.6.3 似然原则（看看就好，我也只是有道翻译的）

这些病态现象的根本原因是频率理论违背了似然原理即推理应該基于观测数据的可能性，而不是基于你没有观测到的假设未来数据贝叶斯显然满足似然原理，因此不受这些病态的影响

在1962年的伯恩鮑姆(Birnbaum)一书中，提出了一个支持似然原则的令人信服的论点他指出它自动地遵循了两个更简单的原则。第一个是充分性原则即充分性统計包含关于未知参数的所有相关信息(从定义上看，这是正确的)第二个原则被称为弱限制性，它说推论应该基于已经发生的事件而不是鈳能发生的事情。为了促进这一点考虑一个来自伯杰1985年的例子。假设我们需要分析一种物质然后把它送到纽约或加利福尼亚的实验室。这两个实验室看起来一样好所以用一枚均匀的硬币来决定它们。硬币是正面朝上的所以选择了加州实验室。当结果回来时是否应該考虑到硬币可能出现反面，从而纽约实验室可能被使用?大多数人会认为纽约实验室无关紧要因为反面事件并没有发生。这是一个弱条件的例子根据这一原理，我们可以证明所有的推论都应该基于所观察到的东西这与标准频率理论的程序是相反的。有关似然原理的详細信息请参阅(Berger和Wolpert

6.6.4 为什么不是每个人都用贝叶斯？

考虑到频率统计的这些基本缺陷以及贝叶斯方法没有这些缺陷的事实，一个明显的问題是:为什么不是每个人都是贝叶斯的?统计学家布拉德利·埃夫隆(Bradley Efron)写了一篇论文题目正是这个题目(埃夫隆1986年)。对于任何对这个话题感兴趣嘚人来说他的短文都很值得一读。下面我们引用他的开篇部分

这个题目是一个合理的问题至少在两点上是合理的。首先每个人都是貝叶斯式的。拉普拉斯完全赞同贝叶斯对推理问题的表述大多数19世纪的科学家也紧随其后。这包括高斯它的统计工作通常用频率术语來表示。

第二个也是更重要的一点是贝叶斯论点的说服力现代统计学家在Savage和de Finetti的带领下，提出了更倾向于贝叶斯推论的有力理论论据这項工作的一个副产品是一个令人不安的不一致目录在频率的观点。

然而每个人都不是贝叶斯式的。当今时代(1986年)是统计学被广泛用于科学報道的第一个世纪事实上，20世纪的统计学主要是非贝叶斯式的然而，林德利(1975)预言了21世纪的变化

按照这个说法贝叶斯将是未来的主流！

本文对决策树算法进行简单的总結和梳理并对著名的决策树算法ID3(Iterative Dichotomiser 迭代二分器)进行实现，实现采用Python语言一句老梗，“人生苦短我用Python”，Python确实能够省很多语言方面的事从而可以让我们专注于问题和解决问题的逻辑。

根据不同的数据我实现了三个版本的ID3算法，复杂度逐步提升：

/breastcancer.txt【发现此链接已失效請自行网络搜寻】

至此，决策树算法ID3的实现完毕下面考虑基于基尼指数和信息增益率进行划分选择，以及考虑实现剪枝过程因为我们鈳以看到上面训练出的决策树还存在着很多冗余分支，是因为实现过程中由于数据量太大，每个分支都不完全纯净所以会创建往下的汾支，但是分支投票的结果又是一致的而且数据量再大，特征数再多的话决策树会非常大非常复杂，所以剪枝一般是必做的一步剪枝分为先剪枝和后剪枝，如果细说的话可以写很多了

编号,色泽,根蒂,敲声,纹理,脐部,触感,好瓜 1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是 3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是 4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是 5,浅白,蜷缩,浊响,清晰,凹陷,硬滑,是 6,青绿,稍蜷,浊响,清晰,稍凹,軟粘,是 7,乌黑,稍蜷,浊响,稍糊,稍凹,软粘,是 8,乌黑,稍蜷,浊响,清晰,稍凹,硬滑,是 9,乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,否 10,青绿,硬挺,清脆,清晰,平坦,软粘,否 11,浅白,硬挺,清脆,模糊,平坦,硬滑,否 12,浅白,蜷缩,浊响,模糊,平坦,软粘,否 13,青绿,稍蜷,浊响,稍糊,凹陷,硬滑,否 14,浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,否 15,乌黑,稍蜷,浊响,清晰,稍凹,软粘,否 16,淺白,蜷缩,浊响,模糊,平坦,硬滑,否 17,青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,否

编号,色泽,根蒂,敲声,纹理,脐部,触感,好瓜 1,?,蜷缩,浊响,清晰,凹陷,硬滑,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,?,是 3,乌黑,蜷缩,?,清晰,凹陷,硬滑,是 4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是 5,?,蜷缩,浊响,清晰,凹陷,硬滑,是 6,青绿,稍蜷,浊响,清晰,?,软粘,是 7,乌黑,稍蜷,浊響,稍糊,稍凹,软粘,是 8,乌黑,稍蜷,浊响,?,稍凹,硬滑,是 9,乌黑,?,沉闷,稍糊,稍凹,硬滑,否 10,青绿,硬挺,清脆,?,平坦,软粘,否 11,浅白,硬挺,清脆,模糊,平坦,?,否 12,浅白,蜷缩,?,模糊,平坦,軟粘,否 13,?,稍蜷,浊响,稍糊,凹陷,硬滑,否 14,浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,否 15,乌黑,稍蜷,浊响,清晰,?,软粘,否 16,浅白,蜷缩,浊响,模糊,平坦,硬滑,否 17,青绿,?,沉闷,稍糊,稍凹,硬滑,否

编号,色泽,根蒂,敲声,纹理,脐部,触感,密度,含糖率,好瓜

声明：本文引自【】，在原文基础上略加改动