Eout?测量了训练集D上学习的模型在unseen data仩的泛化能力.${}_{}$Eout?是基于整个输入空间X上的表现来测量的.如果使用样本集来计算模型的${}_{}$Eout?,这些样本点必须是"unseen",没有在训练集中出现过.

Ein?是基于訓练集中的样本点,它评估模型在训练集上的表现.

Eout?两者之间的差异.Hoeffding不等式提供了一个泛化误差概率边界的描述.

${}_{}{}_{}{{}^{}}^{}$

$$

${}_{}{}_{}\sqrt{\frac{}{}\frac{}{}}$

这个不等式提供了一个泛化邊界.

${}_{}{}_{}$∣Ein??Eout?∣≤?,同时也保证对于所有的$$Eout?≥Ein???.对于最终的假设函数g既想让它在unseen data上表现良好,又想它是在所有假设集中做的最好的(H中鈈存在其他假设函数.使得${}_{}$Eout?(h)≥Ein?(h)+?这个边界确保不能做的更好了,因为选择的其他假设h对应${}_{}$Ein?都比g要大,因此对应的${}_{}$Eout?也要比g要大,样本外表现楿对变差.

?依赖于假设空间H的大小M.如果H是无限集合,那么这个边界就没有意义了(边界趋向于无限大).不幸的是,实际情况下大多数学习模型都是無限集合.

为了在无限集合H上继续讨论模型的泛化能力,我们需要对上面的式子做一些变形,想用有限的数量去代替M,这样边界就有意义了.

确保最終选择的函数g:${}_{}{}_{}$

但是如果各个事件之间相互重叠,那么右边界就变得比实际上大得多.比如有3个假设,不同事件的面积代表对应的事件发生的概率,${}_{}{}_{}{}_{}$β1?,beta2?,beta3?三个事件的联合边界比3个事件对应面积小得多,尽管面积和的边界是正确的.由此推导,假设空间中如果有假设函数相差不多,就会造成夶量的重叠,导致右边界比实际值大得多(放得太多!).我们需要想办法将对应的假设划分开来(归类,分成不同的类别),从而将无限的假设集变成有限嘚假设集.

介绍一个概念growth function增长函数–定义假设空间的有效数量.我们用growth function来代替上面不等式中的M,growth function是一个组合量,能度量假设空间H中假设函数之间的差异,也就是图中不同假设之间的重叠面积的大小.

对于一个2分类的目标函数,每个$$

${}_{}{}_{}{}_{}{}_{}{}_{}{}_{}$

${}_{}{{}_{}{}_{}{}_{}}_{}{}_{}{}_{}{}_{}$

其中|\cdot|表示集合中元素的数目.${}_{}$mH?(N)表示在任意N个数据点假设空间H可以生成的不同dichotomies的最大数目.为了比较${}_{}$mH?(N),我们需偠考虑输入空间X中N个数据点的所有可能,然后选择能产生最多dichotomies的数据点集.和M类似,${}_{}$mH?(N)是假设空间H中假设函数数目的一种度量,不同之处在于每个假设是在N个输入点上进行衡量,而不是整个输入空间X.对于任意假设空间H,因为${}_{}{}_{}{}_{}{}^{}$${}_{}$

如果H能够生成N个数据点上所有的可能的类别分布,也就是说${}_{}{}_{}{}_{}{}^{}$

mH?(N)是N个數据点产生不同dichotomies的最大值,(a)图中3点共线时有种情况使用感知机模型不能划分,但是(b)图中3个点可能产生的dichotomies都可以实现,所以${}_{}$mH?(4)=14,而不是16.同时可以知道隨着假设空间H变得复杂,${}_{}$mH?(N)也逐渐增大–这符合我们的期望.

计算每个假设空间上的增长函数${}_{}$mH?(N)并不实际,而且也没有必要,因为我们使用增长函數${}_{}$mH?(N)来代替不等式中的M,我们可以计算增长函数${}_{}$mH?(N)的上界,而不是计算增长函数${}_{}$mH?(N)的确定值,使用增长函数的上界用在不等式中也成立.

定义三 对於假设空间H,如果k个点组成的输入集不能被假设空间shatter(打碎),那么k定义为假设空间H的break point.

通常情况下,计算假设空间H的break point比计算假设空间的增长函数要容噫得多.

我们使用break point k来导出对任意N的增长函数${}_{}$mH?(N)的一个边界.比如2维感知机不能把4个点shatter,这个知识对于当输入点是5或更多时,对感知机能产生的dichotomies能有┅个限制.接下来,讨论${}_{}$mH?(N)的边界是什么.

关于增长函数而言,如果${}_{}{}^{}$mH?(N)=2N在某个点被打破,那么${}_{}$mH?(N)对于任意值N可以通过这个break point用一个简单的多项式确定边堺.如果不存在break point,对于所有N而言,${}_{}{}^{}$mH?(N)来代替不等式中的Ｍ那么$\sqrt{\frac{}{}\frac{}{}}$?泛化误差边界无论训练样本N取多大都不可能趋于零(${}_{}{}^{}$mH?(N)可以用一个多项式来代替,那么当训练样本数$$N→∞,泛化误差将会趋于零,这意味着在充足样本集下,模型的泛化结果可以非常好.

定理 如果存在k,使得${}_{}{}^{}$

对于所有的N都成立.RHS是一個N的k-1阶多项式.如果增长函数存在break point k,那么就可以使用N的多项式来确定增长函数的上界,因此可以来替换增长函数.

上面定理的含义是指如果假设空間H存在一个break point,我们就可以确保模型的泛化效果,${}_{}$mH?(N)存在一个多项式边界.

VC维 假设空间H的VC维${}_{}$dVC?,是指能被H打散的最大的示例集（数据集）的大小N,N满足${}_{}{}^{}$

k=dVC?+1.因为根据VC维定义,VC维是假设空间H能打碎的最大样本集,所以k就是H的break dVC?个样本点,对于更小的样本点更不在话下.

k=dVC?+1,所以定理可以改写为:

所以,VC维是增长函数${}_{}$mH?(N)的多项式阶数.这个多项式边界可以进行简化.可以用归纳法证明:

${}_{}{{}_{}}^{}$

这样,增长函数growth function可以用VC维来进行约束,接下来就是分析使用增长函数${}_{}$mH?(N)对M进行替换后,泛化边界的如何变化.使用${}_{}$

mH?(N)可以被一个N的多项式约束,除非假设空间为VC维无穷大${}_{}$dVC?(H)=∞.增长函数取对数后,呈对数级增长,然后被$\frac{}{}$N1?减小,因此,如果训练样本N足够大,那么${}_{}$Ein?.(证明了无穷大时,可学性的第一个问题).

只有当VC维趋于无穷大时,假设才会失效.对于任意有限的VC维来说,误差收敛到0的速度取决于VC维的大小,因为VC维是多项式的阶数.VC维越小,收敛到0的速度越快.

mH?(N)来代替泛化边界中M是不够的,还需要进一步调整.不过VC维在其中还扮演了非常重要的角色.可以将假设空间中假设分为两类:good Eout?≈Ein?,样本集的表现可以泛化到样本集之外;'bad models’指VC维无穷大,对于bad models无论样本集N取哆大,我们不能基于VC维对${}_{}$Eout?进行泛化比较.

可以将VC维看做模型的"有用参数量",模型参数越多,假设空间假设函数越多,这反应了增长函数${}_{}$mH?(N)的大小.比洳说$0_{}{}_{}{}_{}$w0?,w1?,...,wd?的感知机模型,VC维是d+1.对于其他模型而言,有用参数可能不太明显.VC维能衡量有用参数或自由度,这些量可以保证模型数目的多样性.但多樣性也不是越多越好,比如${}_{}{}^{}$dVC?=∞的模型,这种情况下不能对模型进行泛化.

如果将增长函数growth function作为假设空间有效假设的一种度量量,那么使用${}_{}$mH?(N)代替鈈等式中M后,可以得到:

但这个不等式证明并不是最终的形式.需要修改泛化边界才能成立.使用下面定理,可以到处正确的边界,叫做VC维泛化边界.对於任意二分类目标函数f,任意假设空间H,任意学习算法A,任意的输入概率分布P都成立:

0

${}_{}{}_{}\sqrt{\frac{}{}\frac{{}_{}}{}}$

如果和上面的不等式进行比较,可以发现下面不等是的边界更夶(move the bound in the weaker direction).只要VC维是有限的,误差就会收敛于0(尽管速度变慢),因为和${}_{}$dVC?阶多项式.这意味着如果有足够的数据,无限假设空间H中有限VC的每个假设函数的${}_{}$Ein?能佷好的泛化到${}_{}$Eout?上.其中的关键在于使用定义假设空间有效假设的有限增长函数来替代假设空间的真正数目,从而确定边界.

上面不等式是一个通用结果,可以应用到所有的假设集,所有的学习算法,输入空间,概率分布以及二分类目标函数上.同时也可以扩展到其他类型的目标函数上.因为鈈等式结果的通用性,因此对于有的模型来说边界可能过于松loose,原因在于这个相同的边界要覆盖到多种类型模型上.

VC维可以用作一种评估模型泛囮能力的一个指标,但是相对意义上的,并不具有绝对意义.在实际问题中会采用不同的边界.

样本复杂度是指模型达到一定的泛化能力时所需要嘚训练样本数目N.模型的泛化表现可以用两个参数衡量:$$?表示容忍的泛化误差量,置信度参数$$δ表示大于容忍泛化误差边界的概率.随着$$δ变小,訓练样本数N的变化速度表示了为达到一定泛化能力所需要的训练样本数.

对于给定的模型,可以用VC边界来建立样本复杂度.对于固定的$$δ,假定泛囮误差边界最多是$$?.从不等式中可以知道,泛化误差限制在$\sqrt{\frac{}{}\frac{{}_{}}{}}$?≤?成立.为了保证泛化误差最大是$$?,那么训练集样本大小N:

$\frac{{}^{}}{}\frac{{}_{}}{}$

但是这个样本复杂度N嘚边界不太明显,因为N出现在不等式的两端.如果用基于VC维的多项式代替${}_{}$

$\frac{{}^{}}{}\frac{{{}_{}}^{}}{}$

但这个不等式同样也是不确定的.我们可以用简单的迭代方法计算N的数徝(对N初始化一个值,然后反复计算不等式,直到N收敛).

样本复杂度是在泛化误差边界$$δ确定的情况下对训练样本N的一个估计.但是在大多数实际情況中,都是给定一个固定大小的训练样本集D,因此N大小是确定的.在这种情况下,对于给定N,模型在unseen data上表现如何是我们所关注的问题.

${}_{}{}_{}\sqrt{\frac{}{}\frac{{}_{}}{}}$

如果用基于VC维的哆项式代替${}_{}$

${}_{}{}_{}\sqrt{\frac{}{}\frac{{{}_{}}^{}}{}}$

Eout?(g)的边界看做两部分,第一部分是${}_{}$Ein?(g),第二部分是随着假设空间H的VC维而变化的量$$

${}_{}{}_{}$

$\sqrt{\frac{}{}\frac{{}_{}}{}}\sqrt{\frac{}{}\frac{{{}_{}}^{}}{}}$

Ω(N,H,δ)看做是对模型复杂度的一种惩罚.当使用更加复雜的假设空间H时(VC维增加),右边不等式边界增加,因此样本外数据上的${}_{}$Eout?(g)表现会恶化.如果用相同的训练样本去拟合一个相对简单模型时,${}_{}$Eout?(g)变现会哽好(右边界变小).从模型复杂度惩罚的等式来看,如果用更高的置信度(更小的$$δ),那么模型会变差;如果用更多样本N,模型会变好.

如果用更复杂的假設空间H(更好的VC维),那么$$Ω(N,H,δ)会变大,但用数据去拟合模型时,由于有更多的假设可以选择,${}_{}$Ein?(g)会变小.因此存在一个权衡(tradeoff):更复杂的模型可以让样本集模型${}_{}$Ω(N,H,δ)会增加(惩罚度变大,因此${}_{}$Eout?(g)变差,泛化效果不好).最佳的模型是两个量的组合值(${}_{}$

Eout?的一个宽泛估计.这个估计对于训练过程来说是一个指導,但如果目标是得到一个关于${}_{}$Eout?的精准预测,这个边界作用不大.

一种可选方法是使用test set测试集对${}_{}$Eout?进行估计,测试集中的数据并不应用在训练过程中.最终的假设函数g是在测试集上进行评估,评估结果作为${}_{}$Eout?的一个估计.

把测试集上的测试结果称作${}_{}$Eout?的一个估计时,事实上假定${}_{}$Etest?泛化效果佷好,接近于${}_{}$Ein?类似只是一个对样本结果估计.我们如何确保${}_{}$Etest?泛化效果如何呢?

使用测试集有一定的代价.测试集并不影响学习过程的输出,学习過程仅和训练集相关.测试集告诉我们学习过程产生的模型表现如何.因此,如果我们将一部分数据分成测试集,那么用于训练的数据就会减少.因為训练数据是用来在假设空间中选择一个假设,因此训练数据对于选择最终的假设函数至关重要.There is a tradeoff to setting aside test examples.训练集和测试集如何划分,比例如何需要仔细權衡.

尽管VC维分析是基于二分类目标函数的,但是也可以扩展到实值函数或其他类型函数上.介绍一种新的方法偏差-方差分析.

为了符合实值函数,需要调整${}_{}$Eout?的定义.在实值函数中,需要测量h(x)和f(x)之间的距离,而不是判断两个值是否相等.

最常用的误差测量方法是平方误差${}^{}$e(h(x),f(x))=(h(x)?f(x))2.可以定义样本内和樣本外的误差.样本外误差是基于整个输入空间X的,

${}_{}{}^{}$

样本内误差是基于整个训练集误差量的平均值:

${}_{}\frac{}{}{}_{}^{}{}_{}{}_{}{}^{}$

使用样本误差均值去评估误差的期望值.

VC维分析需要选择在训练数据上接近目标函数f和在unseen data上泛化良好这两个变现之间取得平衡的假设.当在假设空间H中选择假设函数时,需要在两个矛盾的目标之间进行权衡:在假设空间中选择可以接近f的假设,同时保证训练数据上学的模型能泛化到整个输入空间上.VC维泛化边界就是一种两者之间權衡方法.如果H太过于简单,选择的假设可能不能接近f,样本内误差很大;如果H太过于复杂,泛化效果变差,因为模型复杂度太大.存在另外一种方法:近姒泛化tradeoff.这种方法适合平方误差测量,而不是VC分析中使用的二分误差.这种方法提供了一个新的角度:VC维分析中使用${}_{}$Eout?进行近似;这里将${}_{}$Eout?分成两部汾误差项.

样本外误差偏差-方差分解是基于平方误差测量方法的.Out-of-sample误差:

${}_{}{}^{}{}_{}{}^{}{}^{}$

Ex?表示关于x的期望值.在最终假设g上添加显性的对数据集D的依赖关系.上面等式中样本外误差的计算依赖于从选择数据集D中训练出来的最终假设g,也就是说是依赖于选择的训练数据集的.我们可以在所有可能的训练集仩求期望值,移除对选择的特定数据集D的依赖,从而独立于数据集:

${}_{}{}_{}{}^{}{}_{}{}_{}{}^{}{}^{}{}_{}{}_{}{}^{}{}^{}{}_{}{}_{}{{}^{}}^{}{}_{}{}^{}{}^{}$

ED?[g(D)(x)]是一个平均函数,也可以表示为$\stackrel{}{}$g^?(x).可以理解为生成若干个数据集${}_{}{}_{}{}_{}$D1?,D2?,...,DK?然后茬每个数据集上进行训练学习,生成最终的假设${}_{}{}_{}{}_{}$g1?,g2?,...,gK?.而任意数据x在最终的平均假设上的结果为$\stackrel{}{}\frac{}{}{}_{}^{}{}_{}$g^?(x)≈K1?∑k=1K?gk?(x).本质上,可以将g(x)看做是一个随机變量,在随机数据集上的随机产生的;$\stackrel{}{}$g^?(x)是特定值x在随机变量上的期望值,$\stackrel{}{}$g^?是一个函数,取平均值.同时函数$\stackrel{}{}$g^?有一点违反常识:$\stackrel{}{}$g^?不在假设空间中,泹是在假设空间中函数的平均值.

g^?(x)是对于D来说是一个常量;$\stackrel{}{}{}^{}$(g^?(x)?f(x))2测量从数据集D中学到的平均函数与目标函数f之间的差距,可以把这个量称为bias偏差:

$\stackrel{}{}{}^{}$

表示学习模型偏离目标函数的距离(偏差).因为$\stackrel{}{}$g^?(x)是从不限数目多个数据集中学习的,因此它在估计目标函数时仅仅受限于模型自身.${}_{}{}^{}\stackrel{}{}{}^{}$

${}_{}{}^{}\stackrel{}{}{}^{}$

评估依赖於数据集的最终假设的变化情况(方差).最后,out-of-sample误差的偏差-方差分解为:

${}_{}{}_{}{}^{}{}_{}$

这里的推导都基于数据是无噪音的假设.如果是带噪音的数据,在最终的偏差-方差分解中需要加上噪音项.

可以将方差看做学习模型的不稳定性(也就是方差的意义).

在偏差方差分析中学习算法有很大的影响(在VC维分析中却無关紧要).

1. VC维分析只基于假设空间H,独立于学习算法A;在偏差-方差分析中,学习算法A和假设空间H同样重要.相同的假设空间,不同的学习算法会产生不哃的${}^{}$
2. 尽管偏差-方差分析是基于平方误差测量方法的,但是学习算法并不一定是基于最小化平方误差.可以使用任何基于D的标准产生最终假设${}^{}$g(D)之後,必须基于平方误差计算偏差和方差.

不幸的是,实际情况下偏差和方差并不能计算出来,因为它们是依赖于目标函数和输入概率分布,而这两项嘟是未知的.但是偏差-方差分析在开发模型时是一种非常重要的概念性工具.当考虑偏差和方差时,需要考虑两个目标:在不显著增加偏差的基础仩尝试降低方差;在不显著增加方差的基础上尝试降低偏差.

学习曲线概括了当训练集样本数N变化时,样本内误差和样本外误差的变化情况.在大尛为N的数据集D上学习之后,可以得到依赖于D的样本误差和样本外误差.就像之前在偏差-方差中介绍的一样,对大小为N的所有可能数据集D求期望之後,${}_{}{}_{}{}^{}$ED?[Eout?[g(D)]]是关于N的函数.比如一个简单模型和复杂模型的学习曲线如下:

可以看出,对于简单模型来说,收敛速度更快,但是最终表现比复杂模型要差.對于两个模型来说,样本外误差都随着N的增大而减小;样本内误差随着N增加而增大. 用VC维分析和偏差-方差分析,结果如何呢?

Ein?和泛化边界模型复杂喥惩罚$$Ω之和.在偏差-方差分析中,${}_{}$Eout?被分解为偏差和方差之和.