神经网络的架构（architecture）指网络的整體结构大多数神经网络被组织成称为层的单元组，然后将这些层布置成链式结构其中每一层都是前一层的函数。在这种结构中第一層由下式给出：

可以看出，每一层的主体都是线性模型线性模型，通过矩阵乘法将特征映射到输出顾名思义，仅能表示线性函数它具有易于训练的优点，因为当使用线性模型时许多损失函数会导出凸优化问题。不幸的是我们经常希望我们的系统学习非线性函数。

乍一看我们可能认为学习非线性函数需要为我们想要学习的那种非线性专门设计一类模型族。幸运的是具有隐藏层的前馈网络提供了┅种万能近似框架。

sigmoid激活函数）的隐藏层只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一個有限维空间的Borel 可测函数

万能万能近似定理理意味着无论我们试图学习什么函数，我们知道一个大的MLP 一定能够表示这个函数然而，我們不能保证训练算法能够学得这个函数即使MLP能够表示该函数，学习也可能因两个不同的原因而失败

1. 用于训练的优化算法可能找不到用於期望函数的参数值。
2. 训练算法可能由于过拟合而选择了错误的函数

根据‘‘没有免费的午餐’’ 定理，说明了没有普遍优越的机器学習算法前馈网络提供了表示函数的万能系统，在这种意义上给定一个函数，存在一个前馈网络能够近似该函数但不存在万能的过程既能够验证训练集上的特殊样本，又能够选择一个函数来扩展到训练集上没有的点

总之，具有单层的前馈网络足以表示任何函数但是網络层可能大得不可实现，并且可能无法正确地学习和泛化在很多情况下，使用更深的模型能够减少表示期望函数所需的单元的数量並且可以减少泛化误差。