[size=0.8]使用上文所属的三种方法来优化MNIST铨连接神经网络代码如下：
[size=0.8]inference函数中最后输出未使用softmax的原因：在计算损失函数时会一并计算softmax函数，所以这里不需要激活函数而且不加入softmax鈈会影响预测结果。因为预测时采用的是不同类别对应节点输出值的相对大小有没有softmax层对最后分类结果的计算没有影响。于是在计算整個神经网络的前向传播时可以不加入最后的softmax层

你是否也有疑问在神经网络的訓练过程中，随着多样本的训练我们的参数是如何进行调节的呢？

反向传播时将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向直至输入层，在反传过程中将误差分摊给各层的各个单元获得各层各单元的误差信号，并将其作为修正各单元权值的根据这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后使误差信号减小到最低限度。

BP算法的原理就是目标函数对参数矩阵的偏导可以通过链式求导得出从而实现了误差的反向转播的效果。

下面是我在研究生课程上学习的BP算法推导是根据BP算法论文所做的计算。

以下两种分别是神经元 j 作为输出层节点和隐层节点的情况理解了这两种情况就可以衍生到三层及更多层的神经网络，其中的原理是一样的正所谓举一反三。

BP就是误差在网络中的反向转播！