预测气温、预测销售额、预测商品价格等

模型训练：feed 数据学习模型参数值使得误差尽可能小

训练集、测试集、验证集、样本、标签、特征

损失函数：回归常用平方误差函数；

优化算法：小批量随机梯度下降（每次选一小批样本训练参数），每批样本大小叫做 batch size

超参数：不是通过训练学出的如学习率，批量大小

网络输出层只有一个神经元节点

全连接层：输出层中的神经元和输入层中各个输入完全连接

基本要素：模型、训练数据、损失函数囷优化算法

图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等

softmax运算符将输出值变换成值为正且和为1的概率分布

交叉熵损失函数：更适合衡量两个概率分布差异

激活函数：一种非线性函数

ReLU函数：只保留正数元素负數元素清零

sigmoid函数：将元素值变换到0到1

模型在训练集上更准确时，不代表在测试集上就一定准确

训练误差：训練数据集上表现出的误差；泛化误差：模型在测试集上表现的误差期望

机器学习需要关注降低泛化误差。

模型选择：评估若干候选模型的表现并从中选择模型

候选模型可以是有着不同超参数的同类模型