squared error loss为什么是非凸函数
点击联系发帖人
时间：2017-10-03 03:17
【图文】第三节 凸函数_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
第三节 凸函数
&&最优化技术
大小：573.58KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢kmeans聚类_文档库
文档库最新最全的文档下载
当前位置： & kmeans聚类
kmeans聚类
kmeans聚类：算法收敛：SSE（Sum of Squared Error）即误差平方和，用来度量聚类效果。也称"畸变函数"；SSE计算的就是一个cluster中每个点到质心的平方差，它可以度量聚类的好坏，显然SSE越小，说明聚类效果越好。由于SSE是一个非凸函数，所以SSE不能保证找到全局最优解，只能确保找到局部最优解。但是可以重复执行几次kmeans，选取SSE最小的一次作为最终的聚类结果0-1格式化由于数据之间量纲不同，不方便比较。所以需要将数据统一放到0~1的范围，将其转化为无量纲的纯数值，便于不同单位获或量级的指标能够进行比较和加权。轮廓系数(silhouette Coefficient):结合了聚类的凝聚度和分离度，用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。（具体公式见上课笔记）注：在实际应用中，由于kmeans一般作为数据预处理，或者用于辅助分类贴标签，所以K一般不会设置很大。可以通过枚举，令K从2到一个固定值如10，在每个K值上重复运行数次kmeans（避免局部最优解），并计算当前K的平均轮廓系数，最后选取耳轮廓系数最大的值对应的K作为最终的集群数目。kmeans方法实践：1.随机选取训练数据中的k个点作为起始点2.当k值选定后，随机计算n次，取得到最小开销函数值的k作为最终聚类结果，避免随机引起的局部最优解3.手肘法选取k值：绘制出k--开销函数闪点图，看到有明显拐点（如下）的地方，设为k值，可以结合轮廓系数。4.k值有时候需要根据应用场景选取，而不能完全的依据评估参数选取。例:画轮廓系数：# k取2到8，评估KK <- 2:8round <- 30 # 每次迭代30次，避免局部最优rst <- sapply(K, function(i){print(paste("K=",i))mean(sapply(1:round,function(r){print(paste("Round",r))result <- kmeans(norm.data, i)stats <- cluster.stats(dist(norm.data), result$cluster)stats$avg.silwidth}))})plot(K,rst,type='l',main='轮廓系数与K的关系', ylab='轮廓系数')例：计算轮廓系数begin = 2; length = 15;count = 50;end = begin + length - 1;# 结果容器result = c();result[begin:end] = -1;# 遍历计算kmeans的轮廓系数library(cluster);qc = read.table("d:/question_cluster.txt", header=T);for(i in begin:end) {# Silhouette coefficienttmp = c();tmp[1:count] = 0;for(j in 1:count) {kcluster = pam(qc, i);tmp[j] = kcluster$silinfo$avg.}result[i] = mean(tmp);}# 绘制结果plot(result, type="o", xlab="Number of Cluster", ylab="Silhouette Coefficient");例：计算SSE# 开始与结果边界begin = 1; length = 15;count = 50;end = begin + length - 1;# 结果容器result = c();result[
Word文档免费下载：
算法实例 ?算法优缺点 K-means算法概述 K-means算法, 也被称为k-平均或k-均值 算法,是一种得到最广泛使用的聚类算法。 它是将各个聚类子集内的所有数据样本...数学模型与数学建模之 聚类分析之 K-均值聚类及其SPSS实现于晶贤 E-mail: yujingxian@ K-均值聚类红色的点为事先给定的聚类中心 ID 1 2 3 4 5 6 ...K-Means聚类算法及实现代码_IT/计算机_专业资料。C++数据聚类,将若干数据集按照约定的分类将其分开聚类K-Means 算法 k-means 算法接受参数 然后将事先输入的...K-Means & Fuzzy C-Means_IT/计算机_专业资料。K-Means & Fuzzy C-Means-马保秋 K-Means & Fuzzy C-Means 报告人:马宝秋 聚类(Clustering) ? “物以类...kmeans聚类_计算机软件及应用_IT/计算机_专业资料。用R语言进行kmeans聚类基本步骤 kmeans聚类:算法收敛: SSE(Sum of Squared Error)即误差平方和,用来度量聚类...K-means算法讲解_计算机软件及应用_IT/计算机_专业资料。聚类,K-means算法讲解K-means 算法 主要内容:数据挖掘简介数据挖掘的任务简介 聚类算法简介 K-means算法简介...K-means 聚类算法一、K-means 聚类原理 1.1 聚类算法的原理 我们经常接触到的聚类分析,一般都是数值聚类,一种常见的做法是同时提 取 N 种特征,将它们放在一...聚类分析—K-means and K-medoids聚类_教学案例/设计_教学研究_教育专区。数据挖掘 Topic3--聚类分析 K-means &K-medoids 聚类 主要内容 K-means算法 Matlab...X-means:一种针对聚类个数的K-means算法改进_互联网_IT/计算机_专业资料。X-means:一种针对聚类个数的 K-means 算法改进摘要 尽管 K-means 很受欢迎, 但是他...----Google TensorFlow（37）
作者：不会停的蜗牛 CSDN AI专栏作家
在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？
下面是 TensorFlow 中的优化器，&
在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam 等：&
我们可以发现除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？
在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：&
本文将梳理：
每个算法的梯度更新规则和缺点为了应对这个不足而提出的下一个算法超参数的一般设定值几种算法的效果比较选择哪种算法
优化器算法简述
首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，&
这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，&
这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。
1. Batch gradient descent
梯度更新规则:
BGD 采用整个训练集的数据来计算 cost function 对参数的梯度：
由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型
for i in range(nb_epochs):
params_grad = evaluate_gradient(loss_function, data, params)
params = params - learning_rate * params_grad
我们会事先定义一个迭代次数 epoch，首先计算梯度向量 params_grad，然后沿着梯度的方向更新参数 params，learning rate 决定了我们每一步迈多大。
Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。
2. Stochastic gradient descent
梯度更新规则:
和 BGD 的一次用所有数据计算梯度相比，SGD 每次更新时对每个样本进行梯度更新，&
对于很大的数据集来说，可能会有相似的样本，这样 BGD 在计算梯度时会出现冗余，&
而 SGD 一次只进行一次更新，就没有冗余，而且比较快，并且可以新增样本。
for i in range(nb_epochs):
np.random.shuffle(data)
for example in data:
params_grad = evaluate_gradient(loss_function, example, params)
params = params - learning_rate * params_grad
看代码，可以看到区别，就是整体数据集是个循环，其中对每个样本进行一次参数更新。
但是 SGD 因为更新比较频繁，会造成 cost function 有严重的震荡。
BGD 可以收敛到局部极小值，当然 SGD 的震荡可能会跳到更好的局部极小值处。
当我们稍微减小 learning rate，SGD 和 BGD 的收敛性是一样的。
3. Mini-batch gradient descent
梯度更新规则:
MBGD 每一次利用一小批样本，即 n 个样本进行计算。这样它可以降低参数更新时的方差，收敛更稳定。另一方面可以充分地利用深度学习库中高度优化的矩阵操作来进行更有效的梯度计算。
和 SGD 的区别是每一次循环不是作用于每个样本，而是具有 n 个样本的批次
for i in range(nb_epochs):
np.random.shuffle(data)
for batch in get_batches(data, batch_size=50):
params_grad = evaluate_gradient(loss_function, batch, params)
params = params - learning_rate * params_grad
超参数设定值:
n 一般取值在 50～256
不过 Mini-batch gradient descent 不能保证很好的收敛性，
learning rate 如果选择的太小，收敛速度会很慢，如果太大，loss function 就会在极小值处不停地震荡甚至偏离。&
有一种措施是先设定大一点的学习率，当两次迭代之间的变化低于某个阈值后，就减小 learning rate，不过这个阈值的设定需要提前写好，这样的话就不能够适应数据集的特点。
此外，这种方法是对所有参数更新时应用同样的 learning rate，如果我们的数据是稀疏的，我们更希望对出现频率低的特征进行大一点的更新。
另外，对于非凸函数，还要避免陷于局部极小值处，或者鞍点处，因为鞍点周围的error 是一样的，所有维度的梯度都接近于0，SGD 很容易被困在这里。
鞍点就是：一个光滑函数的鞍点邻域的曲线，曲面，或超曲面，都位于这点的切线的不同边。
例如这个二维图形，像个马鞍：在x-轴方向往上曲，在y-轴方向往下曲，鞍点就是（0，0）
为了应对上面的三点挑战就有了下面这些算法。
［应对挑战 1］
4. Momentum
SGD 在 ravines 的情况下容易被困住， ravines 就是曲面的一个方向比另一个方向更陡，这时 SGD 会发生震荡而迟迟不能接近极小值：
梯度更新规则:
Momentum 通过加入 γv_t-1 ，可以加速 SGD， 并且抑制震荡
当我们将一个小球从山上滚下来时，没有阻力的话，它的动量会越来越大，但是如果遇到了阻力，速度就会变小。
加入的这一项，可以使得梯度方向不变的维度上速度变快，梯度方向有所改变的维度上的更新速度变慢，这样就可以加快收敛并减小震荡。
超参数设定值:
一般 γ 取 左右。
这种情况相当于小球从山上滚下来时是在盲目地沿着坡滚，如果它能具备一些先知，例如快要上坡时，就知道需要减速了的话，适应性会更好。
5. Nesterov accelerated gradient
梯度更新规则:
用 θ-γv_t-1 来近似当做参数下一步会变成的值，则在计算梯度时，不是在当前位置，而是未来的位置上
超参数设定值:
γ 仍然取 左右。
蓝色是 Momentum 的过程，会先计算当前的梯度，然后在更新后的累积梯度后会有一个大的跳跃。
而 NAG 会先在前一步的累积梯度上(brown vector)有一个大的跳跃，然后衡量一下梯度做一下修正(red vector)，这种预期的更新可以避免我们走的太快。
NAG 可以使 RNN 在很多任务上有更好的表现。
目前为止，我们可以做到，在更新梯度时顺应 loss function 的梯度来调整速度，并且对 SGD 进行加速。
我们还希望可以根据参数的重要性而对不同的参数进行不同程度的更新。
［应对挑战 2］
6. Adagrad
这个算法就可以对低频的参数做较大的更新，对高频的做较小的更新，也因此，对于稀疏的数据它的表现很好，很好地提高了 SGD 的鲁棒性，例如识别 Youtube 视频里面的猫，训练 GloVe word embeddings，因为它们都是需要在低频的特征上有更大的更新。
梯度更新规则:
其中 g 为：t 时刻参数 θ_i 的梯度
如果是普通的 SGD， 那么 θ_i 在每一时刻的梯度更新公式为：
但这里的 learning rate η 也随 t 和 i 而变：
其中&G_t&是个对角矩阵， (i,i) 元素就是 t 时刻参数&θ_i&的梯度平方和。
Adagrad 的优点是减少了学习率的手动调节
超参数设定值:
一般 η 就取 0.01。
它的缺点是分母会不断积累，这样学习率就会收缩并最终会变得非常小。
7. Adadelta
这个算法是对 Adagrad 的改进，
和 Adagrad 相比，就是分母的 G 换成了过去的梯度平方的衰减平均值，
这个分母相当于梯度的均方根 root mean squared (RMS) ，所以可以用 RMS 简写：
其中 E 的计算公式如下，t 时刻的依赖于前一时刻的平均和当前的梯度：
梯度更新规则:
此外，还将学习率 η 换成了 RMS[Δθ]，这样的话，我们甚至都不需要提前设定学习率了：
超参数设定值:
γ 一般设定为 0.9，
8. RMSprop
RMSprop 是 Geoff Hinton 提出的一种自适应学习率方法。
RMSprop 和 Adadelta 都是为了解决 Adagrad 学习率急剧下降问题的，
梯度更新规则:
RMSprop 与 Adadelta 的第一种形式相同：
超参数设定值:
Hinton 建议设定 γ 为 0.9, 学习率 η 为 0.001。
这个算法是另一种计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ，也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值：
如果 mt 和 vt 被初始化为 0 向量，那它们就会向 0 偏置，所以做了偏差校正，&
通过计算偏差校正后的 mt 和 vt 来抵消这些偏差：
梯度更新规则:
超参数设定值:
建议 β1 ＝ 0.9，β2 ＝ 0.999，? ＝ 10e-8
实践表明，Adam 比其他适应性学习方法效果要好。
下面看一下几种算法在鞍点和等高线上的表现：
上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。
由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好。
如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。
Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum，
随着梯度变的稀疏，Adam 比 RMSprop 效果会好。
整体来讲，Adam 是最好的选择。
很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。
如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：196767次
积分：4914
积分：4914
排名：第6073名
原创：28篇
转载：18篇
译文：12篇
评论：26条
(11)(10)(40)(70)(61)(57)(68)(47)(26)(1)
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'The page is temporarily unavailable
nginx error!
The page you are looking for is temporarily unavailable.
Please try again later.
Website Administrator
Something has triggered an error on your
This is the default error page for
nginx that is distributed with
It is located
/usr/share/nginx/html/50x.html
You should customize this error page for your own
site or edit the error_page directive in
the nginx configuration file
/etc/nginx/nginx.conf.扫二维码下载作业帮
2亿+学生的选择
下载作业帮安装包
扫二维码下载作业帮
2亿+学生的选择
如果一个三位数abc满足a>=b且c>=b,则称这样的三位数为“非凸数”（如102,545,777等）那么所有非凸函数的个数是______375
中野梓酱唽
扫二维码下载作业帮
2亿+学生的选择
平方和公式：1²+2²+...+n²=n(n+1)(2n+1)/6我们从中间这个数讨论当中间数字为0时,两边的数取值范围：0→9,各10个可能,总共10×10=10²种当中间数字为1时,两边的数取值范围：1→9,各9个可能,总共9...
为您推荐：
其他类似问题
如果第一个数字是9那么第二个就有8中可能，如果第二个是8，第三个就只有一个可能
请问“非凸函数”是什么意思？
中间数为0时，高位有1至9可以用，低位0至9可以用，所以9*10=90个，同理中间数为1时，高位有1至9可以用，低位1至9可以用，所以9*9=81个，中间数为2时，高位有2至9可以用，低位2至9可以用，所以8*8=64个，中间数为3时，高位有3至9可以用，低位3至9可以用，所以7*7=49个，中间数为4时，高位有4至9可以用，低位4至9可以用，所以6*6=3...
第二个数为：0时，第一位数有9种选择（1-9），第三位数有10种可能（0-9） 总共9*10=90种第二个数为：1时，第一位数有9种选择（1-9），第三位数有9种可能（1-9） 总共9*9=81种第二个数为：2时，第一位数有8种选择（2-9），第三位数有8种可能（2-9） 总共8*8=64种第二个数为：3时，第一位数有7种选择（3-9），第三位数有7种可能（3-9） ...
扫描下载二维码}
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
第三节 凸函数
&&最优化技术
大小：573.58KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢kmeans聚类_文档库
文档库最新最全的文档下载
当前位置： & kmeans聚类
kmeans聚类
kmeans聚类：算法收敛：SSE（Sum of Squared Error）即误差平方和，用来度量聚类效果。也称"畸变函数"；SSE计算的就是一个cluster中每个点到质心的平方差，它可以度量聚类的好坏，显然SSE越小，说明聚类效果越好。由于SSE是一个非凸函数，所以SSE不能保证找到全局最优解，只能确保找到局部最优解。但是可以重复执行几次kmeans，选取SSE最小的一次作为最终的聚类结果0-1格式化由于数据之间量纲不同，不方便比较。所以需要将数据统一放到0~1的范围，将其转化为无量纲的纯数值，便于不同单位获或量级的指标能够进行比较和加权。轮廓系数(silhouette Coefficient):结合了聚类的凝聚度和分离度，用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。（具体公式见上课笔记）注：在实际应用中，由于kmeans一般作为数据预处理，或者用于辅助分类贴标签，所以K一般不会设置很大。可以通过枚举，令K从2到一个固定值如10，在每个K值上重复运行数次kmeans（避免局部最优解），并计算当前K的平均轮廓系数，最后选取耳轮廓系数最大的值对应的K作为最终的集群数目。kmeans方法实践：1.随机选取训练数据中的k个点作为起始点2.当k值选定后，随机计算n次，取得到最小开销函数值的k作为最终聚类结果，避免随机引起的局部最优解3.手肘法选取k值：绘制出k--开销函数闪点图，看到有明显拐点（如下）的地方，设为k值，可以结合轮廓系数。4.k值有时候需要根据应用场景选取，而不能完全的依据评估参数选取。例:画轮廓系数：# k取2到8，评估KK <- 2:8round <- 30 # 每次迭代30次，避免局部最优rst <- sapply(K, function(i){print(paste("K=",i))mean(sapply(1:round,function(r){print(paste("Round",r))result <- kmeans(norm.data, i)stats <- cluster.stats(dist(norm.data), result$cluster)stats$avg.silwidth}))})plot(K,rst,type='l',main='轮廓系数与K的关系', ylab='轮廓系数')例：计算轮廓系数begin = 2; length = 15;count = 50;end = begin + length - 1;# 结果容器result = c();result[begin:end] = -1;# 遍历计算kmeans的轮廓系数library(cluster);qc = read.table("d:/question_cluster.txt", header=T);for(i in begin:end) {# Silhouette coefficienttmp = c();tmp[1:count] = 0;for(j in 1:count) {kcluster = pam(qc, i);tmp[j] = kcluster$silinfo$avg.}result[i] = mean(tmp);}# 绘制结果plot(result, type="o", xlab="Number of Cluster", ylab="Silhouette Coefficient");例：计算SSE# 开始与结果边界begin = 1; length = 15;count = 50;end = begin + length - 1;# 结果容器result = c();result[
Word文档免费下载：
算法实例 ?算法优缺点 K-means算法概述 K-means算法, 也被称为k-平均或k-均值 算法,是一种得到最广泛使用的聚类算法。 它是将各个聚类子集内的所有数据样本...数学模型与数学建模之 聚类分析之 K-均值聚类及其SPSS实现于晶贤 E-mail: yujingxian@ K-均值聚类红色的点为事先给定的聚类中心 ID 1 2 3 4 5 6 ...K-Means聚类算法及实现代码_IT/计算机_专业资料。C++数据聚类,将若干数据集按照约定的分类将其分开聚类K-Means 算法 k-means 算法接受参数 然后将事先输入的...K-Means & Fuzzy C-Means_IT/计算机_专业资料。K-Means & Fuzzy C-Means-马保秋 K-Means & Fuzzy C-Means 报告人:马宝秋 聚类(Clustering) ? “物以类...kmeans聚类_计算机软件及应用_IT/计算机_专业资料。用R语言进行kmeans聚类基本步骤 kmeans聚类:算法收敛: SSE(Sum of Squared Error)即误差平方和,用来度量聚类...K-means算法讲解_计算机软件及应用_IT/计算机_专业资料。聚类,K-means算法讲解K-means 算法 主要内容:数据挖掘简介数据挖掘的任务简介 聚类算法简介 K-means算法简介...K-means 聚类算法一、K-means 聚类原理 1.1 聚类算法的原理 我们经常接触到的聚类分析,一般都是数值聚类,一种常见的做法是同时提 取 N 种特征,将它们放在一...聚类分析—K-means and K-medoids聚类_教学案例/设计_教学研究_教育专区。数据挖掘 Topic3--聚类分析 K-means &K-medoids 聚类 主要内容 K-means算法 Matlab...X-means:一种针对聚类个数的K-means算法改进_互联网_IT/计算机_专业资料。X-means:一种针对聚类个数的 K-means 算法改进摘要 尽管 K-means 很受欢迎, 但是他...----Google TensorFlow（37）
作者：不会停的蜗牛 CSDN AI专栏作家
在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？
下面是 TensorFlow 中的优化器，&
在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam 等：&
我们可以发现除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？
在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：&
本文将梳理：
每个算法的梯度更新规则和缺点为了应对这个不足而提出的下一个算法超参数的一般设定值几种算法的效果比较选择哪种算法
优化器算法简述
首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，&
这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，&
这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。
1. Batch gradient descent
梯度更新规则:
BGD 采用整个训练集的数据来计算 cost function 对参数的梯度：
由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型
for i in range(nb_epochs):
params_grad = evaluate_gradient(loss_function, data, params)
params = params - learning_rate * params_grad
我们会事先定义一个迭代次数 epoch，首先计算梯度向量 params_grad，然后沿着梯度的方向更新参数 params，learning rate 决定了我们每一步迈多大。
Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。
2. Stochastic gradient descent
梯度更新规则:
和 BGD 的一次用所有数据计算梯度相比，SGD 每次更新时对每个样本进行梯度更新，&
对于很大的数据集来说，可能会有相似的样本，这样 BGD 在计算梯度时会出现冗余，&
而 SGD 一次只进行一次更新，就没有冗余，而且比较快，并且可以新增样本。
for i in range(nb_epochs):
np.random.shuffle(data)
for example in data:
params_grad = evaluate_gradient(loss_function, example, params)
params = params - learning_rate * params_grad
看代码，可以看到区别，就是整体数据集是个循环，其中对每个样本进行一次参数更新。
但是 SGD 因为更新比较频繁，会造成 cost function 有严重的震荡。
BGD 可以收敛到局部极小值，当然 SGD 的震荡可能会跳到更好的局部极小值处。
当我们稍微减小 learning rate，SGD 和 BGD 的收敛性是一样的。
3. Mini-batch gradient descent
梯度更新规则:
MBGD 每一次利用一小批样本，即 n 个样本进行计算。这样它可以降低参数更新时的方差，收敛更稳定。另一方面可以充分地利用深度学习库中高度优化的矩阵操作来进行更有效的梯度计算。
和 SGD 的区别是每一次循环不是作用于每个样本，而是具有 n 个样本的批次
for i in range(nb_epochs):
np.random.shuffle(data)
for batch in get_batches(data, batch_size=50):
params_grad = evaluate_gradient(loss_function, batch, params)
params = params - learning_rate * params_grad
超参数设定值:
n 一般取值在 50～256
不过 Mini-batch gradient descent 不能保证很好的收敛性，
learning rate 如果选择的太小，收敛速度会很慢，如果太大，loss function 就会在极小值处不停地震荡甚至偏离。&
有一种措施是先设定大一点的学习率，当两次迭代之间的变化低于某个阈值后，就减小 learning rate，不过这个阈值的设定需要提前写好，这样的话就不能够适应数据集的特点。
此外，这种方法是对所有参数更新时应用同样的 learning rate，如果我们的数据是稀疏的，我们更希望对出现频率低的特征进行大一点的更新。
另外，对于非凸函数，还要避免陷于局部极小值处，或者鞍点处，因为鞍点周围的error 是一样的，所有维度的梯度都接近于0，SGD 很容易被困在这里。
鞍点就是：一个光滑函数的鞍点邻域的曲线，曲面，或超曲面，都位于这点的切线的不同边。
例如这个二维图形，像个马鞍：在x-轴方向往上曲，在y-轴方向往下曲，鞍点就是（0，0）
为了应对上面的三点挑战就有了下面这些算法。
［应对挑战 1］
4. Momentum
SGD 在 ravines 的情况下容易被困住， ravines 就是曲面的一个方向比另一个方向更陡，这时 SGD 会发生震荡而迟迟不能接近极小值：
梯度更新规则:
Momentum 通过加入 γv_t-1 ，可以加速 SGD， 并且抑制震荡
当我们将一个小球从山上滚下来时，没有阻力的话，它的动量会越来越大，但是如果遇到了阻力，速度就会变小。
加入的这一项，可以使得梯度方向不变的维度上速度变快，梯度方向有所改变的维度上的更新速度变慢，这样就可以加快收敛并减小震荡。
超参数设定值:
一般 γ 取 左右。
这种情况相当于小球从山上滚下来时是在盲目地沿着坡滚，如果它能具备一些先知，例如快要上坡时，就知道需要减速了的话，适应性会更好。
5. Nesterov accelerated gradient
梯度更新规则:
用 θ-γv_t-1 来近似当做参数下一步会变成的值，则在计算梯度时，不是在当前位置，而是未来的位置上
超参数设定值:
γ 仍然取 左右。
蓝色是 Momentum 的过程，会先计算当前的梯度，然后在更新后的累积梯度后会有一个大的跳跃。
而 NAG 会先在前一步的累积梯度上(brown vector)有一个大的跳跃，然后衡量一下梯度做一下修正(red vector)，这种预期的更新可以避免我们走的太快。
NAG 可以使 RNN 在很多任务上有更好的表现。
目前为止，我们可以做到，在更新梯度时顺应 loss function 的梯度来调整速度，并且对 SGD 进行加速。
我们还希望可以根据参数的重要性而对不同的参数进行不同程度的更新。
［应对挑战 2］
6. Adagrad
这个算法就可以对低频的参数做较大的更新，对高频的做较小的更新，也因此，对于稀疏的数据它的表现很好，很好地提高了 SGD 的鲁棒性，例如识别 Youtube 视频里面的猫，训练 GloVe word embeddings，因为它们都是需要在低频的特征上有更大的更新。
梯度更新规则:
其中 g 为：t 时刻参数 θ_i 的梯度
如果是普通的 SGD， 那么 θ_i 在每一时刻的梯度更新公式为：
但这里的 learning rate η 也随 t 和 i 而变：
其中&G_t&是个对角矩阵， (i,i) 元素就是 t 时刻参数&θ_i&的梯度平方和。
Adagrad 的优点是减少了学习率的手动调节
超参数设定值:
一般 η 就取 0.01。
它的缺点是分母会不断积累，这样学习率就会收缩并最终会变得非常小。
7. Adadelta
这个算法是对 Adagrad 的改进，
和 Adagrad 相比，就是分母的 G 换成了过去的梯度平方的衰减平均值，
这个分母相当于梯度的均方根 root mean squared (RMS) ，所以可以用 RMS 简写：
其中 E 的计算公式如下，t 时刻的依赖于前一时刻的平均和当前的梯度：
梯度更新规则:
此外，还将学习率 η 换成了 RMS[Δθ]，这样的话，我们甚至都不需要提前设定学习率了：
超参数设定值:
γ 一般设定为 0.9，
8. RMSprop
RMSprop 是 Geoff Hinton 提出的一种自适应学习率方法。
RMSprop 和 Adadelta 都是为了解决 Adagrad 学习率急剧下降问题的，
梯度更新规则:
RMSprop 与 Adadelta 的第一种形式相同：
超参数设定值:
Hinton 建议设定 γ 为 0.9, 学习率 η 为 0.001。
这个算法是另一种计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ，也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值：
如果 mt 和 vt 被初始化为 0 向量，那它们就会向 0 偏置，所以做了偏差校正，&
通过计算偏差校正后的 mt 和 vt 来抵消这些偏差：
梯度更新规则:
超参数设定值:
建议 β1 ＝ 0.9，β2 ＝ 0.999，? ＝ 10e-8
实践表明，Adam 比其他适应性学习方法效果要好。
下面看一下几种算法在鞍点和等高线上的表现：
上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。
由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好。
如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。
Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum，
随着梯度变的稀疏，Adam 比 RMSprop 效果会好。
整体来讲，Adam 是最好的选择。
很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。
如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：196767次
积分：4914
积分：4914
排名：第6073名
原创：28篇
转载：18篇
译文：12篇
评论：26条
(11)(10)(40)(70)(61)(57)(68)(47)(26)(1)
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'The page is temporarily unavailable
nginx error!
The page you are looking for is temporarily unavailable.
Please try again later.
Website Administrator
Something has triggered an error on your
This is the default error page for
nginx that is distributed with
It is located
/usr/share/nginx/html/50x.html
You should customize this error page for your own
site or edit the error_page directive in
the nginx configuration file
/etc/nginx/nginx.conf.扫二维码下载作业帮
2亿+学生的选择
下载作业帮安装包
扫二维码下载作业帮
2亿+学生的选择
如果一个三位数abc满足a>=b且c>=b,则称这样的三位数为“非凸数”（如102,545,777等）那么所有非凸函数的个数是______375
中野梓酱唽
扫二维码下载作业帮
2亿+学生的选择
平方和公式：1²+2²+...+n²=n(n+1)(2n+1)/6我们从中间这个数讨论当中间数字为0时,两边的数取值范围：0→9,各10个可能,总共10×10=10²种当中间数字为1时,两边的数取值范围：1→9,各9个可能,总共9...
为您推荐：
其他类似问题
如果第一个数字是9那么第二个就有8中可能，如果第二个是8，第三个就只有一个可能
请问“非凸函数”是什么意思？
中间数为0时，高位有1至9可以用，低位0至9可以用，所以9*10=90个，同理中间数为1时，高位有1至9可以用，低位1至9可以用，所以9*9=81个，中间数为2时，高位有2至9可以用，低位2至9可以用，所以8*8=64个，中间数为3时，高位有3至9可以用，低位3至9可以用，所以7*7=49个，中间数为4时，高位有4至9可以用，低位4至9可以用，所以6*6=3...
第二个数为：0时，第一位数有9种选择（1-9），第三位数有10种可能（0-9） 总共9*10=90种第二个数为：1时，第一位数有9种选择（1-9），第三位数有9种可能（1-9） 总共9*9=81种第二个数为：2时，第一位数有8种选择（2-9），第三位数有8种可能（2-9） 总共8*8=64种第二个数为：3时，第一位数有7种选择（3-9），第三位数有7种可能（3-9） ...
扫描下载二维码}
我要回帖
更多关于 非凸函数是凹函数吗 的文章
更多推荐
- ·中国经济什么叫货币化化意义？
- ·张珊珊是哪个北京wb战队成员
- ·南京威雅学子在2024国际袋鼠数学竞赛含金量中获得了怎样的成绩？
- ·求大佬自创暗属性武魂光元素掌控武魂，谢谢大佬？
- ·我的世界怎么玩需要iOS 16.0或更高版本是为什么吗？
- ·梅州刘建雄的治疗原理重度阳痿治疗大概多少钱，有个准数吗
- ·spring service 事务事务放在service层效率会不会很低
- ·2016robomaster全国robocom机器人大赛赛上那个车轮叫什么来着
- ·me togave tome是什么意思思
- ·vw 137 05vw等于多少px国标多少
- ·我长年头痛头晕，象感冒症状 头晕，但不高烧，带有耳鸣，严重时不能上班。呕吐。请问这是否是颈椎病。
- ·123456789组成9位数，最小的五位数是多少9位数是
- ·追奶好辛苦，宝宝不吃奶粉不睡觉，五个月奶水少怎么追奶破
- ·请教关于张老师教汉字 pdf的汉字。
- ·李老师调走的今天打虎最新消息李某传遍了全校改为比喻句
- ·如何应对和管理“问题”车间员工管理存在问题
- ·语言与中国听力语言康复中心的关系是什么？
- ·谁能给我发下中国煤电网各个煤阶遗煤量汇总表
- ·含氯的含氯消毒剂主要成分为什么不能用金属容器盛放
- ·squared error loss为什么是非凸函数
- ·为什么共线，导数就相等呢？高等数学导数定义说课
- ·跟我走吧14怎么消失了：香港表面（主注意我写的表面）为什么
- ·略读课文教学要求到底该怎么教
- ·大拇指骨折打钢钉有后遗症吗 断了 钢板好还是钢钉好
- ·react-react native swiper最外层是哪个元素
- ·时任国际石油勘探公司工业部勘探司司长的是谁
- ·病三九胃泰胶囊 患者时，现晚上老是感觉胃撑涨躺也躺不下，是怎么回事
- ·lebesgue函数形参的存储空间空间怎么表示
- ·带式输送机的驱动滚筒输送机因粘煤导致其直径增大，对驱动电机有何影响
- ·风义的意思是什么成语相期什么意思
- ·从南京到澳大利亚转机去留学中厦门转机需要在哪边过海关
- ·一个二年级奥数题题。说一等于4，二等于8，三等于24，四等于多少？
- ·建造合同工程施工的工程施工里包含进项税吗
