就语音识别和图像识别中的卷积神经网络来说有三点比较重要：1. 使用了 max{0, x} 作为非线性函数；类似于ReLU（Rectified Linear Units）。相比其它的非线性函数如Sigmoid/Tanh，这个函数不会在值较大的时候出现反向梯度的过度衰减。2. 使用了 max-pooling 作为采样函数。相比其它采样函数如 subsampling, average-pooling 而言有效抑制了反向梯度的衰减。3. 使用了 dropout 作为正则化（regularization）方法，也加大了数据扩增（data augmentation）技术的采用。实际数据中的过拟合得到了非常有效的控制。总之，优化过程中对梯度衰减的抑制使得直接训练深度神经网络变得可行。随着数据和计算量的增加，研究者们开始逐步使用更深更大的有监督学习网络。学界目前有个并不明显的坑，就是从输入到输出的层第（layer-wise）训练并不有效，不能带来特别深的网络（居然没有论文吐槽这一点！）。这可能是目前采用的自编码器（Auto-encoder）和稀疏目标本身的限制。我们并没有找到无监督深度学习的真正有效方式，学界也没有对无监督学习有效性的统一判断标准。
1. pre-training&br&2. optimization algorithm&br&3. regularization&br&4. architecture&br&5. more data
1. pre-training2. optimization algorithm3. regularization4. architecture5. more data
1 以前训练数据不够大，容易过拟合。现在发现大数据训练不易过拟合&br&2 以前的正则化方法不给力，现在发现了给力的。最成功的两个是dropout和relu。前者起到平均的效果，后者起到稀疏激活的效果，对性能改进十分可观。顺便说句，这俩技术的更好替代品有可能分别是drop connect和maxout&br&3 针对特定领域提出了特定结构的网络，这种特定连接结构是最为给力的正则化。例如图像这类数据，空间上相邻的像素高度相关。据此，卷积神经网络在传统结构上引入了滤波器组和多分辨率分析等在图像处理中源远流长的技术，取得了令人瞩目的结果&br&补充：人们一度以为unsupervised pretraining对深度学习的泛化性至关重要，但近两年工作表明同时满足以上123结果也很好，用不用unsupervised training似乎无所谓。这一技术仅在拿不到足够多的标注样本但有很多未标注样本时或许有用。
1 以前训练数据不够大，容易过拟合。现在发现大数据训练不易过拟合2 以前的正则化方法不给力，现在发现了给力的。最成功的两个是dropout和relu。前者起到平均的效果，后者起到稀疏激活的效果，对性能改进十分可观。顺便说句，这俩技术的更好替代品有可能分…
已有帐号？
无法登录？
社交帐号登录更多公众号：AItists关注人工智能领域科技与产业前沿进展,致力成为人工智能领域权威和有影响力的媒体最新文章对这篇文章不满意？您可以继续搜索：百度：搜狗：感谢您阅读[增加下载地址]《神经网络与深度学习》讲义，适合人工智能爱好者深入学习，本文由网友投稿产生，如果侵犯了您的相关权益，请联系管理员。QQ:“深度学习”和“多层神经网络”的区别_百度知道
“深度学习”和“多层神经网络”的区别
提问者采纳
指的是用了“BP算法”进行训练的“多层感知器模型”，Multilayer Perceptron）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上BP神经网络，可以解决任何线性不可分问题。 不要把算法和网络搞混了。 多层感知器（MLP
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁发送私信成功
为了尽快解决大伙儿的问题，请务必要找相对应的客服哦~
涨姿势：深度学习 vs 机器学习 vs 模式识别
15:49 && 浏览量（1098） &&
本文我们来关注下三个非常相关的概念（深度学习、机器学习和模式识别），以及他们与2015年最热门的科技主题（机器人和人工智能）的联系。
图1 人工智能并非将人放入一台计算机中（图片来源于&WorkFusion&的博客）
环绕四周，你会发现不缺乏一些初创的高科技公司招聘机器学习专家的岗位。而其中只有一小部分需要深度学习专家。我敢打赌，大多数初创公司都可以从最基本的数据分析中获益。那如何才能发现未来的数据科学家？你需要学习他们的思考方式。
三个与“学习”高度相关的流行词汇
模式识别（Pattern recognition）、机器学习（machine learning）和深度学习（deep learning）代表三种不同的思想流派。模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是非常崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。我们可以看下图所示的谷歌趋势图。可以看到：
1）机器学习就像是一个真正的冠军一样持续昂首而上；
2）模式识别一开始主要是作为机器学习的代名词；
3）模式识别正在慢慢没落和消亡；
4）深度学习是个崭新的和快速攀升的领域。
2004年至今三个概念的谷歌搜索指数（图来源于&谷歌趋势&）
1. 模式识别：智能程序的诞生
模式识别是70年代和80年代非常流行的一个术语。它强调的是如何让一个计算机程序去做一些看起来很“智能”的事情，例如识别“3”这个数字。而且在融入了很多的智慧和直觉后，人们也的确构建了这样的一个程序。例如，区分“3”和“B”或者“3”和“8”。早在以前，大家也不会去关心你是怎么实现的，只要这个机器不是由人躲在盒子里面伪装的就好（图2）。不过，如果你的算法对图像应用了一些像滤波器、边缘检测和形态学处理等等高大上的技术后，模式识别社区肯定就会对它感兴趣。光学字符识别就是从这个社区诞生的。因此，把模式识别称为70年代，80年代和90年代初的“智能”信号处理是合适的。决策树、启发式和二次判别分析等全部诞生于这个时代。而且，在这个时代，模式识别也成为了计算机科学领域的小伙伴搞的东西，而不是电子工程。从这个时代诞生的模式识别领域最著名的书之一是由Duda & Hart执笔的“模式识别（Pattern Classification）”。对基础的研究者来说，仍然是一本不错的入门教材。不过对于里面的一些词汇就不要太纠结了，因为这本书已经有一定的年代了，词汇会有点过时。
图2&一个字符“3”的图像被划分为16个子块
自定义规则、自定义决策，以及自定义“智能”程序在这个任务上，曾经都风靡一时。
小测试：计算机视觉领域最著名的会议叫CVPR，这个PR就是模式识别。你能猜出第一届CVPR会议是哪年召开的吗？
2. 机器学习：从样本中学习的智能程序
在90年代初，人们开始意识到一种可以更有效地构建模式识别算法的方法，那就是用数据（可以通过廉价劳动力采集获得）去替换专家（具有很多图像方面知识的人）。因此，我们搜集大量的人脸和非人脸图像，再选择一个算法，然后冲着咖啡、晒着太阳，等着计算机完成对这些图像的学习。这就是机器学习的思想。“机器学习”强调的是，在给计算机程序（或者机器）输入一些数据后，它必须做一些事情，那就是学习这些数据，而这个学习的步骤是明确的。相信我，就算计算机完成学习要耗上一天的时间，也会比你邀请你的研究伙伴来到你家然后专门手工得为这个任务设计一些分类规则要好。
图3&典型的机器学习流程（图来源于&博士的博客）
在21世纪中期，机器学习成为了计算机科学领域一个重要的研究课题，计算机科学家们开始将这些想法应用到更大范围的问题上，不再限于识别字符、识别猫和狗或者识别图像中的某个目标等等这些问题。研究人员开始将机器学习应用到机器人（强化学习，操控，行动规划，抓取）、基因数据的分析和金融市场的预测中。另外，机器学习与图论的联姻也成就了一个新的课题---图模型。每一个机器人专家都“无奈地”成为了机器学习专家，同时，机器学习也迅速成为了众人渴望的必备技能之一。然而，“机器学习”这个概念对底层算法只字未提。我们已经看到凸优化、核方法、支持向量机和Boosting算法等都有各自辉煌的时期。再加上一些人工设计的特征，那在机器学习领域，我们就有了很多的方法，很多不同的思想流派，然而，对于一个新人来说，对特征和算法的选择依然一头雾水，没有清晰的指导原则。但，值得庆幸的是，这一切即将改变……
延伸阅读：要了解更多关于计算机视觉特征的知识，可以看看原作者之前的博客文章：“ 从特征描述子到深度学习：计算机视觉的20年 ”。
3. 深度学习：一统江湖的架构
快进到今天，我们看到的是一个夺人眼球的技术---深度学习。而在深度学习的模型中，受宠爱最多的就是被用在大规模图像识别任务中的卷积神经网络（Convolutional Neural Nets，CNN），简称ConvNets。
图4&ConvNet框架（图来源于&）
深度学习强调的是你使用的模型（例如深度卷积多层神经网络），模型中的参数通过从数据中学习获得。然而，深度学习也带来了一些其他需要考虑的问题。因为你面对的是一个高维的模型（即庞大的网络），所以你需要大量的数据（大数据）和强大的运算能力（图形处理器，GPU）才能优化这个模型。卷积被广泛用于深度学习（尤其是计算机视觉应用中），而且它的架构往往都是非浅层的。
如果你要学习Deep Learning，那就得先复习下一些线性代数的基本知识，当然了，也得有编程基础。我强烈推荐Andrej Karpathy的博文：“ 神经网络的黑客指南 ”。另外，作为学习的开端，可以选择一个不用卷积操作的应用问题，然后自己实现基于CPU的反向传播算法。
对于深度学习，还存在很多没有解决的问题。既没有完整的关于深度学习有效性的理论，也没有任何一本能超越机器学习实战经验的指南或者书。另外，深度学习不是万能的，它有足够的理由能日益流行，但始终无法接管整个世界。不过，只要你不断增加你的机器学习技能，你的饭碗无忧。但也不要对深度框架过于崇拜，不要害怕对这些框架进行裁剪和调整，以得到和你的学习算法能协同工作的软件框架。未来的Linux内核也许会在Caffe（一个非常流行的深度学习框架）上运行，然而，伟大的产品总是需要伟大的愿景、领域的专业知识、市场的开发，和最重要的：人类的创造力。
其他相关术语
1）大数据（Big-data）：大数据是个丰富的概念，例如包含大量数据的存储，数据中隐含信息的挖掘等。对企业经营来说，大数据往往可以给出一些决策的建议。对机器学习算法而言，它与大数据的结合在早几年已经出现。研究人员甚至任何一个日常开发人员都可以接触到云计算、GPU、DevOps和PaaS等等这些服务。
2）人工智能（Artificial Intelligence）：人工智能应该是一个最老的术语了，同时也是最含糊的。它在过去50年里经历了几度兴衰。当你遇到一个说自己是做人工智能的人，你可以有两种选择：要么摆个嘲笑的表情，要么抽出一张纸，记录下他所说的一切。
延伸阅读：原作者2011的博客：“ 计算机视觉当属人工智能 ”。
关于机器学习的讨论在此停留（不要单纯的认为它是深度学习、机器学习或者模式识别中的一个，这三者只是强调的东西有所不同），然而，研究会继续，探索会继续。我们会继续构建更智能的软件，我们的算法也将继续学习，但我们只会开始探索那些能真正一统江湖的框架。
本文来自CMU的博士，MIT的博士后，vision.ai的联合创始人Tomasz Malisiewicz的个人博客文章。
& 收藏(2) 收藏 +1 已收藏 取消
& 推荐上头条 推荐 +1 推荐上头条 已推荐
文章上传作者
青青草的热门文章
开发者交流群：
DevStore技术交流群2：
运营交流群：
产品交流群：
深圳尺子科技有限公司
深圳市南山区蛇口网谷万海大厦C栋504
Copyright (C) 2015 DevStore. All Rights Reserved
DevStore用户登录
还没有DevStore帐号？
快捷登录：从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。 输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是 信号-&特征-&值。 特征是由网络自己选择。
没什么区别，是数年前几个大牛为了把学术界的目光重新转到神经网络上提出的新名词。&br&&br&当然，最近有一些深度学习背景下产生的新技巧新设计，但是本质没变
没什么区别，是数年前几个大牛为了把学术界的目光重新转到神经网络上提出的新名词。当然，最近有一些深度学习背景下产生的新技巧新设计，但是本质没变
如果要做事，想赶快入门，速度出活，请先死记住：&br&&b& 深度学习=多层的神经网络&/b&&br&如果要写论文，要作报告，要闲聊，请坚持一个原则：&br&&b&深度学习绝不仅仅是多层的神经网络。&/b&
如果要做事，想赶快入门，速度出活，请先死记住： 深度学习=多层的神经网络如果要写论文，要作报告，要闲聊，请坚持一个原则：深度学习绝不仅仅是多层的神经网络。
已有帐号？
无法登录？
社交帐号登录
爱数学 爱视觉 爱生活}