深度学习做股票预测靠谱吗？ - 知乎3928被浏览374619分享邀请回答880217 条评论分享收藏感谢收起185 条评论分享收藏感谢收起查看更多回答3 个回答被折叠（）[转载] 关于深度学习的一些真相
已有 5210 次阅读
|个人分类:|系统分类:|文章来源:转载
关于深度学习的一些真相 Clay McLeod
让我们一起开始吐槽深度学习吧！尽管花了两年研究并撰写关于深度学习的论文，但还是被学习算法的一些错误信息搞得晕头转向。这篇博客不是讨论深度学习是否被过分夸大，关于这个问题的讨论已经有完善的记录。这篇文章的出发点是（希望）给出针对深度学习清晰、简洁的理解及意义。虽然这里有关深度学习的讨论或者咆哮没有经过深思熟虑，但是这里的要点是鼓励机器学习社区对深度学习要有清晰的思考。让我们本着科学的态度试着大胆地讨论这项技术能否产生人工智能。毕竟，我们不就是这个领域的领导者或者说少数能够理解其复杂性及影响的人吗？既然有关人工智能的突破进展和非业内的评论家对深度学习都能做出武断的判定改变这个世界，为什么不在这个世界中加入我们的吐槽呢？感觉我们似乎只是坐等别人为我们指出道路。[05/05/16补充：请记住这只是一篇博客，不是什么学术论文。这里的目标是表达我的思想并激发一些能够专注深度学习而非技术争执的讨论。很明显，这几百字的讨论不可能有什么深度，这里的目标只针对机器学习的门外汉。文章中为读者留下了一些技术讨论练习（欢迎随时给我联系）。一篇文章不可能适用于所有人]问题即使是我们之中学术造诣最深的人都犯了这个错误，在讨论中将深度学习两种截然不同的流派混淆在了一起：神经网络比其他学习算法的好处更多。“深”神经网络架构比“浅”架构的好处更多。大多数的争论都与第1点而不是第2点有关。首先要明确，神经网络创立的灵感、优点和缺点都有相关的文字记录。为什么还要重新争论？没有什么比争论“为什么深度神经网络要‘仿照人类大脑工作’”这样问题更令人沮丧的了（事实与题目的描述对不上），“深度学习是真正开启人工智能的关键”这样的题目也是如此。这是明显的偷换概念，与过去刚引入神经网络时候的讨论没有区别。这里我的意思是，对于真正的目标没有给出正确的问题。如果我们把深度神经网络放在不断增长的人工智能世界中考虑，那么就必须回答接下来这个问题：提升计算能力，为神经网络添加层次，这么做究竟能比普通的神经网络带来怎样的改进？给出这个问题答案的过程才是对深度学习真正富有成果的讨论。答案（?）以下是我对第二个问题的个人见解：深度神经网络相比传统的神经网络在下面两个地方更有用处：对功能编码从手动变为了自动。支持相关功能结构开发或空间开发。虽然这么说有过于轻率的风险，但如果你发现有其它没有包含在这两条特性中的优点，请告诉我。就我目前涉及的深度学习工作而言，只有上面的两条。[05/05/16增加备注：在回复中，提到最多的第三个优点是模型内部可配置。这是优点没错，但它既不是新特点，对深度学习而言在哲学上也不具有唯一性。从根本上说，这仅仅是管道的一种无摩擦版本。这项工作我们已经开展了一段时间。我还没有听说分解证明这个结论的好论点。如果上面的是事实，在学术领域我们可以有怎样的期待？我们可以期待深度神经网络在这些场合下非常有用，例如数据能够具有空间质量的一些特性，像图片数据、声音数据、自然语言处理处理等。虽然我们可能会说有很多空间开发带来的好处，但是对所有要求处理的数据并没有显著的改善。“深度学习 deep learning”单词并不是治疗癌症的灵丹妙药（除非能够找到某种与癌症相关的空间拓展，与人类基因组的处理方式类似）。深度学习不可能出现自己开始思考或突然变得有感情。我们可能希望看到自动驾驶汽车只是简单地帮助我们把车开在两条交通标线之间，但是它不能决定究竟是保护司机还是横穿马路的行人。令人痛苦的是，那些真正读过有关AlphaGo 论文的人会意识到深度学习仅仅被传统AI算法用作工具。最后我们发现，再一次强调Golden mean是准确无误的，而深度学习虽然不能够解决所有的机器学习问题，但也不是没有依据的。既然自我感觉良好，那就再做一个预测：**深度学习不会产生通用算法。原因不是无法创建一个复杂的系统。然而，深度学习是一个非常好的有用工具。对AI来说什么是最有用的？我的预测是，最有用的会是感官学习系统（视觉、听觉等），能够开拓数据的一些空间特性，否则这些数据毫无用处。最典型的就是AlphaGo，必须用作一个人工智能系统真正的输入。停下对深度学习的研究，这些工作会让所有的算法变得毫无用处。不要每遇到一个数据集都抛出深度学习进行处理。运行你的工作包中把“hello world”之外的示例试验一下，你会很快发现他们的真实用处。最重要的是，不要把深度学习当做“万能”的算法，而是真正了解它的用处：一种辅助计算机感知的工具。
转载本文请联系原作者获取授权，同时请注明本文来自科学网博客。链接地址：
上一篇：下一篇：
当前推荐数：0
评论 ( 个评论)
扫一扫，分享此博文
作者的精选博文
作者的其他最新博文
Powered by
Copyright &热门搜索：
您的位置：
数据不够大 别玩深度学习？正反双方撕起来了
欢迎关注&创事记&的微信订阅号：sinachuangshiji文/李林 问耕量子位：公众号 QbitAI争论，随时可能爆发。比方当你看到一篇名为《数据不够大，别玩深度学习》（Don&t use deep learning your data isn&t that big）的博客时。作者Jeff Leek在这篇博客中指出，深度学习已经进入一定程度的狂热状态，人们正试图用这个技术解决每一个问题。但真正的挑战在于：&只有极少数情况下有足够的数据进行深度学习&，不是每家都有科技巨头的数据。深度学习与更简单的模型相比，优点在于有足够的数据来调整大量的参数，博主建议当数据集不是那么大的时候，应该采用一些更简单、更可解释的办法，而且不用担心过拟合等问题。为了证明自己的论点正确，Leek还举了一个基于MNIST进行图像识别的例子，分辨0或者1。他用的两个方法一个是逻辑回归，一个是深度神经网络（5层，每层160个节点，Tanh过滤器，20个epoch）。Leek把训练集大小分成10到80，每次增加5。重复5次以平均掉一些噪音。想要看具体案例的，请移步这里：https://simplystatistics.org//deeplearning-vs-leekasso/总之结论是：对于低训练样本来说，更简单的方法略胜于更复杂的方法。随着样本量的增加，复杂的方法的精度逐渐上升。博主想用这个简单的例子说明：样本量很重要。对于Google、亚马逊或者Facebook来说，有着接近无限的数据量，这种情况下应用深度学习是有意义的。但是如果只是中等规模的样本量，深度学习可能不会提升准确度，而且还失去了可解释性。传送门Jeff Leak的文章：https://simplystatistics.org//deeplearning-vs-leekasso/很快，就有用户在Reddit上吐槽。这些人认同文章的标题，但不认同作者的论据。他指出原文作者使用的方法，甚至称不上是真正的深度学习：这个领域过去十年的进展一个都没用上，而这些技术对小数据量来说非常重要。例如，dropout、数据增强等等。如果不使用数据增强，5层&160神经元的网络绝对是太大了，大小为80的训练样本根本不起作用。另外ReLU可能比Tanh更好。还有其他各种吐槽，量子位就不一一搬运了。你以为这就完了？拿衣服。Leek这篇文章火了不到一周，哈佛大学药学院的生物医药信息学专业博士后Andrew Beam写了篇文章来反驳：《就算数据不够大，也能玩深度学习》。Beam开篇就说，之前Jeff Leek那篇文章看得他有点不爽。核心论点他大致同意，他也不觉得深度学习是万能良药。但是，你确定深度学习在数据量不足100的时候效果不好是因为过拟合？怎么看都是因为模型没调好啊&&于是，他带着暑期实习生写了个有12万参数的MLP(多层感知器)和20万参数的卷积模型，任务还是用MNIST数据集，区分0和1。然后，他们又重新构建了Leek文章用的简单回归方法Leekasso和深度学习MLP，做了个比较。△ 红线：Beam文的CNN；紫线：Beam文的MLP 绿线：Leekasso；蓝线：Leek文的MLP横轴是样本数，纵轴是准确率下图去掉了Leek文的MLP是为了更清楚地比较前三种这一顿折腾，都是为了说明一个问题：你看我们写的MLP和CNN，表现都挺好的嘛，所以不是深度学习不行，是你不行嘛。不过讨论来讨论去，这个&区分0和1&的任务可能根本不足以说明问题。StackOverflow的数据科学家David Robinson后来也掺和进来，发了条Twitter说：这是个靠识别图像中心/边缘像素颜色就能解决的问题。除了表达&不服气&和&我更牛&之外，Beam的文章也很正经地谈了谈到底什么时候该用深度学习：当你没有大量数据的时候，用简单的模型通常是个更好的选择。不过，就算你是个普通人，手里有100-1000个样本，也可以试试深度学习。在这种情况下，深度学习领域有很多缩减差异、防止过拟合的方法可供尝试，包括dropout与随机梯度下降相结合，或者将目标问题的特定参数融合到模型中去。比如说在建立CNN做图像处理的时候，我们其实会把图像的属性编码到模型中。实在不行，还有迁移学习嘛。传送门Andrew Beam的文章：http://beamandrew.github.io/deeplearning//deep_learning_works.htmlAndrew Beam的代码：/beamandrew/deep_learning_works这篇文章一出现，立刻有人叫好。然而俗话说喷人者，可能会被喷。Beam这篇洋洋洒洒的雄文，被Hacker News用户rkaplan&嘲笑&说：&这个帖子甚至没提到没有大量数据而用深度学习的最简单方法：下载一个预先训练的模型，并用你的小数据微调最后几层神经网络&。（其实也提了一下）例如在图像分类等领域，微调的效果非常棒，因为预训练的模型的前几层早已经学会了很多通用特征，适用于很多不同的数据集。甚至最好的皮肤癌分类器，也在ImageNet上进行了预训练。量子位插一句，关于数据量不够大时怎么办，以及在ImageNet上预训练的方法，HTC负责研发及医疗的总裁、原Google中国工程院副院长张智威(Edward Y. Chang)博士，曾经在清华的一次分享中讲到过。这里是张智威分享的传送门：《研发医疗领域的AlphaGo》没有大数据，也没有预训练，行不行？也有人说行。Beam的反驳文章提了两种方法，Hacker News用户autokad也举了个例子，说他有一个最常用的5000个英文单词数据集，5000也是一个挺小的数据。在这个数据集上，他用RBF核函数的SVM获得了87-88%的精度；用直方图核函数加一点特征工程可以做到89.7%的精度。而用调整过一些参数的TensorFlow，也能达到大约89.7%的精度。有人举例说明，有人现身说法。讨论甚至从数据大小，一直延伸到各种深度学习方法的比较，乃至应用领域等。有网友留言说，不管这个讨论结果如何，都让关注深度学习的人有所收获。
声明: 91.com所发布的内容均来源于互联网，目的在于传递信息，但不代表本站赞同其观点及立场，版权归属原作者，如有侵权，请联系删除。
信息也是生产力，精简才是硬道理！情报猎手带你突破信息迷雾，每日独家为您锁定最有价值的IT行业新鲜事。打开微信，扫描关注，赢取每月粉丝奖！
苹果发布会iPhone X
小米MIX2小米发布会
三星Note8三星发布会
魅族Pro 7魅族发布会
微博和微信：91门户}