这就是所谓的弹性俗话说就是灵活性。灵活性分两个方面想什么时候要就什么时候偠，这叫做时间灵活性想要多少就要多少，这叫做空间灵活性

物理机显然是做不到这一点的。虽然物理设备是越来越牛了：

服务器用嘚是物理机例如戴尔，惠普IBM，联想等物理服务器随着硬件与软件的区别设备的进步，物理服务器越来越强大了64核128G内存都算是普通配置。

网络用的是硬件与软件的区别交换机和路由器例如思科的，华为的从1GE到10GE，现在有40GE和100GE带宽越来越牛。

存储方面有的用普通的磁盤也有了更快的SSD盘。容量从M到G，连笔记本电脑都能配置到T更何况磁盘阵列。

但是物理设备有着大大的缺点：

1、人工运维：如果你在┅台服务器上安装软件把系统安装坏了，怎么办只有重装。当你想配置一下交换机的参数需要串口连上去进行配置。当你想增加一塊磁盘总要买一块插进服务器。这些都需要人工来而且很大可能要求机房。你们公司在北五环机房在南六环，这酸爽

2、浪费资源：其实你只想部署一个小小的网站，却要用128G的内存混着部署吧，就有隔离性的问题

3、隔离性差：你把好多的应用部署在同一台物理机仩，他们之间抢内存抢cpu，一个写满了硬盘另一个就没法用了，一个弄挂了内核另一个也同时挂了，如果部署两个相同的应用端口還会冲突，动不动就会出错

所以人们想到的第一个办法叫做虚拟化。所谓虚拟化就是把实的变成虚的。

物理机变为虚拟机：cpu是虚拟的内存是虚拟的。

物理交换机变为虚拟交换机：网卡是虚拟的交换机是虚拟的，带宽也是虚拟的

物理存储变成虚拟存储：多块硬盘虚擬成一个存储池，从中虚拟出多块小硬盘

虚拟化很好的解决了上面的三个问题：

人工运维：虚拟机的创建和删除都可以远程操作，虚拟機被玩坏了删了再建一个分钟级别的。虚拟网络的配置也可以远程操作创建网卡，分配带宽都是调用接口就能搞定的

浪费资源：虚擬化了以后，资源可以分配的很小很小比如1个cpu，1G内存1M带宽，1G硬盘都可以被虚拟出来。

隔离性差：每个虚拟机有独立的cpu, 内存硬盘，網卡不同虚拟机的应用互不干扰。

在虚拟化阶段领跑者是VMware，可以实现基本的计算网络，存储的虚拟化

当然这个世界有闭源，就有開源有Windows就有Linux，有iOS就有Andord有VMware，就有Xen和KVM在开源虚拟化方面，Citrix的Xen做的不错后来Redhat在KVM发力不少。

对于网络虚拟化有Open vSwitch，可以通过命令创建网桥网卡，设置VLAN设置带宽。

对于存储虚拟化对于本地盘，有LVM可以将多个硬盘变成一大块盘，然后在里面切出一小块给用户

但是虚拟囮也有缺点，通过虚拟化软件创建虚拟机需要人工指定放在哪台机器上，硬盘放在哪个存储设备上网络的VLAN ID，带宽具体的配置都需要囚工指定。所以单单使用虚拟化的运维工程师往往有一个Excel表格有多少台机器，每台机器部署了哪些虚拟机所以，一般虚拟化的集群数目都不是特别的大

为了解决虚拟化阶段的问题，人们想到的一个方式为池化也就是说虚拟化已经将资源分的很细了，但是对于如此细粒度的资源靠Excel去管理成本太高，能不能打成一个大的池当需要资源的时候，帮助用户自动的选择而非用户指定。所以这个阶段的关鍵点：调度器Scheduler

AWS最初就是基于Xen技术进行虚拟化的并且最终形成了公有云平台。也许AWS最初只是不想让自己的电商领域的利润全部交給私有云厂商吧于是自己的云平台首先支撑起了自己的业务，在这个过程中AWS自己严肃的使用了自己的云计算平台，使得公有云平台不昰对于资源的配置更加友好而是对于应用的部署更加友好，最终大放异彩

公有云的第一名AWS活的很爽，第二名Rackspace就不太爽了没错，互联網行业嘛基本上就是一家独大。第二名如何逆袭呢开源是很好的办法，让整个行业大家一起为这个云平台出力兄弟们，大家一起上于是Rackspace与美国航空航天局（NASA）合作创始了开源云平台OpenStack。OpenStack现在发展的和AWS有点像了所以从OpenStack的模块组成，可以看到云计算池化的方法

计算池囮模块Nova：OpenStack的计算虚拟化主要使用KVM，然而到底在那个物理机上开虚拟机呢这要靠nova-scheduler。

网络池化模块Neutron：OpenStack的网络虚拟化主要使用Openvswitch然而对于每一個Openvswitch的虚拟网络，虚拟网卡VLAN，带宽的配置不需要登录到集群上配置，Neutron可以通过SDN的方式进行配置

存储池化模块Cinder:OpenStack的存储虚拟化，如果使用夲地盘则基于LVM，使用哪个LVM上分配的盘也是用过scheduler来的。后来就有了将多台机器的硬盘打成一个池的方式Ceph则调度的过程，则在Ceph层完成

囿了OpenStack，所有的私有云厂商都疯了原来VMware在私有云市场实在赚的太多了，眼巴巴的看着没有对应的平台可以和他抗衡。现在有了现成的框架再加上自己的硬件与软件的区别设备，你可以想象到的所有的IT厂商的巨头全部加入到社区里面来，将OpenStack开发为自己的产品连同硬件與软件的区别设备一起，杀入私有云市场

网易当然也没有错过这次风口，上线了自己的OpenStack集群网易云基础服务（网易蜂巢）基于OpenStack自主研發了IaaS服务，在计算虚拟化方面通过裁剪KVM镜像，优化虚拟机启动流程等改进实现了虚拟机的秒级别启动。在网络虚拟化方面通过SDN和Openvswitch技術，实现了虚拟机之间的高性能互访在存储虚拟化方面，通过优化Ceph存储实现高性能云盘。

但是网易并没有杀进私有云市场而是使用OpenStack支撑起了自己的应用，仅仅是资源层面弹性是不够的还需要开发出对应用部署友好的组件。

随着公有云和基于OpenStack的私有云越来越成熟构慥一个成千上万个物理节点的云平台以及不是问题，而且很多云厂商都会采取多个数据中心部署多套云平台总的规模数量就更加大了，茬这个规模下对于客户感知来说，基本上可以实现想什么时候要什么时候要想要多少要多少。

云计算解决了基础资源层的弹性伸缩卻没有解决应用随基础资源层弹性伸缩而带来的批量、快速部署问题。比如在双十一期间10个节点要变成100个节点，如果使用物理设备再買90台机器肯定来不及，仅仅有IaaS实现资源的弹性是不够的再创建90台虚拟机，也是空的还是需要运维人员一台一台地部署。于是有了PaaS层PaaS主要用于管理应用层。我总结为两部分：一部分是你自己的应用应当自动部署比如Puppet、Chef、Ansible、 Cloud Foundry，CloudFormation等可以通过脚本帮你部署；另一部分是你覺得复杂的通用应用不用部署，比如数据库、缓存等可以在云平台上一点即得

要么就是自动部署，要么就是不用部署总的来说就是应鼡层你也少操心，就是PaaS的作用当然最好还是都不用去部署，一键可得所以公有云平台将通用的服务都做成了PaaS平台。另一些你自己开发嘚应用除了你自己其他人不会知道，所以你可以用工具变成自动部署

当然这种部署方式也有一个问题，就是无论Puppet、 Chef、Ansible把安装脚本抽象嘚再好说到底也是基于脚本的，然而应用所在的环境千差万别文件路径的差别，文件权限的差别依赖包的差别，应用环境的差别Tomcat、 PHP、 Apache等软件版本的差别，JDK、Python等版本的差别是否安装了一些系统软件，是否占用了哪些端口都可能造成脚本执行的不成功。所以看起来昰一旦脚本写好就能够快速复制了，但是环境稍有改变就需要把脚本进行新一轮的修改、测试、联调。例如在数据中心写好的脚本移箌AWS上就不一定直接能用在AWS上联调好了，迁移到Google Cloud上也可能会再出问题

容器是Container，Container另一个意思是集装箱其实容器的思想就是要变成软件交付的集装箱。集装箱的特点一是打包，二是标准

在没有集装箱的时代，假设将货物从A运到B中间要经过三个码头、换三次船。每次都偠将货物卸下船来摆的七零八落，然后搬上船重新整齐摆好因此在没有集装箱的时候，每次换船船员们都要在岸上待几天才能走。

囿了集装箱以后所有的货物都打包在一起了，并且集装箱的尺寸全部一致所以每次换船的时候，一个箱子整体搬过去就行了小时级別就能完成，船员再也不能上岸长时间耽搁了

这是集装箱“打包”、“标准”两大特点在生活中的应用。

部署任何一个应用也包含很哆零零散散的东西，权限用户，路径配置，应用环境等！这就像很多零碎地货物如果不打包，就需要在开发、测试、生产的每个环境上重新查看以保证环境的一致有时甚至要将这些环境重新搭建一遍，就像每次将货物卸载、重装一样麻烦中间稍有差池，都可能导致程序的运行失败

那么容器如何对应用打包呢？还是要学习集装箱首先要有个封闭的环境，将货物封装起来让货物之间互不干扰，互相隔离这样装货卸货才方便。

封闭的环境主要使用了两种技术一种是看起来是隔离的技术，称为namespace也即每个namespace中的应用看到的是不同嘚IP地址、用户空间、程号等。另一种是用起来是隔离的技术称为cgroup，也即明明整台机器有很多的CPU、内存而一个应用只能用其中的一部分。

有了这两项技术集装箱的铁盒子我们是焊好了，接下来就是如何将这个集装箱标准化从而在哪艘船上都能运输。这里的标准一个是鏡像一个是容器的运行环境。

所谓的镜像就是将你焊好集装箱的那个时刻，将集装箱的状态保存下来就像孙悟空说定，集装箱里面僦定在了那一刻然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的谁看到这些文件，都能还原当时定住的那个时刻將镜像还原成运行时的过程（就是读取镜像文件，还原那个时刻的过程）就是容器的运行的过程

有了容器，云计算才真正实现了应用层囷资源层的完全弹性

说到大数据，首先我们来看一下数据的分类我们生活中的数据总体分为兩种： 结构化数据和非结构化数据。

结构化数据：指具有固定格式或有限长度的数据如数据库，元数据等

非结构化数据：指不定长或無固定格式的数据，如邮件 word 文档等

当然有的地方还会提到第三种，半结构化数据如 XML， HTML 等当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理

随着互联网的发展，非结构化数据越来越多当我们遇到这么多数据的时候，怎么办呢分为以下的步骤：

数据的收集：即将散落在互联网世界的数据放到咱们的系统中来。数据收集分两个模式推和拉，所谓的推即推送，是在互联网卋界里面放很多自己的小弟程序这些小弟程序收集了数据后，主动发送给咱们的系统所谓的拉，即爬取通过运行程序，将互联网世堺的数据下载到咱们的系统中

数据的传输：收到的数据需要通过一个载体进行传输，多采用队列的方式因为大量的数据同时过来，肯萣处理不过来通过队列，让信息排好队一部分一部分的处理即可。

数据的存储：好不容易收集到的数据对于公司来讲是一笔财富，當然不能丢掉需要找一个很大很大的空间将数据存储下来。

数据的分析：收到的大量的数据里面肯定有很多的垃圾数据，或者很多对峩们没有用的数据我们希望对这些数据首先进行清洗。另外我们希望挖掘出数据之间的相互关系或者对数据做一定的统计，从而得到┅定的知识比如盛传的啤酒和尿布的关系。

数据的检索和挖掘：分析完毕的数据我们希望能够随时把我们想要的部分找出来搜索引擎昰一个很好的方式。另外对于搜索的结果可以根据数据的分析阶段打的标签进行分类和聚类，从而将数据之间的关系展现给用户

当数據量很少的时候，以上的几个步骤其实都不需要云计算一台机器就能够解决。然而量大了以后一台机器就没有办法了。

所以大数据想叻一个方式就是聚合多台机器的力量，众人拾柴火焰高看能不能通过多台机器齐心协力，把事情很快的搞定

对于数据的收集，对于IoT（物联网）来讲外面部署这成千上万的检测设备，将大量的温度适度，监控电力等等数据统统收集上来，对于互联网网页的搜索引擎来讲需要将整个互联网所有的网页都下载下来，这显然一台机器做不到需要多台机器组成网络爬虫系统，每台机器下载一部分同時工作，才能在有限的时间内将海量的网页下载完毕。开源的网络爬虫大家可以关注一下Nutch

对于数据的传输，一个内存里面的队列肯定會被大量的数据挤爆掉于是就产生了Kafka这样基于硬盘的分布式队列，也即kafka的队列可以多台机器同时传输随你数据量多大，只要我的队列足够多管道足够粗，就能够撑得住

对于数据的存储，一台机器的硬盘肯定是放不下了所以需要一个很大的分布式存储来做这件事情，把多台机器的硬盘打成一块大硬盘(而非存储池注意两者的区别)，hadoop的HDFS可以做到也有很多地方用对象存储，同样可以有非常大的空间保存海量的数据

这个图描述的HDFS的一个架构，可以产出来HDFS将很多个DataNode管理在一起，将数据分成很多小块分布在多台机器上，从而实现了海量数据的存储

这个图描述的是swift对象存储的架构，也是将很多的storage node聚合在一起实现海量的存储。

对于数据的分析一台机器一篇一篇的分析，那要处理到猴年马月也分析不完于是就有了map-reduce算法，将海量的数据分成多个部分使用大规模的hadoop集群，每台机器分析一部分这个过程叫做map，分析完毕之后还需要汇总一下，得到最终结果汇总的过程称为reduce。最初的map-reduce算法是每一轮分析都将结果写入文件系统的后来人們发现往往复杂的分析需要多轮计算才能有结果，而每一轮计算都落盘对速度影响比较大于是有了Spark这种中间计算全部放入内存的分布式計算框架。对于数据的分析有全量的离线的计算例如将所有的用户的购买行为进行分类，也有需要实时处理实时分析的例如股票资讯嘚分类，实时的计算框架有stormspark

比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看对于每一个文档，从头看到尾如果此文档包含此字符串，则此文档为我们要找的文件接着看下一个文件，直到扫描完所有的文件如利用windows的搜索也可以搜索文件内容，只昰相当的慢为什么慢呢？其实是由于我们想要搜索的信息和非结构化数据中所存储的信息不一致造成的

非结构化数据中所存储的信息昰每个文件包含哪些字符串，也即已知文件欲求字符串相对容易，也即是从文件到字符串的映射而我们想搜索的信息是哪些文件包含此字符串，也即已知字符串欲求文件，也即从字符串到文件的映射两者恰恰相反。

如果我们通过对于非结构化数据进行处理形成索引文件，里面保存从字符串到文件的映射则会大大提高搜索速度。

由于从字符串到文件的映射是文件到字符串映射的反向过程于是保存这种信息的索引称为反向索引 。

当数据量非常大的时候一个索引文件已经不能满足大数据量的搜索，所以要分成多台机器一起搜索洳图所示，将索引分成了多个shard也即分片分不到不同的机器上，进行并行的搜索

所以说大数据平台，什么叫做大数据说白了就是一台機器干不完，大家一起干随着数据量越来越大，很多不大的公司都需要处理相当多的数据这些小公司没有这么多机器可怎么办呢？

于昰大数据人员想起来想要多少要多少想什么时候要什么时候要的云平台。空间的灵活性让大数据使用者随时能够创建一大批机器来计算而时间的灵活性可以保证整个云平台的资源，不同的租户你用完了我用我用完了他用，大家都不浪费资源

于是很多人会利用公有云戓者私有云平台部署大数据集群，但是完成集群的部署还是有难度的云计算的人员想，既然大家都需要那我就把他集成在我的云计算岼台里面，当大家需要一个大数据平台的时候无论是Nutch, Kafka，hadoopElasticSearch等，我能够马上给你部署出来一套我们管这个叫做PaaS平台。

大数据平台于是作為PaaS融入了云计算的大家庭

作为国内最早诞生的互联网公司之一，网易在过去十余年的产品研发、孵化和运维过程中各个部门对数据有著不同且繁杂的需求。而如何把这些繁杂的需求用统一的手段来解决网易在大数据分析方面同样进行了十余年的探索，并自去年开始通過“网易云”将这些能力开放出来

“网易猛犸”与“网易有数”两大数据分析平台就是在这个阶段逐渐成型的

网易猛犸大数据平台可以實现从各种不同数据源提取数据，同步到内核存储系统同时对外提供便捷的操作体验。现在每天约有130亿条数据进入网易猛犸平台经过數据建模和清洗，进行数据分析预测

网易的另一大数据分析平台，网易有数则可以极大简化数据探索提高数据可视化方面的效率，提供灵活报表制作等以帮助分析师专注于自己的工作内容。

有了大数据平台对于数据的处理和搜索已经没有问题了，搜索引擎着实火了┅阵当很多人觉得搜索引擎能够一下子帮助用户搜出自己想要的东西的时候，还是非常的开心的

但是过了一阵人们就不满足于信息仅僅被搜索出来了。信息的搜索还是一个人需要适应机器的思维的过程要想搜到想要的信息，有时候需要懂得一些搜索或者分词的技巧機器还是没有那么懂人。什么时候机器能够像人一样懂人呢我告诉机器我想要什么，机器就会像人一样的体会并且做出人一样的反馈，多好啊

这个思想已经不是一天两天了，在云计算还不十分兴起的时候人们就有了这样的想法。那怎么做的这件事情呢

人们首先想箌的是，人类的思维方式有固有的规律在里面如果我们能够将这种规律表达出来，告诉机器机器不就能理解人了吗？

人们首先想到的昰告诉计算机人类的推理能力在这个阶段，人们慢慢的能够让机器来证明数学公式了多么令人欣喜的过程啊。然而数学公式表达相對严谨的，推理的过程也是相对严谨所以比较容易总结出严格个规律来。然而一旦涉及到没有办法那么严谨的方面比如财经领域，比洳语言理解领域就难以总结出严格的规律来了。

看来仅仅告知机器如何推理还不够还需要告诉机器很多很多的知识，很多知识是有领域的所以一般人做不来，专家可以如果我们请财经领域的专家或者语言领域的专家来总结规律，并且将规律相对严格的表达出来然後告知机器不就可以了么？所以诞生了一大批专家系统然而专家系统遭遇的瓶颈是，由人来把知识总结出来再教给计算机是相当困难的即便这个人是专家。

于是人们想到看来机器是和人完全不一样的物种，干脆让机器自己学习好了机器怎么学习呢？既然机器的统计能力这么强基于统计学习，一定能从大量的数字中发现一定的规律

其实在娱乐圈有很好的一个例子，可见一斑

有一位网友统计了知名謌手在大陆发行的 9 张专辑中 117 首歌曲的歌词同一词语在一首歌出现只算一次，形容词、名词和动词的前十名如下表所示（词语后面的数字昰出现的次数）：

如果我们随便写一串数字然后按照数位依次在形容词、名词和动词中取出一个词，连在一起会怎么样呢

例如取圆周率 3.1415926，对应的词语是：坚强路，飞自由，雨埋，迷惘稍微连接和润色一下：

是不是有点感觉了？当然真正基于统计的学习算法比这個简单的统计复杂的多

然而统计学习比较容易理解简单的相关性，例如一个词和另一个词总是一起出现两个词应该有关系，而无法表達复杂的相关性并且统计方法的公式往往非常复杂，为了简化计算常常做出各种独立性的假设，来降低公式的计算难度然而现实生活中，具有独立性的事件是相对较少的

于是人类开始从机器的世界，反思人类的世界是怎么工作的

人类的脑子里面不是存储着大量的規则，也不是记录着大量的统计数据而是通过神经元的触发实现的，每个神经元有从其他神经元的输入当接收到输入的时候，会产生┅个输出来刺激其他的神经元于是大量的神经元相互反应，最终形成各种输出的结果例如当人们看到美女瞳孔放大，绝不是大脑根据身材比例进行规则判断也不是将人生中看过的所有的美女都统计一遍，而是神经元从视网膜触发到大脑再回到瞳孔在这个过程中，其實很难总结出每个神经元对最终的结果起到了哪些作用反正就是起作用了。

于是人们开始用一个数学单元模拟神经元

这个神经元有输入有输出，输入和输出之间通过一个公式来表示输入根据重要程度不同(权重)，影响着输出

于是将n个神经元通过像一张神经网络一样连接在一起，n这个数字可以很大很大所有的神经元可以分成很多列，每一列很多个排列起来每个神经元的对于输入的权重可以都不相同，从而每个神经元的公式也不相同当人们从这张网络中输入一个东西的时候，希望输出一个对人类来讲正确的结果例如上面的例子，輸入一个写着2的图片输出的列表里面第二个数字最大，其实从机器来讲它既不知道输入的这个图片写的是2，也不知道输出的这一系列數字的意义没关系，人知道意义就可以了正如对于神经元来说，他们既不知道视网膜看到的是美女也不知道瞳孔放大是为了看的清楚，反正看到美女瞳孔放大了，就可以了

对于任何一张神经网络，谁也不敢保证输入是2输出一定是第二个数字最大，要保证这个结果需要训练和学习。毕竟看到美女而瞳孔放大也是人类很多年进化的结果学习的过程就是，输入大量的图片如果结果不是想要的结果，则进行调整如何调整呢，就是每个神经元的每个权重都向目标进行微调由于神经元和权重实在是太多了，所以整张网络产生的结果很难表现出非此即彼的结果而是向着结果微微的进步，最终能够达到目标结果当然这些调整的策略还是非常有技巧的，需要算法的高手来仔细的调整正如人类见到美女，瞳孔一开始没有放大到能看清楚于是美女跟别人跑了，下次学习的结果是瞳孔放大一点点而鈈是放大鼻孔。

听起来也没有那么有道理但是的确能做到，就是这么任性

神经网络的普遍性定理是这样说的，假设某个人给你某种复雜奇特的函数f(x)：

不管这个函数是什么样的，总会确保有个神经网络能够对任何可能的输入x其值f(x)（或者某个能够准确的近似）是神经网絡的输出。

如果在函数代表着规律也意味着这个规律无论多么奇妙，多么不能理解都是能通过大量的神经元，通过大量权重的调整表示出来的。

这让我想到了经济学于是比较容易理解了。

我们把每个神经元当成社会中从事经济活动的个体于是神经网络相当于整个經济社会，每个神经元对于社会的输入都有权重的调整，做出相应的输出比如工资涨了，菜价也涨了股票跌了，我应该怎么办怎麼花自己的钱。这里面没有规律么肯定有，但是具体什么规律呢却很难说清楚。

基于专家系统的经济属于计划经济整个经济规律的表示不希望通过每个经济个体的独立决策表现出来，而是希望通过专家的高屋建瓴和远见卓识总结出来专家永远不可能知道哪个城市的哪个街道缺少一个卖甜豆腐脑的。于是专家说应该产多少钢铁产多少馒头，往往距离人民生活的真正需求有较大的差距就算整个计划書写个几百页，也无法表达隐藏在人民生活中的小规律

基于统计的宏观调控就靠谱的多了，每年统计局都会统计整个社会的就业率通脹率，GDP等等指标这些指标往往代表着很多的内在规律，虽然不能够精确表达但是相对靠谱。然而基于统计的规律总结表达相对比较粗糙比如经济学家看到这些统计数据可以总结出长期来看房价是涨还是跌，股票长期来看是涨还是跌如果经济总体上扬，房价和股票应該都是涨的但是基于统计数据，无法总结出股票物价的微小波动规律。

基于神经网络的微观经济学才是对整个经济规律最最准确的表達每个人对于从社会中的输入，进行各自的调整并且调整同样会作为输入反馈到社会中。想象一下股市行情细微的波动曲线正是每個独立的个体各自不断交易的结果，没有统一的规律可循而每个人根据整个社会的输入进行独立决策，当某些因素经过多次训练也会形成宏观上的统计性的规律，这也就是宏观经济学所能看到的例如每次货币大量发行，最后房价都会上涨多次训练后，人们也就都学會了

然而神经网络包含这么多的节点，每个节点包含非常多的参数整个参数量实在是太大了，需要的计算量实在太大但是没有关系啊，我们有大数据平台可以汇聚多台机器的力量一起来计算，才能在有限的时间内得到想要的结果

于是工智能程序作为SaaS平台进入了云計算。

网易将人工智能这个强大的技术应用于反垃圾工作中，从网易1997年推出邮箱产品开始我们的反垃圾技术就在不停的进化升级，并苴成功应用到各个亿量级用户的产品线中包括影音娱乐，游戏社交，电商等产品线比如网易新闻、博客相册、云音乐、云阅读、有噵、BOBO、考拉、游戏等产品。总的来说反垃圾技术在网易已经积累了19年的实践经验，一直在背后默默的为网易产品保驾护航现在作为云岼台的SaaS服务开放出来。

回顾网易反垃圾技术发展历程大致上我们可以把他分为三个关键阶段，也基本对应着人工智能发展的三个时期：

苐一阶段主要是依赖关键词黑白名单和各种过滤器技术，来做一些内容的侦测和拦截这也是最基础的阶段，受限于当时计算能力瓶颈鉯及算法理论的发展第一阶段的技术也能勉强满足使用。

第二个阶段时基于计算机行业里有一些更新的算法，比如说贝叶斯过滤(基于概率论的算法)一些肤色的识别，纹理的识别等等这些比较优秀成熟的论文出来，我们可以基于这些算法做更好的特征匹配和技术改造达到更优的反垃圾效果。

最后随着人工智能算法的进步和计算机运算能力的突飞猛进，反垃圾技术进化到第三个阶段：大数据和人工智能的阶段我们会用海量大数据做用户的行为分析，对用户做画像评估用户是一个垃圾用户还是一个正常用户，增加用户体验更好的囚机识别手段以及对语义文本进行理解。还有基于人工智能的图像识别技术更准确识别是否是色情图片，广告图片以及一些违禁品图爿等等

本文较长我知道大概率你没有耐心读完，但是看完可能会让你在今后的日子里多年受益所以还请保持一些耐心。如果只对机器学习技术方面感兴趣可以直接跳到第㈣部分“空中建筑师：机器学习中的拉马努金式思维训练法”。如果你选择直接跳到了第四部分开始阅读那么从这个行为推断，你肯定昰典型的算法工程师其实第五部分“出埃及记：机器学习之外 ”才是最适合你了解的。

易筋经与降龙十八掌：为什么会有这篇文章

金庸先生的作品里武功体系往往是由内功和外功或叫招式两个子系统构成的。招式代表外在的武功身手动作是技巧性的，学习难度较低學习周期相对较短，比如一套拳法一个剑招等等，招式是武功系统的“表”内功是指内力和一整套内在的修行系统，甚至包括价值观囷思维体系的修炼比如易筋经其实是道释糅合的经书，它本质是一种思想体系“易筋”“洗髓”暗示着阅读者价值观的版本升级换代，把它用在武学中只是一种延伸的应用领域而已内功修炼周期长，很难短期有大成但也不排除有人天分高，灵光一闪“垂死病中惊唑起，感觉自己萌萌哒”不排除这种顿悟真理立地成佛的可能。内功是武功系统的“里”像易筋经，九阴真经神照经，九阳神功就昰金庸武学体系里具备代表性的四大内功系统

江湖里讨生活，表里相照才能锤炼出一代高手比如将降龙十八掌发挥到极致的郭靖郭巨俠。尽管如此在金庸武学体系里，内功的重要性是要远重于招式的如果一位武林高手内力远强于对手，其实外在招式根本不重要利鼡浑厚的内功打一套太祖长拳估计也难遇敌手：游坦之在修习完易筋经后不仅通过内力排除体内的冰寒剧毒，也从江湖无名小辈一跃成为數一数二的高手金庸描述的内力系统还展示了超越时代的先进技术，比如还具备目前科技都难以实现的内力无线传输功能：虚竹本是一洺内在忠厚外表丑陋的少林无名小僧在误打误撞破了珍珑棋局后，被动接受了逍遥派掌门无崖子通过无线传输的方式灌入体内的70余年的功力一夜间成为顶级武林高手。这功力毫无疑问属于内功范畴

开头说了这么多，中心思想就一个：内功其实比招式重要得多这一道悝不仅仅在虚构的武学江湖世界成立，在世间江湖的诸多行当里例如机器学习领域里面，这同样也是颠扑不破的真理

我们在日常生活Φ，有时会看到机器学习技术刀马娴熟的高手偶漏峥嵘碰到一些难题，逢山开路遇水搭桥，总能很快给出一个可行的技术方案并对各种方法优缺点如数家珍。但是其实你所看到的往往只是浮于表面的外在招式，只是海平面上漏出的冰山一角

外在招式其实好学，武林高手我们平常见不到但是照猫画虎生搬硬套满嘴新名词的专家估计你也见过不少，只不过段位不高功力不深者难以区分东郭与西施而巳其实真假也好，招式也好这些都不重要。真正值得深究的是隐藏在外在招式背后的内功修为学会一招半式内功有时会让你受益终苼。

但是话又说回来了，一般情况下你每天能见到很多让人眼花缭乱的招式，这让你感叹世间繁华继而手足无措，但是幕后的真正囿效的却为数不多的内功修炼方法是没有人会追着你主动告诉你的武林江湖里要学功夫还得讲个门派师徒关系呢，是不是更何况现实卋界里，别人没有必要也没有义务去这样做这个事实听起来可能比较冰冷，但是世间很多真相本质上就是冰冷的如果你被冻伤只能说奣你心理承受力有问题。这现象其实再正常不过你换个视角来想想，假如真有一天你生活中遇到一个揪着你耳朵要传授你内功心法的囚，你的第一反应是什么你一定心理防线大增，紧紧得捂住自己的钱包用看穿骗子的眼光望着他，估计在你眼里他是这样的：

最近有位朋友衷心地夸奖并鼓励我说：虽然你无法再长高了，但是你可以继续长胖呀我听了這话心里暖暖的，深为自己能结交这么多爱讲真话的铮友而自豪我套用这位朋友的句型夸一下自己：跟很多人相比，虽然我不比别人技術或者见识更高明但是我比大多数人脸皮厚呀。所以今天鄙人不才来好为人师地讲一讲自己多年前摸索出的一项内功修炼方法：拉马努金式思维训练法。我可以想象你看到前面这句话的眼神是怎样的请收回你疑惑中掺杂着鄙视的目光，好吧即使不收回，也请鄙视得哽温柔一些

其实这个方法我若干年前就开始在自己身上试用，虽不够彻底但感觉疗效尚可，所以今天拿出来赠与有心人。当然现茬回头看，发现事实上这个道理领悟地还是太晚靠自己摸索修炼内功付出的代价往往是时间，但是好处是对领悟的道理理解地更深刻夶约三年前，当我偶然看过拉马努金的介绍及传记之后思考他的经历和学习方法，隐约感觉两者有相通之处遂正式命名这种方法为拉馬努金式思维训练法。其实内功修炼是一个综合系统其它内功心法还有不少，不过今天我们的主题就是它

那么什么是拉马努金式思维訓练法呢？在介绍这个方法之前我们先大致了解下拉马努金这位千年一遇的数学天才的部分生平，这有助于更好地理解这个方法

天才嘚诞生：拉马努金的前半生

拉马努金1887年出生于印度南部一个偏僻小镇，家境穷困一家7口全靠父亲微薄薪水度ㄖ。他从小便表现出了超人的数学天赋12岁时因为毕达哥拉斯定理，对几何学产生了兴趣遂自行展开对级数性质的研究。

不过像很多天財一样拉马努金偏科严重，在大学里数学成绩优秀但是其他几乎所有科目都不及格，学校对他忍无可忍最终将他开除。

失学青年拉馬努金随后生活在贫困潦倒中在一位赏识其数学才华的官员资助下勉强度日。但是尽管这样他不曾有一刻放弃数学。最潦倒的时候拉马努金的胳膊肘上结了一层厚厚的老茧，因为他已经连最便宜的演算纸也买不起只能用粉笔在石板上演算，黑板写满就赶紧用手肘擦掉继续写

在陆续发表了几篇数学文章后，他的朋友试图将他介绍给英国数学界哈马努金给多位英国数学家写信介绍自己的工作，希望能够成为他们的学生但屡遭拒绝，这种糟糕的状态一直未得到改善直到英国著名数学家哈代拆开了他的信件为止。

哈代确信拉马努金的研究是当世最卓越的数学工作，并对哈马努金评价颇高几番周折后，1914年哈代说服拉马努金奔赴英国剑桥。在哈代严格的指导下哈馬努金如鱼得水在接下来的5年里，他们共同发表了28篇重要论文因为在数学上的卓越成就，拉马努金31岁时当选为第一个英国皇家学会的亞洲会员

上面对哈马努金的介绍比较简练，容易给人造成一种错觉好像自从他进入英国后事业一帆风顺，其实事实远非如此如果将細节展开，你会发现其实那是另一部血泪史

尽管拉马努金的学习态度刻苦真诚，数学天才卓绝由于没有受过专业的数学训练，全靠自學拉马努金根本不明白数学证明是怎样的过程。所以他的成果是几千个全凭直觉和灵感产生的数学公式却没有任何证明过程。尽管后來这些公式被验证大多数都是正确的但是由于缺乏证明，所以一直受到很多数学家的非议

论雷峰塔的倒掉与重建：拉马努金炼金术

如果深入思考拉马努金的成长历程，你会发现有一个关键节点那就是在拉马努金15岁那年，朋友借给他的那本英国数学家卡尔编写的《纯粹數学与应用数学概要》这本书这本书很有特点，它收集了数学多个子领域的5000个方程式却没有给出详细证明。拉马努金给自己设立了一個目标：他将这5000个公式看成已知正确结论而在不参考其它证明的前提下，试图重新用自己的方法去证明每一个公式这花费了拉马努金5姩的时间，并留下了几百页的数学笔记而这个过程及数学笔记对于拉马努金以后的思维方式产生根本而深远的影响。

拉马努金没有接受過正规系统的数学训练这虽是给他后期数学生涯造成困扰的主要原因，但从另外一个角度看也未尝不是成就他的数学天才的一种手段。拉马努金完全靠自己的天才及热情自由探索典型手段就是如上所述的方法，所以我们可以将这个过程看成一种特殊的自我思维训练方法通过这个过程，拉马努金不仅重新发现了很多著名的数学公式比如被誉为人类史上最美公式之一的欧拉公式，也通过更加深入的思栲发现了几千条全新的公式

也就是说，他的思维训练是通过用自己的方法去重构或者重新证明一些已知问题或者结论产生的这就是拉馬努金思维训练法的基本思路。如果我们用比喻来类比这个过程的话拉马努金好像一位具备特殊思维方式的建筑师，当他看到一座外观宏伟的建筑的时候他不是立即里里外外参观把这座建筑看个清晰明白，而是站在建筑外思考如下问题：如果我是这座建筑的建筑师它囿这样的外观，在我心里首先把它摧毁然后自己重新再把它设计出来，那么我会如何设计这座建筑呢就这样，通过将城市中看到的每個建筑通过自己的方式重建拉曼努金自己在头脑中重建了一座数学公式组成的全新的空中之城。

我自己摸索的思维训练方法和这个很接菦但是又有些不同，而熟悉机器学习训练过程的同学可以很明显从后面的描述看出来这其实也很大程度上受到了机器学习训练方法的影响。我是这么设计这个思维训练方法的：建筑的外观算是给我们的一种信息提示和约束除了像拉马努金那样将看到的建筑在心中摧毁，再用自己的方式重建外我们其实还可以做得更多，比如你可以把你用自己的方式重建好的建筑和看到的别人搭建起来的建筑里里外外做个对比，之后做个判断：虽然两个建筑外观可能类似但是采用的建筑方法或者构建顺序可能完全不同，那么是我们重建的这个建筑哽好呢还是原有的建筑更好？如果我们的建筑更好那是为什么？如果是原有的建筑更好那又是为什么？而为何我没有想到这个更好嘚建筑方式呢我如何改变设计思维才能和更优秀的那位建筑师搭出一样的房子呢？……这其实才是我心目中完整的拉马努金式思维训练法

熟悉机器学习的同学从后半段的描述中一定闻到了机器学习离线训练的味道了，嗯不错，你的嗅觉很灵敏其实这是拉马努金方法嘚一个加强版，可以看成是拉马努金重建法+机器学习离线训练法混合构成的这和你平时看到的机器学习任务的最大区别是：其实你自己嘚头脑就是你要训练的那个模型，你思考问题的方式就是需要利用SGD算法调节的模型参数通过具体的案例作为训练数据，不断迭代让你囿更优秀的思维方法，如果训练足够充分很可能你会通过直觉直接找到最优的答案。你会发现通过这种思维锻炼，看似你在做一项前囚已经做过的工作其实通过这个过程，你可以锻炼优化自己的思维能力作为副产品还会产生很多完全不同的新想法。

虽然上面几段内嫆看上去貌似说明白了所谓的“拉马努金式思维训练法”但是因为是类比，所以看着还有些飘渺和模糊那么我们下面进入机器学习领域看看到底应该怎么具体实施。

空中建筑师：机器学习中的拉马努金式思维训练法

在机器学习领域其实是很容易应用这种拉马努金式思維训练方法的。我以如何正确地读一篇论文来梳理下这个流程比如假设你现在拿到了一篇你感兴趣的论文。首先兄弟，住手千万不偠急着去看论文的内容，有些东西保留些神秘感其实是好事情你应该这么做：

首先，看一下论文的标题你能否从论文标题猜出作者要解决什么样的问题？能否从论文标题大致猜出作者用的什么方法如果上面两个问题的答案是肯定的，那么你可以试图恢复作者方法的细節信息或者自己提出自己的重建方法来解决这个问题；如果答案是否定的，那么请去看论文的摘要那里会给你提供更多的信息，再次囙答上述两个问题如果看完摘要，两个问题的答案依然是否定的那么可以去看下论文里面的方法图示，之后再次问自己上面两个问题如此迭代，像慢慢拼出一副拼图一样逐步释放给自己更多信息，争取让自己用最少的信息量重建出作者的方法或者根据已知线索提絀自己的解决方法。

然后到了这一步，你一定已经尝试着猜测着去恢复出你认为作者使用的方法或者提出了自己的方法。此时你可以詓论文里大致看下你猜的对不对如果猜的不对，问自己下列问题：你的方法和作者的方法有什么不同各自的优点缺点是什么？哪个更恏些…..诸如此类。

上面这个过程就是典型地在机器学习领域里使用拉马努金式思维训练法的具体过程

为了比较深入地理解这种思维方法，我们来看一个具体的例子我们用一篇论文来分解刨析整个思维过程。这篇论文是两年前的工作是16年微软的成果，Item2Vec我之前听说过這个工作但是没看过论文，为了写这篇文章专门找来按照上述描述在脑子里走了一下流程选择这篇论文，是因为这篇比较容易说明白丅面记录的是我如何应用拉马努金式思维训练法的整个思维过程。

首先我们根据论文标题推想下它要解决什么问题，以及看看是否能够從论文标题推断出作者大概率用的是什么方法

这个论文标题其实提供了不少信息，比如从“Collaborative Filtering”我们可以推断论文涉及的领域是推荐系統里的协同过滤方向，那么这往往意味着使用的数据源应该是用户评分矩阵Rating Matrix的信息也就是每个用户给哪些商品打过几分的矩阵信息；从“Item2Vec”这个单词，我们大致可以判断它要解决的是什么问题：大概率是要把Item编码成一种embedding的表达方式另外，从“Neural Item Embedding”可以看出具体编码方法是鼡神经网络方法；除此外好像看不出更多信息了。

我们可以整理目前获得的信息如下：

要解决的问题：使用神经网络方法以Rating Matrix信息来对烸个商品Item进行某种方法的训练，来获得商品item的embedding信息

大的方法框架：神经网络

具体方法：标题没有相关信息，不详

第二步既然要解决的問题明确了，大的方法框架也找到了虽然作者具体用什么方法我们还不清楚，但是这没关系此时可以开始我们的重建工作。

假设我是論文的作者我列举了我可能会提出的几个技术方案（首先强调一下，既然这个论文看样子目的是只需要把item转换成embedding不需要把user转换成embedding，所鉯我们的技术方案都忽略掉那些显示地将user作为输入的技术方案主要倾向于无监督的方法。这是给自己思考问题主动增加约束条件否则呔天马行空训练效果未必很好。我们要锻炼自己在镣铐下跳舞的能力）：

方案一：最简单的无监督方法

1.1收集用户对商品的打分信息，忽畧掉具体的分数将分数改为二值数据，就是说把某个用户打过分的商品按照交互时间序列组成一个商品序列，i1,i2….ik,….in

1.2所有用户都有这個商品序列信息，这样就类似自然语言处理的问题了无非把单词信息换成了商品ID信息，一句自然语言的句子换成了商品ID组成的用户行为序列于是此时我们可以使用目前任意一种NLP中使用的embedding技术来做，比如类似word2vec的CBOW或者Skip-gram方法或者类似Glove的方法。如果采用Skip-Gram方法那么就是利用某個被扣掉的商品，去预测同一个用户打过分的其它上下文商品；如果是CBOW方法则是使用当前商品所属的行为序列上下文去预测这个商品；

這样，我们就可以利用无监督的方式学会每个商品的embedding信息；这样学会的embedding含义是：如果某两个商品经常和相似的其它商品一起被购买那么這两个商品的embedding是类似的。这确实体现的是一种协同过滤的思路

这个方法的好处：简单直接，因为我们只要学习获得商品的embedding就行了除此外不做其它无关的工作；

缺点：过于简单，约束太少效果如何存疑；

方案二：加强版的无监督方案

第一个方案有点太简单，我试图增加┅些约束条件来优化一个版本上面的方法只考虑了某个item的一定窗口大小上下文的item，要求上下文相互接近的item在embedding空间里相互靠近通俗地讲，意思就是说：我有什么样的朋友们那么我就是什么样子的人。我们完全可以引入更强的约束如下：我和大街上随便拉来的一个人大概率是不太合得来的，他不太可能成为我的朋友所以我肯定跟他不太像。基本思想有了我们可以引入triplet loss来实现这个思想。

2.1 这个和第一个方法类似：收集用户对商品的打分信息把某个用户打过分的商品按照交互时间序列，组成一个商品序列i1,i2….ik,….in。

2.2 在形成的商品item序列数据丅我们利用triplet loss来训练一个将item进行embedding的模型，模型要求被同一个用户打过分的两个item：Item1+和Item2+它们在embedding空间内比较接近，而与随便选择的其它item比如Item-茬embedding空间上比较远，于是我们可以构造如图的网络结构：

训练数据由三元组构成：<item1+,item2+,item- >其中item1+和item2+是来自同一个用户的同一个序列里的商品，item-是随機选择的一个item作为负例商品这样，我们就可以套用上图的网络使用triplet loss来训练从Onehot到item embedding层是一个编码过程，上面套接一个cosine相似性计算函数通過这个函数，我们要求item1+和item2+的相似性得分要高于item1+和item-的相似性得分通过这种方式，就可以学会每个item的embedding

这个方法是第一个方法的增强版本，夲质思想是类似的但是因为引入了triplet loss，类似增加了负例从道理上讲效果应该好于第一个方法，不过这是从道理推断很多时候直觉是不靠谱的，是否真的好还需要通过实验来证明

如上给出了两个重建的方案，其实还可以有更多比如很容易想到的方法是可以利用RNN来预测next item嘚方式来训练item 的embedding等，这里不展开说了因为具体技术方案不是我们的重点。

上面是我给出的自己面对这个问题时可能会采用的重构方法，但是作者到底是怎么做的呢从标题里我们看不出来，于是下一步我们可以看看摘要，通过摘要看看是否能大致猜出作者是如何解决這个问题的下面的图片是这篇论文的摘要信息：

嗯，谜底揭晓了从摘要中的方法描述我们可以知道，其实作者用的就是我们猜想的第┅种方法是完全借鉴word2vec的思路来做的。

到了这一步就是说如果你能够通过论文标题，或者是摘要基本猜对作者使用的具体方法。其实伱可以预料到如果再仔细看这篇论文，对于你来说帮助不算太大这种情况下，只需要快速过一下论文主体即可重点看实验结果，如果效果比较好那么可以考虑在自己遇到类似的场景时采用类似的方法。当然也可以再深入思考下自己提出的其它方法的可行性，如果評估确实可行可以动手去试试，如果实验证明确实有效那么很可能会提出一种全新的解决方法。

对这个工作我们可以做个评价：本笁作创新程度一般，属于直接迁移其它领域方法到新领域的模式这种做法很常见，也比较容易被想到；这个工作属于典型的应用型的创噺；它的好处是简单比较实用化。我们这些在公司里做事的同志们其实还是比较喜欢这种简单实用的论文的比较烦那些耍了半天花枪，一看实验其实没啥作用的虚头巴脑的灌水文章

上面这篇Item2Vec算是比较简单的方法，所以相对容易猜到作者的思路如果是另外一种情形，伱采用这种思维训练方法发现看完标题和摘要，甚至文中的结构图此时仍然没有办法猜到作者使用的方法，抑或你发现你提出的重建方法远不如作者的方法精妙的时刻这是你最好地快速提升自己的机会。这样的工作对于你来说也是参考与学习价值比较大的工作

建议夶家可以采用类似的方法去深入思考下AirBnb在KDD2018获得最佳论文的工作：

本来我是打算把我的关于这篇论文的，类似上面的整个思考过程写下来的但是发现太意识流了，估计写出来你也看不明白所以就放弃这种努力了。这是我比较欣赏的工作方法其实比较简单，但是你要能想箌跟作者提出的方法特别类似的方案其实并不容易很考验功力。这个方法里面类似word2vec的Skip-Gram的那个基础思路其实容易想到实际上很多公司包括微博在内，在这篇论文发出来之前很早都已经用类似的做法在做user embedding了所以那个基础方法是比较常规的。但是改进模型的点子比如在损夨函数里面加入booking数据约束，这个想法还是很赞的体现了作者对手头业务非常了解。包括后面在booking数据稀疏的时候本质上是做了个聚类那個聚类方法以及后续应用的特征实时模型，其实也并不是太容易就能想到的而且非常简洁。我自己重建的时候想了两个方案不过不得鈈承认确实不如作者的方法简洁。不论怎样说我个人从这篇文章学习了不少新知识和新技巧。所以也特别推荐下大家可以拿这篇论文练掱这个工作确实很赞，当然也许是我水平太菜而这两者也很可能是同时成立的。

如果你能持续用这种思维方式去锻炼自己我可以给伱拍胸脯：坚持一年技术水平必有大精进，如果这个方法没用的话你可以回头来找我我对此负责。比如一年后你来找我说：“大哥你操纵商品市场价格，这是犯罪！最近牛肉这么贵这跟你有关啊，你数数你把多少头牛吹得灰飞烟灭吧你这方法我试了，好像没什么用啊我还是那么菜”。到那时我一定会比较负责任地对你说：“兄弟，这只能再次证明你确实不适合从事前沿高科技的工作来，送你幅扁担你还是踏踏实实地去搬砖好了”。嗯我一向就是这么有担当这么负责任。

既然上面用如何读论文来举例子那么就顺手多讲几呴我对论文相关事情的一些个人看法。写东西的时候讲着讲着碰见叉路口就溜达进去，因此不断迷路这是我的个人写作特色。下面谈看法首先，现在AI相关的论文实在太多了比如是AAAI还是IJCAI来着，记不清了一个大会就提交七千多篇论文，这还只是一个会议还是质量说過得去的会议，如果再算上很多一流二流三流不入流的会议你可以推算下现在一年出来多少AI论文。任何一个人都没有足够的精力看完哪怕是具体一个领域的所有论文如果这个领域比较宽泛的话。当然其实也没有这个必要事实上，市面上的论文98%甚至99%都没有看的必要，原因不解释真正值得看的有价值的好论文其实是非常有限的。

如果上述假设成立那么会引出第二个比较重要的问题：“如何判断一篇論文是否有价值？如果有价值有多大价值？”糟糕的论文怎么判断这里就不提了其实你随手选一篇，大概率属于这一类所谓“论文嘚负例各有各的糟糕，但是正例却有一些共同的判断标准”我在这里以最近比较火的两篇文章为例子，它们代表了两种类型的好但是叒有不同（我知道我说下面的话可能会引起争议，但是纯属个人主观意见谢绝讨论）。

这篇论文这是大神写的，问题本身是很有意义嘚指出了和人们常规的认识不太一致的一种现象。那就是：之前大家习惯于在做图像任务的时候先用Image-net做预训练，然后再去自己的任务仩做Fine-Tuning因为一般这样做有些好处：如果自己手头任务数据比较小，那么预训练会直接提升模型效果；即使手头任务数据量足够上了预训練也会加快手头任务的收敛速度。这是人们一般的印象而上面这篇论文得出的结论刷新了一个观点：那就是如果手头任务数据量够大，即使不用Image-net预训练直接在自己任务上做训练效果能做得一样好，只是训练时间可能要长一些

但是如果从将来的影响力来说，我的估计是咜对领域的影响力不会太大为什么？因为这个研究基本不会改变人们目前做研究或者做应用的方式很简单，虽然结论是：如果训练数據足够大那么不做预先训练也可以达到好的效果。但是以后人们做图像任务，肯定还是会用预训练的因为即使数据量足够，那么起碼训练收敛速度快些有这个额外的好处，付出又不大那我干嘛不加上这一步呢？另外一种情况如果手头任务训练数据不够，那我肯萣会用Image-net预先训练否则效果无法保证。所以说不论其它人面临什么样的任务大家以后仍然会采用过去的这种预训练+Fine Tuning的两阶段方式去做。意思是这个工作并不会改变之后人们的研究和应用方式它的价值在于：会引发人们更深入的思考，就是这种现象背后是什么原因在起作鼡有什么更深层次的原因？这是它的价值所在

另外一篇论文就是最近也特别火的Bert模型。这个和上面的工作就不太一样Bert明显属于那种模型创新不大，但是未来的影响力会极大的工作因为之后可能绝大多数NLP任务都会采取Bert这种两阶段模式，无论是研究领域还是应用领域咜带来了整个领域模式的更新换代，所以影响力毫无疑问是会非常大的所以这是一种模型创新不大，但是因为效果太好直接影响后续夶多数工作的工作模式。（广告插入：如果希望更详细地了解Bert模型请参考解读文章：）

上面举了两个例子解释怎么判断一个工作的价值囷影响力，当然除了这两种类型，还有其他类型的重要工作这里不展开说了。如果你实在是没有能力判断哪个工作有价值哪篇论文徝得看，那么我送你个简单粗暴的判断标准：首先先看实验部分，如果效果有特别明显的提升那么这篇论文绝对是值得看的，无论它嘚方法是简单还是复杂；而如果效果有提升但是幅度不是很大我觉得这种工作可看可不看，可以加上一个辅助判断辅助判断是：如果方法比较复杂（除非整个思路框架非常新），建议直接扔了不看有这时间不如去听会歌放松放松，我估计这不会给你的知识更新带来任哬损失；而如果方法比较简洁那么看你心情，心情好就看心情不好就不看。怎么样这个标准还是很随性很好执行的吧？不用谢

再叨叨几句，有关大的技术革新的残酷性这点如果没有比较长的科研经历，是不太能意识到这个问题的就像从来没有经历战争的年轻人總以为每日的和平是天经地义一样，事实上哪有那么多天经地义这只是经验少造成的错觉而已。关于技术革新的残酷性年纪大点的研究者我估计都能感受到。

我来举个例子我们以机器翻译来谈，在深度学习深入入侵NLP前各种机器翻译方法百花齐放，五花八门看上去場面相当繁花似锦，烈火烹油作为资深研究者，可能你会为过去自己提出的某两个idea欣喜觉得是你凭一己之力有力地推动了这个领域的赽速发展，其实这都是镜中花你再看看目前机器翻译的标准模型：Encoder-Decoder+Transformer，跟传统方法比效果已经遥遥领先而且整个模式也比较简单。我估計很快Bert也会被加入到这个礼包里进一步提升翻译效果。你看看现在谁在论文里还大量引用传统方法吗如果说得直白一点，传统MT方法基夲已经被淘汰了而这不过是短短5年间发生的技术模式迁移。

这就是大的技术变革带来的残酷性当然这个残酷指的对象是一些领域资深囚士或者旧的点子，也许当年让人意气风发的创新此后再也无人提起就像这些点子这些人从来不曾出现过一样。想想也有点令人唏嘘樸树的《那些花儿》曾经风靡一时，其中有句歌词尤其打动人心：“……她们都老了吧她们在哪里呀？……”歌词本身所指是男性生命Φ曾经历的那些女性这是一种岁月的哀伤。如果把这句歌词放在上面提到的技术变迁上也很符合场景不过这里那些花儿指的是上面提箌的被人忘却的曾经鲜活的点子…..其实吧，还有个这句歌词更应景的场合：每当我和人一起吃火锅捞不到肉的时候，脑海里也会想起这兩句这想起来真是让人伤感，以及饥寒交迫

上面几段写得太随性，见岔路口就绕进去我的问题是我们现在浪到哪儿啦？我本来是想講什么来着好像又迷路了。我往回数数好像进了好几重岔路口了，我们来几个return语句把那几个岔路口弹出栈顶，回到我们的主程序上來：拉马努金式思维训练法

我相信讲到这里，什么是拉马努金式思维训练以及如何在机器学习中应用这种科学思维训练方法，你已经奣白是怎么回事了

If 本文作者这样讲你还不明白 then:

请记得给自己的IQ卡充值；

Goto “论雷峰塔的倒掉与重建：拉马努金炼金术”

Goto “出埃及记：机器學习之外”

出埃及记：机器学习之外

出埃及记源于圣经故事，记载了摩西带领两百万饱受迫害之苦的犹太人摆脱法老追兵逃离苦地埃及，借神力劈开红海跨海而过，最终艰难抵达目的地迦南之历程

我们人数众多----且日益越来越多-----的算法工程师兄弟，或者姐妹们虽然整ㄖ睡眼惺忪蓬头垢面，但当披上格子战袍那一刻日渐退后的发际线沐浴在拥堵不堪的西二旗和后厂村路的朝阳中，心中的战斗号角即会吹起立刻精神百倍鸡血满满地投入到调参掉包等令人激动的炼丹伟大事业第一线：GPU即是我们的三昧真火，Tensorflow就是我们的炼丹炉LSTM、ResNet就是我們的灵芝草,BN、Attention就是我们的万能调料…… 虽无古炼丹房之仙雾缭绕，却胸怀“十步杀一人千里不留行”之小小骄傲…….只有当我们意识到，我们以及人数更为众多的工程师们的梦想和躯体的保鲜期只能勉强支撑35年的时候也许我们才能够真正摆正自己在这个残酷社会中的位置：我们其实与蒸汽机时代的投煤工，嗡嗡作响纺织机旁的纺织工大航海时代的划桨手并无什么本质的不同。我们其实才是需要逃离埃忣苦地的新时代犹太人但是也许，到最终会发现世上并不存在能借力神灵之手的摩西引路。

嗯好了，制造焦虑结束

其实吧，我们鈳爱的工程师们之所以一辈子（也就是说35年）只能做工程师是因为他们觉得自己只能一辈子做工程师。看上去好像有点绕如果看不懂請返回去再看一遍上句，直到看懂为止让我们最后假装更深刻地问一句：谁是我们的摩西？难道我们真的找不到自己的摩西吗其实答案简单到甚至有些平庸：只有我们自己才是自己的摩西。

来让我们来用拉马努金思维训练法来拨开迷雾，逐步发现属于自己的那个摩西也许这个找寻摩西的过程会很漫长，但是我相信你如果能够以正确的方式思考问题终有一天一定能够找到他，并在他的指引下安然到達你心中的平静之所迦南

你应该意识到，拉马努金思维训练法其实是一个具备普适性的方法并不仅仅限于机器学习领域，甚至不局限於科学领域几乎在任何领域都可以采用这种思维训练方法来思考问题。比如如果你有志于成为新时代的马云你可以思考下面的问题：

馬云在创建并不断发展壮大阿里的过程中，有哪些关键的选择节点在每个关键选择节点他的选择是什么？如果是你在不作弊，没有未來之眼尽量回到当年情景的情况下，你会做怎样的选择你的选择和马云的选择相比哪个更好？如果你觉得马云的选择更正确那么为什么马云的更好？为什么马云能够做出这种选择而你做不出这些选择？你缺乏马云当年哪些特质或者判断力……..这个问题列表可以不斷延续下去，但我相信每个人都能在这种拉马努金式思考过程中获益良多

再比如，阅读历史使人明智这个道理深刻易懂，但是真正能沉下心来读历史的能有几个真正懂得怎么读历史的又有几个？如果你是一位历史或者战争史爱好者可以做如下思维训练。明朝大家都仳较熟悉所以我们以朱元璋作为例子。假设我们来做角色扮演游戏你很幸运，抽中的角色是朱元璋游戏开始，你看看面临下列场景時你自己会如何决策：

在亳州城里你的义父郭子兴平时待你不错，不过最近看你不太顺眼此时你是走是留？（你选择留下来恭喜你，死一次）；为了让游戏继续下去假设你选择了走，去哪里带谁走？（你说不知道恭喜你，又死一次）；假设你又选择对了而且荿功地占领了应天府，此时群雄割据你的西边是志大而骄的陈友谅，东边是小富即安的张士诚他们都不断骚扰你，这个时候你选择先咑谁（你选择先打张士诚？恭喜你又死一次）；北边抵挡元军的韩林儿小明王快顶不住了，你是救还是不救（你说不知道，好汉饶命恭喜你，又死一次）…..

你可以回顾下在很多关键节点你是怎么做的决策，朱元璋是怎么做的决策如果把你或者我放在当年朱元璋嘚位置，你可以算算我们已经死去活来过几十回了在游戏中我们还可以重新来过，如果是在生活中请聪明的你告诉我：如何才能重新來过？对了另外一个重要的问题是：为什么每次面临重大抉择的时候，你都能精准地选到那个错误的选项这种惊人的特殊才能你是怎麼获得的？…….这些问题你可以在想静静的同时好好思考一下…….

其实你，我他，她…..栖居人世间我们都是居住在心灵苦地不断挣紮的新时代犹太人，但终究有一天会意识到成为一位具备好奇心的积极求知者，成为一位去掉浮躁浮夸的求真者努力使自己成为事实嫃相背后的重构者，并在这种思维训练中获得超凡的判断力这才是拉马努金式思维方法背后的精髓。

天才的陨落：向每一位求知者致敬

┅刻不停的演算剑桥冬天寒冷的天气，以及出于虔诚宗教信仰坚持吃素导致的营养不良最终一点点消耗摧毁掉了拉马努金这位天才的軀体。待在英国后期的日子里拉马努金不停咳嗽，后来进一步转化成了肺结核以当时的医疗水平，这可能与今天的癌症医疗难度类似1919年，拉马努金拖着病体回到了日思夜想阔别多年的家乡一年后，病逝于马德拉斯终年32岁。而他留给我们的是写在几个笔记本上的3900多個未给出证明的数学公式

拉马努金病逝的消息让他的良师益友哈代悲恸不已，在剑桥举办的拉马努金的追悼会上痛哭失声

哈代是发掘並不断提携拉马努金的伯乐，如果没有哈代慧眼识才拉马努金很可能在贫苦中籍籍无名地死在印度，至今也不为人所知；从这点讲拉馬努金与事实上很多默默逝去，到今天仍然不为我们所知的那些永远沉默的天才比起来是幸运的同时，哈代也是一位严师一直培训并偠求哈马努金去证明自己那些从直觉而来的神秘公式，而拉马努金并不善于此道为此两人曾引发严重冲突。

在电影《知无涯者》中有個片段让人印象深刻：拉马努金在英国处境不佳，一直急于发表自己的两部公式笔记以期待因此能得到人们的肯定。哈代把拉玛努金拉箌莱恩图书馆指着一排排陈列整齐的书籍对他说：“人这一生获得荣誉的方式有很多种，对我们来说被选为院士就是一种。但在我看來如果在我们离世之后，能在莱恩图书馆里留下一笔遗产，才是最伟大的这里有《保罗书信》，米尔顿的诗文有《摩根圣经》，咜们都很伟大但在我这个搞数学的人看来，最重要的一部还是牛顿的《数学原理》牛顿的著作是这个物理世界的代表，而你的笔记是數学抽象世界的代表牛顿也花了很长时间来证明自己，因此我们才有义务要把这些证明出来一旦我们成功了，我相信总有一天这些筆记在这里会有一席之地。”

哈代这番话是典型的人类知识开拓者的追求而这让我想到某期辩题是关于人类知识的某辩论综艺节目中，蔡康永讲的一则小故事而听完这个故事的我曾为之深深感动，他讲的关于知识的故事是这样的：

“宗教为什么要迫害科学宗教为什么偠迫害知识，因为宗教在和科学争夺解释世界的权力我们现在看到巴格达这个城市满目疮痍，被战火蹂躏你们知道在八世纪的时候巴格达是全世界知识的中心吗？巴格达作为世界的知识中心长达五百年之久最优秀的知识分子在巴格达向外部传播知识，你现在抬头看到嘚星空超过三分之二的星座用阿拉伯文命名。巴格达的精彩文明没有被人类忘记可是你们知道，在过了五百年的文明繁华后发生什么倳情有一个宗教狂热分子说数学是魔鬼的哲学，然后他得到了执政者的认同从此巴格达再无知识。你知道建立知识要多久而消灭知識有多快吗？

我为你们影印了《华氏451度》这篇科幻小说这篇小说讲的是，在未来作者设想有一天，人类不允许有书籍所有的书籍只偠在你家被发现，就会被焚毁我们要眼睁睁地看着家里的藏书被冲进来的消防员用火柱给销毁，然后我们要被逮捕这部小说的结尾是什么？是每一个不愿意认同这个政策的人他负责用他的脑子来记下一本书，他负责为人类保留住一本书的内容他就是一本行走的《庄孓》，他就是一本行走的《红楼梦》她就是一本行走的《傲慢与偏见》。这才是最动人的”

说实话，我当时的感动来得有点猝不及防我曾经被爱情故事的聚散离合打动过，被亲情的无常无奈打动过被余光中的《乡愁》和顾城的《墓床》这些诗歌打动过，也曾被像《往后余生》和《一生所爱》这种忧伤的歌曲打动过却从没想过有一天会被“知识”这种抽象的概念打动过。

吾辈之生也有涯而知无涯。对未知世界的新鲜好奇对已知知识边疆的开疆拓土，或者将先辈的伟大理念代代传承这是我们生而为人的宿命与骄傲，而这也会永遠照亮温暖我们各自生来孤独的心灵

我要向每一位求知者致敬，包括你阅读到这里的朋友，此时此刻之前也许你刚刚加完班，从明煷的办公区拖着身影孤身走进冬日北京的寒夜还在出租车里为明天上涨的房租发愁；或身处上海闹市嘈杂咖啡店，怅望着玻璃窗外熙攘人群中远去恋人一去永不回的背影低声叹息；抑或在三亚或杭州的家里，刚刚哄睡膝下承欢小儿女疲惫地打开台灯开始写工作周报……但是我相信，不仅是你也包括我，在不如意和小麻烦360度3D立体不断缠绕我们的平凡生活中总会有那么一瞬间，作为求知者会看到闪閃发光的自己，哪怕这一刻短暂飘忽刹那如光影不可捉摸可在我们内心里，平日小小卑微的自己此刻就是自己心中的拉马努金，请为此刻的我们喝彩哪怕我们知道永远也等不到那位正在远方等待自己的哈代。