大数据有前途吗是什么? 它跟学电脑比起来那个更有前途?

大数据时代,运营商的心法和身法--百度百家
大数据时代,运营商的心法和身法
分享到微信朋友圈
或许我们错过了运营商的通信黄金时代,但大数据时代不容错过!
前不久,我在故事书微信公众平台上推送了一篇题为《告别 | 一位移动人的十年记忆》的文章,算作对自己在中国移动前十年工作的总结。既然有对过去的总结,就一定会有对当下的研判以及对未来的展望。
于是,我心中酝酿已久的另一篇文章便有了雏形,这是对未来3年、5年甚至更长时间维度的一次展望,或者说,是憧憬。
我始终相信,无论在哪里,有什么职位,做什么工作,如果内心没有足够的动力、期盼与爱的话,一个人是无法产生强烈的使命感与责任感的,或者说,没有幸福感。
最近在医院用陪老婆待产的时间读完了《幸福的方法》,对书中一段话非常有感触:"忙碌奔波型是未来的奴隶,享乐主义型是现在的奴隶,而虚无主义型则是过去的奴隶。"在运营商工作的我们都经历过从通信业黄金十年带来的"金饭碗"、行业遭遇"高原平台期"的铜饭碗,甚至全社会"人人得而诛之以后快"的"纸饭碗",无论是企业还是身处其中的个人,都在感受着巨大的压力与阻力。
于是,一些人选择了"享乐主义"式生存,日复一日在单位混日子;一些人则选择了"虚无主义"式生存,沉浸在过去的辉煌,躺在功劳簿上过日子;还有一些人选择"忙碌奔波"式生存,开不完的会、做不够的汇报、写不尽的方案,虽终日忙忙碌碌却无所作为。正是如此,才有了我上篇文章中写到的"四种人"——那些想走又能走的人最终选择了离开这里,那些想走却不能走的整日抱怨体制,那些不想走也不能走的昏昏度日,剩下那些能走却不想走的痛苦挣扎……
啰里八嗦说了这么多,无非是想将运营商现在所处的环境有一个更直观的交代。也为后续的观点做好铺垫。
一、运营商正在经历什么?
借用双城记那段经典开场白:这是一个最好的时代,这是一个最坏的时代。对于运营商这样天生依靠人口红利、规模红利的传统企业,未来的日子或许并不好走。无论是从媒体的口诛笔伐,还是用户的人人喊打,亦或是员工的纷纷出离,种种迹象都在表明这个行业早已从大象快跑的“神坛”跌落,变得迟钝、缓慢甚至有些狼狈了。
可十年前绝不是这样。三十年前更加不是。
《大跨越:中国电信业三十春秋》的开篇语这样写道:从经济瓶颈到社会先导,从全球末游到用户总量世界第一,改革开放三十年中国电信业实现了举世瞩目的大跨越!这一切是怎么得来的?这本生动再现改革开放30年来中国通信业辉煌历程的著作选择了两个有意义的时间点,1978年跟2008年,前者是中国正式吹响改革开放号角的关键一年,而后者则是代表了通信业黄金十年的关键一年。
字里行间都可以读到中国通信业经历过怎样的辉煌,可以感受到从业者那种由衷的自信与荣耀。
时代巨变,昔日巨头创造了比以往更加令人瞩目的经营业绩,却在政治地位以及行业形象上连连败走麦城。
时至今日当我们再次谈论运营商,你想到了什么?
是财务报表上无比闪耀的光辉业绩,还是面对行业内外竞争暗战的困惑焦虑;是建成一张张4G、4G+网络的骄傲欣喜,还是管道化、低值化、边缘化的郁闷心酸;是对KPI下多少就能完成多少的自信得意,还是对基层不断涌现离职潮的始料未及。
是运营商真的做错了什么吗?可能并不是。
放眼看看这个时代吧!这是一个在和同行不断抗衡,却无奈被OTT抄了后路的时代;一个到处充斥着机会,细看时却满目危机的时代;一个传统大机构失势瓦解,个人自由连接全面崛起的时代……
这是一个唯变不破的大时代。
在这个时代里,竞争对手变了、游戏规则变了、用户习惯也变了,曾经习以为常的一切突然间发生了天翻地覆的变化。
话音、短信这些传统业务正在加速下滑,流量虽然成为新的增长点,却不得不面临着“提速降费”的巨大压力。可以说,在这样的时代背景下,运营商像是被困的巨兽,想挣扎却又充满无力感,想改变却又害怕不确定,想突破却又找不到突破口……
唯一的方法大概就剩下三个字:豁出去。
二、运营商该怎么办?
是啊,该怎么办?
其实出路无非两条,要么精耕存量客户,挖掘更大的价值点;要么开辟新市场,寻找行业的破局地。
关于精耕存量市场,已经有太多这方面的文章,这里不再赘述。我想重点谈谈新市场。
1.新市场在哪里?
日前,互联网教父、科技商业预言家的凯文·凯利在斯坦福大学进行长达3小时的分享,畅谈他对未来20年重大科技商业潮流的见解。我对其中一个观点很感兴趣,他说不管你现在做什么行业,你做的生意都是数据生意。
无论是风生水起的移动互联网,还是改变世界的芸芸众生,他们都在通过运营商的网络来获取信息。
2014年三月在北京举行的一场大数据产业推介会上,阿里巴巴集团创始人马云在主题演讲中发表了他的观点——“人类正从IT时代走向DT时代。IT时代是以自我控制、自我管理为主,而DT时代,它是以服务大众、激发生产力为主的技术。”
我们都知道,今年的双11全球狂欢节中,阿里巴巴天猫用时不到12小时就打破了去年创下的571亿元的交易额,最终将记录锁定在912亿,其中无线交易占比71%,全球产生成交的国家和地区达到205个。
巨量交易额的背后是什么?是阿里越来越强大的供货和物流系统?还是传统零售业的全面没落?其实都不是的。我以为这背后体现了阿里巴巴强大的数据分析和挖掘能力。在这样的购物节中,最重要的问题是商家要备多少货?而这可以通过平台历史销售大数据,预测货品需求,为商户提供库存依据,提升库存效率和有效性。
而在百货商店时代,购物数据只有通过人工才有可能统计完并且不一定准确,但是阿里巴巴会把每个人的历史购物和浏览数据都留在云上。
因此,淘宝可不光是一个电商平台,更是顾客的大数据平台。
阿里巴巴集团副总裁涂子沛在讲到这个概念的时候举了一个更容易理解的案例:请你预测全国哪些地区会有更多的二孩出生?按照传统的数据统计,估计只能依靠人口普查、各地市区县统计部门的层层上报,不但会有偏差而且还会滞后。而在阿里巴巴,只需要统计哪些区域的孕婴用品销量激增就可以了,不但真实而且更加便捷。
运营商也是一样的。
你以为运营商只是通信管道的提供者?其实或许还是信息适配的服务商。
在过去,我们使用的文件、文件夹、桌面这些东西都是停留在本地的。我还记得那个时候最好的备份工具大概是移动硬盘或者是蓝光光盘之类的东西。而进入网络时代之后,数据就出现在网页上、链接里。现在的云上有标签、有流量、有新闻,还有各种各样我们需要的信息。云、数据化才是这个时代的关键词。
要知道,这些所有的信息都是通过运营商的网络传输的,就和从淘宝上销售的商品信息一样,除了信息本身,它的发送端和接收端或许才是我们关心的重点。
于是,将合适的信息主动推送给需要的人,就是运营商能提供的大数据服务了。
2.新市场有多大?
中国云计算技术与产业联盟理事长吴基传曾指出:大数据是云计算服务的基础,是构架云平台最基本的要素,没有对海量信息的分析的大数据,就没有为所有信息消费者获取有价值的信息的可能性。
因此在商业界,大数据已经开始成为很多企业的生意。
《2015年中国大数据交易白皮书》显示,预计到2020年,中国大数据产业市场规模将超过这个市场去年规模的10倍,由2014年的767亿元扩大至8228.81亿元。
日,国务院常务会议通过《关于促进大数据发展的行动纲要》,这或许意味着,大数据在中国将逐渐步入正轨,进入到顶层设计时代,这无疑将加速经济发展引擎的进一步开发。
从运营商的角度来看呢?以中国移动为例,我们有超过8.2亿用户,110万4G基站,经营分析系统里有10B以上的数据,我们的10086每分钟都有海量用户的呼叫,实际上所有这些动作每天都在产生大量的数据。那么,这些数据到底有多大,集中以后会是个什么效果?
有人曾经做过测算,一个省公司一天的数据要上百P,这些数据集中在一点传输到中国移动(贵安)大数据中心,需要重建一个中国移动的CMNET,也就是中国移动Internet的骨干网。
所以某种意义上来说,运营商拥有采之不尽用之不绝的数据富矿,站在金矿上总比无矿可挖强,这也是我判断运营商或许会在大数据时代“触底反弹”的依据之一。
3.还有什么不确定因素?
虽说前途可期,但毕竟是一个全新的领域。在新领域就一定有新的游戏规则,也会有相应的规则适应过程。
在过去的几年中,大数据的概念在产业界引发了无数的争议和讨论,甚至长期出现在Gartner的新兴技术成熟度曲线(也称新兴技术炒作周期报告)中。原因非常简单,一项新技术多被谈及概念,虽然在媒体上屡屡曝光,但应用案例寥寥。
因此,大数据越来越被看做是评论界的谈资,而非真正意义上的产业。
在贵阳成立的全球第一家大数据交易所,通过电子系统面向全球提供数据交易服务,计划2020年数据清洗交易量年达1万PB、年总额3万亿。然而,成立至今,这个深孚众望的机构撮合的交易记录也不过3000多笔。“有意愿交易大数据的企业和机构还不多。”交易所工作人员如是说。
除此之外,还有几个关键不确定因素在影响着大数据产业发展。
A.技术能力不足。IT作为后端的支撑手段,大量通过外包或采购方式实现,所以在自身软件开发和大数据平台运维、大数据新技术应用、大数据分析挖掘方面能力相当有限。
B.数据“墙”大量存在。很多数据是分散在不同的系统中的,经过长时间的“竖井”式运作,已经形成了难以突破的壁垒。以中国移动为例,B域主要是经营分析数据、O域主要是网络运维数据、M域主要是管理信息数据,但这三域的IT系统分别由三个不同的部门负责,整合难度较大,较难形成“1+1>2”的数据融合效果。
C.组织架构不匹配。目前看,很少有机构会设置专门的部门去集中各种散落的数据,更别提对这些数据进行标准化的管理和维护了。
D.思维观念的滞后。如果说技术、资金、人才方面的劣势都可以通过后天的努力来补足,那么意识层面的缺失就需要相当长时间的培育了。
除了以上说的几点,大数据交易的安全性、定价的合理性、客户信息的保密性,都在一定程度上影响着大数据业务的规模和发展空间。
三、运营商玩大数据的心法与身法
啰里啰嗦地说了那么多,运营商究竟该怎么玩儿大数据呢?
窃以为先要回答好三个问题:一是数据在哪里?二是数据放哪里?三是数据怎么用?
1.数据在哪里?
都说我们正在经历一个全新的商业时代——分享经济的时代,消费者正在放弃传统的、效率低下的企业,转而投入分享型企业的怀抱,来获取他们想要的产品和服务。Uber让座驾更好地分享,Airbnb让空闲的房屋更好地分享,八戒网让创意和设计更好地分享……现在看,一切可以分享的都是价值数据。
在分享经济的时代,真正分享的是有效的供需关系。因此,在分享经济中,更重要的其实是创建供需场景,建立供需联系。
数据也是相同的道理。
随着移动互联网、云计算、物联网等新一代信息技术的爆发式发展,智能手机、平板电脑、可穿戴设备以及遍布各个角落的传感器,正在越来越多地接入到运营商网络。各种交互数据、传感数据正源源不断从各行各业迅速生成。这些数量庞大、种类广泛、迅速产生和更新的大数据,蕴含着前所未有的社会价值和商业价值。
如何能够有效挖掘并体现出数据的价值是亟待解决的问题。窃以为,关键就在于建立数据使用的场景并搭建数据交易平台。
比如说,城市规划设计院需要对新区进行商业价值评估,可以通过运营商的网格数据分析提供区域人口及经济状况解析;再比如,医疗机构需要在一段时期对药物及医疗设备做储备,可以通过医保报账平台统计该区域的医疗诊断及药物使用情况,预测出该区域可以发生的大规模疾病,从而及时储备相关资源。
重要的是,帮助数据消费者更加迅速有效地找到他们需要的数据,并促成双方交易。
2.数据放哪里?
如此大规模的数据存放在哪里也是考验大数据产业的要素之一。要知道并不是所有的机构都有足够的资源去建设自己的数据中心。而在这方面,运营商恰好可以提供服务。
通信行业有个词叫做“电信级服务”,意思是通信服务要具备不间断运行、大容量、高稳定性、可靠性等特点。而要达到这些条件,就需要完备的QoS保障机制,而其中重要一环就是设施先进、管理规范的通信机房。
因此可以说,在数据机房方面,通信运营商具有先天的优势。
能否将此作为运营商进入大数据市场的切入点呢?开放、合作就成了这个部分的关键词。前文说过,传统机构中有很多数据与信息孤岛,要想打破不断构筑的“数据墙”,首先是要将他们集中化的存储、管理、运营。因此,运营商的高标准数据中心或许只是一个必要而非充分条件,要让源自不同领域的数据发生“化合作用”的前提是将这些数据存放在运营商的数据中心里。
ICT基础设施有连接和存储的作用,其产生的数据通过不同的终端存储下来,这些数据在应用程序中使用才会有价值。而运营商同时具备连接和存储两项功能。
面向未来,运营商数据中心将成为网络的中心,构建面向业务的敏捷、柔性、绿色的云IT基础架构将使运营商数据中心成为新一代ICT基础设施的驱动中心。
3.数据怎么用?
先问一个问题,运营商现在最大的挑战是什么?
是端到端的质量保障不足导致用户体验还不够好吗?是受到OTT业务的冲击导致传统业务快速下滑吗?还是业务量收剪刀差不断加大、投资压力日趋吃紧吗?个人认为都不是的。
我们最大的挑战在于用户往往满足于现有的业务。这会让我们产生严重的路径依赖,从而也会形成“自满”情绪。
事实上,运营商现在面临了三大转变:
一是从关注功能向关注最终用户体验转变;
二是从提供语音和带宽向提供丰富、开放的ICT融合信息服务转变;
三是从基于人口红利的增长向应用创新增长转变。
这三个转变带来了商业模式、运营模式、研发模式和科技创新的转变,将驱动电信行业从封闭走向开放的数字化运营。
没错,就是数字化运营。
至少有三件事可以做:一是盘点数据资产;二是建立计算能力;三是开放数据平台。按照贵州移动芈大伟总经理的思路,运营商大数据发展路径分为1.0、2.0和3.0三个版本。
大数据1.0主要针对运营商内部分析,建设重点以数据整合和能力构建为主,为数据价值发掘奠定基础,重点支撑精准营销和精确建网;大数据2.0主要针对数据价值提升,重点是逐步拓展对内对外数据价值挖掘的能力;大数据3.0主要针对数据变现,聚焦重点客户和行业,构建数据生态系统,逐步凸显外部收入。
目前,运营商在IT系统和网络系统上积累了很多数据资产(当然如果处置不当也可能会变成数据遗产……),通过SDN和NFV等IT技术重构的通信网络,将会形成全新的弹性、智能的网络架构。而网络IT化,就要求建立以云数据中心为核心的网络架构,数据中心将成为ICT基础设施的核心,数据中心的布局和规划决定未来网络的架构,也决定了未来的竞争力。
伴随20多年的互联网发展,掌握未来的“联接一代”和“数字元人”已经长成。相比上一代人,他们的沟通、交友、娱乐、消费、工作、学习等行为方式和思维模式,已经发生深刻的变化,他们对于数字社会和互联网的依赖与生俱来,代表着互联网时代的新消费行为。
运营商新的业务运营系统不再是简单的支持系统,更不是简单的营销界面在线化,而是连接运营商、客户和合作伙伴,连接网络、应用和内容的价值创造系统和生态链系统。传统的线下营业厅或将大幅减少甚至消失,取而代之的,是用户可以全在线模式按需、实时定制享受各项服务,运营商通过大数据分析洞察客户和精确营销,提供更加智能的客户服务。
从购买产品走向购买服务,商业世界的游戏规则正在发生根本上的变化,商家和用户之间的关系从交付那一刻才刚刚开始。
互联网之父劳伦斯·罗伯茨曾讲过:“自网络诞生以来,我们只实现了网速的提高,而在提升网络性能及其他方面毫无进步。”
在这方面,运营商正在积极从消费体验出发打造新型的业务运营系统,新系统不再是简单的业支系统和网管系统,更不是简单的营销在线化,而是连接运营商、客户和合作伙伴,连接网络、应用和内容的价值创造系统。
【写在后面】
昨天晚上看了一篇文章,题目叫做《我们告别的不是一份工作,是一个时代》。
对于运营商来说,传统通信的黄金十年也早已过去,创新增长的白金十年或许才刚开始。
站在时代交替的十字路口,我满脑子都只有一个想法——
“或许我没有赶上通信业的黄金十年,但我一定不会再错过大数据时代的白金十年”
对了,今天是我33岁的第一天。
我虔诚许下愿望。一个关于未来的愿望。
庄子在《寓言》篇里有一段:“一年而野,二年而从,三年而通,四年而物,五年而来,六年而鬼入,七年而天成,八年而不知死、不知生,九年而大妙。” 讲的是入世的不同心路阶段。
我可不想止步于“一年而野、二年而从”,错过了“七年天成,八年不知死、不知生,九年大妙”的境界。
壮阔时代,我来了。
阅读:43235
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
阅读:1460
阅读:11万
阅读:11万
阅读:10万
热门文章HOT NEWS
天天果园线下店关闭,京东错失渗透率不足5%的生鲜商机?
八卦掌门人
读懂新三板
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻怎么充分利用大数据寻找商机?--百度百家
怎么充分利用大数据寻找商机?
分享到微信朋友圈
在大数据时代,数据量日益增加,所以展现在我们面前的就有两个根本性的问题那就是,其一,海量数据如何来存储,其二就是海量数据如何分析,将数据转换为真正的商机呢?下面新霸哥将和你详细的探寻。
在大数据时代,数据量日益增加,所以展现在我们面前的就有两个根本性的问题那就是,其一,海量数据如何来存储,其二就是海量数据如何分析,将数据转换为真正的商机呢?下面新霸哥将和你详细的探寻。
海量数据存储一直是一个很重要的问题,由于现在技术在不断的发展,人们对于海量数据的存储有了新的方式,那就是使用分布式系统来存储海量数据。在传统的数据库无法解决现有数据存储的问题时候,像oracle数据库是比较经典的关系型数据库在没有我们现在使用的分布式解决方案的时候,很多的大型存储厂商都会使用oracle来存储数据,但是随着数据在不断的扩大,oracle数据库已经不能满足人们的需求了。
传统的数据存储需要的成本很高的,数据共享,计算查询能力有限的。但是我们使用的以Hadoop生态环境为代表的分布式计算,存储集群能够很好解决这个问题,最重要的一点那就是成本比较低。
大数据集群能够实现海量数据存储,数据共享,数据分析等等,同时解决了数据备份的问题,传统的存储中如果数据丢失有备份还好恢复,如果是没有备份的那就很难了,但是像集群这样的就不会出现这样的问题了,因为集群中如果有一台机器坏掉了,不会影响集群中的数据的完整性,因为数据在其他的节点上是有备份的,就是因为了有了这么多的好处,所以越来越多的公司都会选择使用分布式数据存储解决方案。
大数据技术是一项非常流行的专业,越来越多的朋友都在学习,新霸哥在前两篇文章中提到了大数据中的一项解决方案hadoop离线数据分析解决方案,发现很多的朋友对这项技术很刚兴趣,很想学习,其实这里面还有很多的新的技能,新霸哥也在不断的学习,因为大数据这方面的水很深,所有的资料都是英文的,看起来很费劲。但是只要你坚持下来了就一定有收获的。
对于新手来说新霸哥建议还是要从最基础的方面来学习,多看看hadoop官方的文档,这些才是有用的资料,对于有些网上的一些翻译过来的文档有一些是有问题的,可能会对初学者造成一定的理解障碍。如果你是真的对hadoop这块很感兴趣,建议多看看官方文档,也可以和新霸哥交流。
从现在的很多招聘网站上可以看到,大数据的公司对大数据人才也是有一定的要求的,要懂的一门数据处理方法,遇到问题能够解决,对于大数据的解决方案要知道从集群的建立到数据的存储,数据分析,数据挖掘等等。这里要有一整套的解决方案才行的。
有了海量数据后,建立一个商业模式能够很好的为人们提供服务。
我们生活中的到处都有监控系统,如果可以得到这些数据,在借助大数据分析,这样交通违章就能够在短时间内通知违章的司机。
如果你生病了是不是要去医院治疗,医院将使用大数据建立更好的模型能够很快的更好治疗疾病,减轻病痛的折磨。
金融行业也可以利用大数据分析,为用户提供一套合理的理财方案,让你获取更大的收益。
看完了上面的介绍后相信你已经找到了一条属于自己的创业方向了吧,传统的行业在云计算的带动下都有了很多的改变,同时也存在着很多的商机等着我们可发现。好了新霸哥今天就先写到这里了,如果你想学习大数据方面的知识建议多看看源码,因为这些是最核心的技术。
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
阅读:11万
阅读:11万
阅读:10万
热门文章HOT NEWS
天天果园线下店关闭,京东错失渗透率不足5%的生鲜商机?
八卦掌门人
读懂新三板
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻大数据到底是不是“算命”?技术大牛们这样说--百度百家
大数据到底是不是“算命”?技术大牛们这样说
分享到微信朋友圈
有关大数据预测的争论从没有停息过,一部分拥趸认为大数据不仅能精准预测,还可以勾绘出一个“天大的故事”。唱衰者通常满怀讽刺的将大数据与算命划等号。
大数据的门槛
TBO(旅游商业观察):“如果你只有一堆人的电话号码,这可能没多大意义。但像携程的数据,比如所有人提前预订、搜索、浏览、点评的信息等,这就是有价值的。但更深层的核心是,你能不能在某个产品上使用到这些数据,而且确实有帮助。”众荟数据智能事业部总经理焦宇对TBO(旅游商业观察)说。
美团云大数据平台负责人对此表示认同,“首先要弄清楚拥有的数据是否有价值,是否有人愿意为其买单。另外则是源数据的丰富度,是否能够为数据价值的发挥带来补充和完善”。
显然,数据收集的目的并不单单是把数据集中起来,最终还是要在实际运营中发挥作用。拥有数据只是开端,如何深入分析、洞察数据彼此之间的关联,才是大数据应用的关键,这也是众多手握大数据企业的分水岭。
不过,在这个过程中,有一个不容忽视的问题,那就是数据的质量问题。“错误的输入,换来的必然是错误的输出”,蚂蜂窝大数据技术总监韩鑫在接受TBO(旅游商业观察)采访时就特别指出了这个问题。
“真正决定数据挖掘成败的是数据本身的质量,对于算法的合理使用和优化反而是次要的。由于大数据的兴起,我们很容易获得庞杂的数据;然而单纯地指望从高深的算法中去获得我们想要的信息而忽视数据本身的质量,往往只能是空中楼阁。”
对大数据而言,表面上看数据是越多越好,因为更多的数据可以产生更能拟合真实情况的场景,但同时更多的数据也产生了更多的噪音——所以单纯的数据的量的增加并不能提高计算的精准度。
因而拥有高质量的数据,要远比握有一堆庞杂的数据更有价值:这样既能减少数据挖掘的难度,也有利于提高数据挖掘的精度。但是,这就是大数据的核心门槛吗?
韩鑫认为:“建立完整的大数据体系还需要两个重要的因素,业务的丰富程度和数据思维的融入。”
焦宇从自己的实践经验出发,谈了自己的看法:“对一个特别好的产品经理来讲,大数据的门槛首先是要理解这个东西到底是什么;第二建模能力要强。从这两方面说,人才相对都是稀缺的。比如有些公司是有大数据的,但要找到很牛的人来做这件事情,虽然理论上讲是可以随时找到的,但事实上却很难。”
“第一个是大数据。第二个方面,有人把数据比喻成‘石油’,有石油宝藏还得有机器、工具把它挖出来,这个工具就是机器学习。第三方面是计算能力的进步。工具再强,没有非常强的计算能力,还是跑不动的。”滴滴研究院院长何晓飞则给出了这样的答案。
数据挖掘的难点
数据挖掘,不像收集数据填几张表,问几个问题就能轻松实现。它的专业性相对较高,运用的知识、技术难度也明显加大。因而大多数的数据挖掘基本是由专业人士或专业团队来做的。
另外,建模的成功与否,对数据呈现的结果也有非常重要的影响。模型不同,结果也往往会出现差异。
“任何人都能搭出来一个模型,只要搭出模型就能有结果,但这个结果是不是反映真实世界?因为数据之间的关系,并不是直接的线性关系,因此模型可以非常复杂。所以你先得知道你要解决的是个什么问题:从统计上来讲,是哪种类型的问题,它有什么样的特性,你在数据上的采集有什么局限?然后再找到跟这个问题最接近的模型。”焦宇说。
“数据挖掘的难点在于,主要数据收集和最终应用之间的相互关联却又矛盾的关系,这类似于‘先有鸡还是先有蛋’的问题。两者之间相互影响相互补充,导致其相对其他类别的程序开发而言,是更为漫长而又复杂的过程。” 韩鑫说道。
无论是焦宇所说的模型,还是韩鑫所说的算法,其实都在强调一个重点:根据实际情况变化对模型和算法做出相应的调整。没有固定的规则,只有时时更新的数据和不断变化的情况,所以运用的规则也要因时调整。
美团云大数据平台负责人则认为,如何拿到“规范的数据”才是真正的难点所在:“新美大每天产生p级别的数据,包括大量的商户、用户和交互数据;每天通过hadoop、hive、spark、storm等大数据工具进行批量和实时的清洗,才得以形成规范的数据。”
然而,也许最难的一点还是在于那个最实际的问题。技术快速发展,提供了像应用统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法等诸多方法来处理信息,这既降低了数据挖掘的难点,同时也提高了数据挖掘的效率和精准度——但所有的这些,都需要不菲的资金。
许多人可能都听说过那些使用大数据的辉煌案例:Facebook每天要存储大约100TB的用户数据;NASA每天要处理约24TB的数据。那么处理这些数据所需的成本是多少呢?
按照亚马逊Redshift的定价,NASA需要为45天数据存储服务支付超过100万美元。而根据国外的一项调查,大多数企业的CIO称他们的预算支付不起大数据部署的成本,数据存储和处理的成本实在太高。
大数据真的精准吗
“对一个具体区域来说,滴滴数据大脑已经达到提前15分钟实现超过88%准确率的预测。根据预测结果,就可以选择要不要对司机运力进行调度,使在附近的司机可以提前到达运力紧缺的区域,以缓解可能发生的拥堵。对于出行领域而言,预测的是未来的交通情况,以帮助智能调度。”滴滴研究院院长何晓飞曾这样对外表示。
这是一个正面案例。反过来看,如果大数据无法为企业营销、决策、运营找到合适的解决方案,那它的应用前景自然不会被企业看好。所以大数据到底“准不准”,从最初就是商业力量最关注的点。
比如在《黄金时代》上映前,百度就对其票房做过预测,认为这部电影十一黄金周的票房会在2——3亿元之间,当时也有不少媒体都认为百度的预测过于保守。实际情况出来后却让人大跌眼镜,上映半个月票房还没过5000万。
作为互联网公司的排头兵,百度拥有的数据量其他企业自然是难以匹敌的,但出现这种结果,却不能不令人深思。
“大数据归根结底还是历史数据,是否能用于预测未来,既要看具体的问题,也要看从历史数据中分析出来的规律是否能在未来重演。仔细分析问题,梳理规律适用的条件,充分理解数据、理解技术的局限,做到正确的使用大数据的成果,才能有对现实起到真正的作用。”韩鑫说道。
事实上,单纯来看一个结果并不能反映出预测的准确与否。焦宇表示,“就像大家都知道,采取最佳玩法的情况下21点的胜率可以提高到49%。但这个概率对于某一人某一盘来讲其实是没有意义的,只有当10万人同时进行21点游戏,最后你会发现所有人的获胜概率就是49%。”
焦宇所供职的众荟信息,会通过数据分析为酒店提供收益管理预测。焦宇表示,对于真正成熟、有经验的收益经理来说,并不需要提供给他一个代表最终结果的数字——企业只需将整合的数据给到这些收益经理,他们自己可以通过数据制定出一个最合理的价格。
中小企业的数据优势
从另一个角度来看,大数据预测的基础还是需要一定量的数据。但究竟多大的数据量才算是大数据?这个问题业内并没有一个统一的划分标准。而中小企业也掌握一定量的数据,那么与BAT相比它的优势又在哪?
阿里研究院高级专家程欣指出:“中小企业的大数据主要是会员数据和订单数据,用途是crm和定价分析,但无法分析不是自己的用户。”每一类企业都有自己的短板,最明智的做法不是去一味的补齐短板,而是要充分发挥自己的优势。
而数量和丰富性是大数据的两个面。BAT虽然在数据量上占据优势,但却在丰富性上受到局限,甚至并不具备垂直领域UGC所具备的大数据能力。中小企业则可以充分利用自己在垂直领域里深耕的优势,将数据的丰富性提升上来,从而获得差异性的优势。
所以,中小企业对自有的数据进行深耕,在数据挖掘方面也并非就一定比BAT等大型企业差。
美团云大数据平台负责人认为:“用大数据是希望能够有更全面的信息帮助企业决策,而不是为了用大数据而用大数据。应该反过来看,企业的数据内容,是否能够为某个行业的深度应用带来补充。所以中小企业的数据,这里我不想提‘大’这个字,有点过于强调概念了,关键是看内容层面是否有垂直化的信息补充,采集到BAT所没有的数据。”
数据挖掘技术的诸多门槛,以及建立数据挖掘部门所需的投入,也决定了并非所有的企业都能拥有数据挖掘能力。数据挖掘能力要与公司规模与发展阶段相匹配,在产品并不成熟的情况下,从现有人员中根据业务需要兼职去做会是一个不错的开始,并不一定需要配备独立专职的团队。
在业务逐步走向成熟阶段,再逐步建立专业化的数据团队,则是一个更现实办法。
“目前国内的公司往往在B轮左右,开始搭建自己的数据团队,开始具备初步的数据挖掘能力了。但基于此前所说的大数据‘门槛’,并非所有搭建数据团队的公司,都可以被称为大数据公司。”韩鑫说。
不过韩鑫坦言,大数据就像是好的武器,到底能否有效、规模化的在各个战场取胜,在于如何分析战场形势,合理的使用武器达到战术目的,形成战略性胜果。
想真正的起到规模化的效果与作用,需要公司全员的努力,不能仅仅期待建立一个数据团队。要在日常产品设计研发运营的各个环节,从基本的统计、分析入手,逐步形成全公司全员性的数据化思维,让数据驱动运营、数据驱动研发、数据驱动产品等深入骨髓。
公司的数据体系建设也要围绕各个业务各个职能角色进行设计与搭建,让所有人都能参与进来,每个人成为公司数据能力的一部分与推动者。
TBO&千人读者群 欢迎您的加入
添加管理员微信:p
城市+公司+名字 实名申请
媒体聚焦 观点切磋 资源对接 广交英雄
—新闻识天下·知己遍江湖—
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
阅读:28万
阅读:24万
阅读:18万
热门文章HOT NEWS
天天果园线下店关闭,京东错失渗透率不足5%的生鲜商机?
八卦掌门人
读懂新三板
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻}

我要回帖

更多关于 学大数据有前途吗 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信