社会化媒体
了解更多>>
桂ICP备 号
桂公网安备 36号
阅读下一篇
Hi，在你登录以后，就可以永久免费的收藏任何您感兴趣的内容，关注感兴趣的作者！
请输入正确的邮箱
已有帐号请点击
帐号创建成功！
我们刚刚给你发送了一封验证邮件
请在48小时内查收邮件,并按照提示验证邮箱
感谢你对微口网的信任与支持
如果你没有收到邮件，请留意垃圾箱 或 重新发送
你输入的邮箱还未注册
还没有帐号请点击
你输入的邮箱还未注册
又想起来了？
邮件发送成功！
我们刚刚给你发送了一封邮件
请在5分钟内查收邮件,并按照提示重置密码
感谢你对微口网的信任与支持
如果你没有收到邮件，请留意垃圾箱 或 重新发送
对不起，你的帐号尚未验证
如果你没有收到邮件，请留意垃圾箱 或
意见与建议
请留下您的联系方式
* 留下您正确的联系方式，以便工作人员尽快与你取得联系程序员想从事大数据，必须掌握这10个技能！ - 简书
程序员想从事大数据，必须掌握这10个技能！
用雨后春笋来形容每天来自全球的新项目，一点都不为过，尤其是与大数据相关的。逆水行舟，不进则退，没有更多的技术作为支撑，程序员们小心脚步会跟不上哦。下面就来盘点10个洪荒开源大数据技术，大圣众包威客平台（）为你倾情整理！1.Apache BeamApacheBeam在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。而且，它提供了很多在线框架，省却了开发者很多学习框架的时间精力。
2.Apache Hive2.1Hive是建立在Hadoop上的数据仓库基础构架。随着最新版本的发布，ApacheHive的性能和功能都得到了全面提升，它已成为SQL在大数据上的最佳解决方案。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）——这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。3.Hadoop高效、可靠、可伸缩的Hadoop——能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。
4.KafkaKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。从Spark到NiFi再到第三方插件工具以至于Java到Scala，Kafka都提供了强大的粘合作用，它已成为大数据系统在异步和分布式消息之间的最佳选择。5.NiFi堪称大数据工具箱里的瑞士军刀的ApacheNiFi，是由美国国家安全局（NSA）贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。其中，它的两个最重要的特性是强大的用户界面，以及良好的数据回溯工具。基于其工作流式的编程理念，NiFi非常易于使用，而且强大、可靠、高可配置。6.Phoenix作为HBase的SQL驱动，Phoenix目前被大量的公司采用，它正在逐渐扩大规模。HDFS支持的NoSQL能够很好地集成所有工具，Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。
7.SparkSpark使用简单，而且可以支持所有重要的大数据语言，如Scala、Python、Java、R等。同时，它还拥有强大的生态系统，且成长迅速，对microbatching/batching/SQL的支持也很简单。最重要的是，Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。8.Sparkling WaterH2O填补了Spark’sMachineLearning的缺口，SparklingWater可以满足你所有的机器学习。9.Stanford Core NLP自然语言处理拥有巨大的增长空间，斯坦福正在努力增进他们的框架，StanfordCoreNLP横空出世。10.ZeppelinZeppelin是一个提供交互数据分析且基于Web的笔记本，方便用户做出可数据驱动的、可交互且可协作的精美文档。同时，它还支持多种语言，包括Scala（使用ApacheSpark）、Python（ApacheSpark）、SparkSQL、Hive、Markdown、Shell，等等。在科技圈都知道，作为当今最热门的技术之一的大数据，正呈爆炸式增长。幸运的是，开源让越来越多的项目可以直接采用大数据技术，这也为程序员提供了多一条出路。原文地址：PS：8月31日大圣众包平台公测期就截止啦！拖延症患者们，3个月的首批注册用户招募期就要结束啦，再不登录注册专享福利就木有啦！（更多大数据与商业智能领域干货、兼职机会及行业资源分享等请关注大圣众包平台，或添加大圣花花个人微信号（dashenghuaer)，拉你入bigdata&BI交流群。)
（http：//），诚邀大数据与BI的亲们交流，探讨！
微信可加：dashenghuaer查看: 5103|回复: 1
程序员学习大数据云技术的 10 个（方法）建议
主题帖子积分
我们生活在一个振奋人心的时代。我们可以越来越方便廉价地获得大量学习资源。这些资源的传播载体由最初的教室被变成了博客，技术论坛等。坐拥如此众多的学习资源，我们没有任何理由不去好好利用。随之而来的问题便是如何在这知识的海洋中选择自己的前进方向。在这篇文章中，我将简要概括一些技术学习的建议，希望可以给你带来一些启发。
尽管我的建议主要涉及的是软件开发方面，但是这些原则在其他领域也同样适用。
1. 克服惯性
万事开头难，克服惯性是学习新技术的第一步。举个日常生活中惯性存在的简单栗子，当我们看电视的时候会因为遥控器不在身边而懒得换台。幸运的是有很多的小技巧可以调动我们的积极性，帮助我们克服惯性。对于我来说，微习惯是一个很好用的小技巧。与其被手头的任务吓到，不如将任务细分为一个个具体的微任务，然后挑选其中的一个开始做起。就“拿到遥控器”这个例子来说，首先扭动你的脚趾，向前伸出，然后推动整个人离开沙发。下一步，身体滑到地上，用脚拿到遥控器，然后起身。通过完成一个个的微任务，你会发现自己克服了惯性，并且这项任务不再显得难以完成。这个方法可以被应用到学习新技能的过程中。关键就是将大块任务细分为微任务。
2. 关注大牛
学习新技能的第一步是明确要学什么。它可以是任何你有激情去学，并且想深入学习的一些东西。这种原始的学习欲望非常重要，这种欲望可以在你的学习低潮期给你提供动力。你想学的或许是一门新的编程语言、应用框架或者是新的工具，一旦你确定了想要的是什么，就立刻去收集相应的优秀群体所做的一些优质的工作成果。这些可以从YouTube、Vimeo、HackerNews、各种博客，甚至是你的微博好友那里获取。关注别人做了些什么可以给你强大的信心，让你觉得 “You can do it, too!”
3. 建立知识网
当你对自己要学习的东西建立了信心之后，接下来要做的就是做一块海绵，然后开始疯狂地吸收知识。从Google搜索关键词“beginner tutorials”开始吧，搜索一些跟你要学习的知识相关的入门教程。如你所知，Nettuts+上面有成千上百的各种教程供你选择，StackOverflow上面也有很多学习资源。此外，Quora也是一些不错的选择。通过浏览这些网上的资源之后，如果想要集中精力学习某一方面，这时就需要阅读一些相关的书籍了，个人推荐在Amazon上面寻找一些评分较高的专业书籍来提高自己。
4. 多听多看
随着你对技术的深入挖掘，你可能会想利用更多其他形式的学习资料，比如podcasts，screencasts等等。我的建议是多用 iTunesU，这上面有很多很专业的知识可以让你对于特定的领域进行深入的探索。
目前，有很多的网站都有提供在线教育服务。王婆卖瓜，这里要首推我们自己的Tuts+ Premium。想要学习PHP或者JavaScript？这里有你最需要的资料。另外，你也可以在下面几个网站上找到自己需要的教程：
UdemyCodeCademyCodeSchool
此外，你也可以看一些免费的会议视频材料，比如YouTube上面的Google IO，以及Confreaks！
5. 行动起来
现在你已经看了一波又一波的教程以及视频资料，并且对于想学的技术已经有了一个相当深入的了解，接下来做些什么呢？没错，是时候理论联系实际了，实践是检验真理的唯一标准。
用你所掌握的技术做一个个人的小项目，设计一些简单的功能并且实现他们。毫无疑问，你会遇到很多的绊脚石，当遇到它们的时候，在StackOverflow或者Google上面搜索之，解决之。你已经踏上一条成为某一领域专家的旅程，遇到的困难挫折越多，你会变得越睿智。有句老话说得好，“专家是犯错最多的人”，这意味着他们尝试了很多疯狂的事情来探索这门技术的极限，最后，对于这门技术是如何运作的就可以知根知底。拥有这种洞察力之后，他们便可以随心所欲的运用这项技术去按照自己的意愿完成想做的事情（当然，是做好的事情）。
在你进行你的探险之旅的时候，实时记录下你的成长以及犯下的错误大有裨益。在技术领域，博客是最简单易得并且受欢迎的表达载体。当你准备落笔的时候，你会强迫自己整理思路，并且对积累下来的零散的知识片段进行结构梳理。说不定，通过互联网的分享，你的经历和分享会给别人的成长带来帮助。
如果你想走的更远（比如想像Nettuts+上面的职业作者一样），你也可以制作属于自己的screencasts。总的来说，写博客能够提升你的个人沟通能力，这与你学到的技术同样重要。
（伯乐在线注：关于写博客，我们已在多篇文章中鼓励大家去博客。比如这一篇《即便没有读者，你也要写博客》）
7. 感受技术的脉搏
社交网络已经广泛应用于人们的日常交流以及发现新鲜事物。Twitter和Facebook是信息的主要来源，与此同时，有很多的网站提供更专注的资讯，如前面提到过的Quora网站，这上面有很多涉及面很广的一些话题供人们评论。在这上面可以找到很多知名大牛的建议以及观点。
浏览StackOverflow上面的众多话题是一个很有意思的过程，你可以看到他人如何探索某种技术的极限。事实上，在人们利用技术做一些疯狂的甚至是荒诞的事情的时候，技术也随之不断的成熟起来。
因此，如果你想要感受到技术的脉搏，并且想确认它是否值得学下去，在StackOverflow上面试着搜索一些话题，看看这个讨论社区的广度与深度。最值得看的是投票最多以及热门话题。你也可以尝试在GitHub上面进行搜索。
8. 参加聚会以及会议
尽管社交网络很棒，但是没有任何事物可以取代面对面的交流。在你住的附近参加一些小组聚会，在这里你可以找到志同道合的伙伴。你可以知道他人在做的一些有趣的项目，同时也可以在他人的帮助下解决一些自己遇到的难题！同样的，技术会议对于分享经验以及增长技术大有帮助！
9. 拥抱GitHub
GitHub是全世界开源项目的标志性建筑物。它是知识以及优质代码的宝库。当你对某项技术自我感觉良好的时候，下一步便是在GitHub中浏览寻找有趣的项目。阅读开源代码，尽可能多的阅读。这样做的话，你能够学到很多东西，比如说：
如何管理规模较大的项目项目中应用的有趣的库代码规范以及代码全局设计文档风格测试规范解决诡异问题的方法，以及发现项目中有问题的地方所有的这些知识都在等待着你去挖掘。有趣的是，这些知识的通过一个简单的标签就可以得到，那就是“好奇心”。
10. 专注学习
如果你担心上述的学习过程太迟缓，那么你也可以尝试一下快速学习模式。你或许听说过“24小时学会某某某”，但是这种方式不是我所推荐的。我认为更合理的是用几周的时间去学习。你可以尝试一下类似“七周学会七种语言”或者是“七周学会七种数据库”等学习方法。尽管这些讲的是语言以及数据库方面的学习，但是你在学习其他技术的时候也可以运用这种思维。
有一个不太相同的学习风格是“困难学习模式”，这种观点的前提是没有人可以真正掌握一门技术，除非每天都练习。所以，想要成为专家，你就需要不停地进行练习。异曲同工的是你可以查看Katas 和 Koans，他鼓励的使用你学的知识来解决问题。这些可以让你更好地入门以及接受那些陌生的概念，勇敢走出自己的舒适区，开始学习新知识！
学习一门交叉的技能
编程是一项左脑的运动，它利用的是大脑的分析能力，一步一步地寻找解决问题的方法。为了发挥右脑的功能，你可以尝试从事一些创造性的活动，比如说画画、3D建模、折纸、乐器甚至是制作家庭相册等。事实上，编程同样需要大量的创造力。或许你曾经遇到过类似的事情，你在睡梦中找到了问题的解决方案。这是因为你的右脑处理问题的方式很不同，它可以从各种地方获得信息。敏捷开发权威人士Andy Hunt就这个话题写了一本书《程序员的思维修炼》。如果你想点燃你的每一个神经元，建议你开始学习一门交叉的技能。
掌握一门新技术振奋人心，这是一项影响你思维的新的体验。但是首先，你必须克服你的惯性，一旦你做到了，你便开启了从web的每个角落学习知识的旅程。我希望上面讲的十点能够给你的旅程带来一些帮助或启发。
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
高级会员, 积分 1104, 距离下一级还需 3896 积分
高级会员, 积分 1104, 距离下一级还需 3896 积分
学习了 谢谢楼主
经常参与各类话题的讨论，发帖内容较有主见
经常帮助其他会员答疑
积极宣传本站，为本站带来更多注册会员
积极宣传本站，为本站带来更多的用户访问量
长期对论坛的繁荣而不断努力，或多次提出建设性意见
活跃且尽责职守的版主
为论坛做出突出贡献的会员
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered by关注微口网微博
微信号：iweikou
每日一题只差点点 （打一字）注严重众号“求职秀”回复&0719 获取答案（图二）秀妹在网上发现了2016年程序员作业薪酬陈述。该陈述来自国内某渠道内程序员用户的查询问卷。核算发现，前端、后端和移动开发工程师是占比最多的，大数据工程师最值钱。下面一同解读一下这份陈述：假设掉下一块砖砸到程序员，他十有八九是后端或许前端，最不或许的是测验工程师。（图三）5年作业阅历的最有资历逃离北上广程序员薪酬一向居高不下。北京程序员均匀薪酬是12715元，和此相差无几的是上海、深圳、南京和西安，所以程序员在逃离北上广往后挑选南京和西安也会有不错的日子。在作业年限上，1-3年和3-5年的工程师均匀薪酬相差不多，而5年往后的工程师薪酬有了显着的上升，这阐明资深工程师在商场上愈加抢手。（图四）大数据工程师最值钱大数据工程师和后端开发工程师及移动开发工程师是薪酬榜的前三名。居于第一是大数据工程师。当然，优势才是王道，做拿手的事比做挣钱的事首要。工程师中哪个细分工种薪酬最低？运维工程师最悲催，在哪个城市都欠好过，薪酬是均匀薪酬的3分之二；测验工程师和游戏工程师薪酬表现也比照疲软。当然从将交游前看，现在给的薪水必定是便宜的，还要归纳渠道、本钱、人脉、才干增值这些无形的东西做归纳判别。融资到B轮和D轮的公司最豪爽融资到哪轮的公司，给工程师的薪资最高？D轮以必定优势胜出，比照好了解在于一般融资到D轮的公司现已变成作业俊彦，高速翻开。可是融资到B轮的公司给到的薪酬也很高，这或许反映出国内创业公司的特征：总算拿到B轮了，逃过了A轮死，幸亏之余又有钱固执。（图五）可是还有一点你想不到，许多程序员地点的组织，并不需求融资。（图六）程序员会8种言语刚刚好会的言语越多，薪酬越高，不必定！会8种言语薪酬最高，对一般程序员来说4到5种言语就够了。科学核算通知你，逾越8种言语不必定混的好哟。（图七）薪酬和喜好，该怎样挑选？2016年程序员们最喜爱学习的排行前三的言语是啥？800多名极客学院的用户答复了这个疑问，Java占有了开发言语的半壁河山，这跟Android的翻开强壮是分不开的，也充沛阐明一门言语的跨渠道与可靠性是多么的首要。HTML/CSS变成后起之秀。那么运用哪种言语的工程师薪资高？xcode、Ruby、go是薪资的前三名，比起Java系列薪资多了快到4分之一，攻城狮们是不是要参阅一下，用技能来改善日子呢？（图八）出资人爱VR CTO爱大数据在将来技能方向的查询中，工程师最看好的是大数据、人工智能、移动开发、云核算、这几项不分伯仲，是技能人员的最看好的方向。本年最热的VR并不在其间，这是不是意味着技能派的将来CTO们并不太伤风热的发烫的VR呢？（图九）Swift和微信是工程师眼里的网红有多少移动端开发工程师在将来6个月会挑选运用Swift言语进行开发？逾越3分之二的移动端工程师挑选运用swift言语进行移动端的开发。这标明：作为Objective-c的继任者，Swift将会有飞速的翻开，跟着时刻的堆集，更多的App将选用这种更简练的言语开发iOS运用。有多少人挑选进行微信Web开发？相同逾越了三分之二，微信的24个月的盈利窗口期看来还会延伸，从技能的视点微信的盈利也是正其时，程序员是微信的铁粉。Java&C++会被替代？骑墙派占了大大都，对将来的不断定性添加，当然以为不会的同学也占到了必定的份额，总归这事儿说不准。（图一十）喜新厌旧是程序员的天分！前端结构的干流依然是Angular.js 、BootStrap、React，移动端开发结构也是Meteor和Ionic为主，不过能够看出，后期之秀，Vue.js和ReactNative现已锋芒毕露，这也是程序员对技能“喜新厌旧”的天分使然，本年注定这两个结构将变成学习的主阵地。（图一十一）学习Python正其时后端开发技能范畴广泛，Java 、PHP、Node.js一向是领头的方位，不过能够看出，跟着大数据、人工智能和VR技能的大力翻开，Python所触及的结构被不断添加运用起来，Django更是凭仗其易学易用的特征排行前6，所以假设你想测验一个新的范畴，Python不失为学习的首选。自立学习，程序员独爱在线录播视频（图一十二）入行5-10的工程师最喜爱线上的训练课程，不差钱、有用果的学习办法。不分作业年限，逾越60%的程序员们独爱在线录播视频，而各大教学组织推出的直播视频看来还需求培育用户习气。愈加深度的图文内容也得到了职场新人的等待。来历：达内科技jobshow效劳号微信号：jobshowcn（图一十三）（图一十四）top10 最热文章&求职秀后台回复对应要害词检查&“最热文章”回复 N1 检查：回复 N2 检查：回复 N3 检查：回复 N4 检查：回复 N5 检查：回复 N6 检查：回复 N7 检查：回复 N8 检查：回复 N9 检查：回复 N10 检查：直奔Offer，不走弯路！
关键字： 数据,工程师,最值,值钱,大数,程序员,薪酬,报告,2016,发现
看过本文的人还看过
人气：1334 更新：
人气：656 更新：
人气：536 更新：
人气：481 更新：
求职秀的更多文章
大家在看 ^+^
推荐阅读 ^o^
『中國邊疆研究與歷史書寫』研討會日程安排
过真伤己、过直伤人
中国人走得太远太快，灵魂跟不上了（深度好文）
他说第二，有人敢说第一吗？
猜你喜欢 ^_^
24小时热门文章
微信扫一扫
分享到朋友圈20:53 提问
.net程序员想转大数据云计算方面的可行性，或者有什么好的学习路线！
.net程序员想转大数据云计算方面的可行性，或者有什么好的学习路线！
正如我所说的，我是学习.net出身，自认为基础还可以，对大数据和云计算方面充满了好奇和向往，就想找个这方面的工作，并且想学习学习这方面的知识，不知道各位有没有好的意见，或者说这样可行吗？
按赞数排序
补充一下，我是本科生，所以基础知识方面应该还可以！
云计算本身没有什么好学的，除非你是做基础架构的运维。
云计算是商业模式而不是技术，这种模式类似租借模式，将你购买硬件软件一次性支付费用转变成按需租用硬件和软件。
当然了，云计算使得你一下子就可以接触到更大规模的硬件，比如说你们公司要做一个秒杀活动，需要100台服务器。
在原来，你们公司没钱买这么多的服务器，自然不搞了。现在，如果你们公司使用云计算，完全可以租用100台服务器，只租用1、2天，这个费用相比自己购买100台服务器要少很多。
所以有了这个需求。所以云计算使得那些海量的、分布式的计算技术普及了，比如你看hadoop hbase mapreduce之类那么火，但是本质上这些和云计算无关。如果你是土豪，自己买硬件一样可以做。
云计算不是要有很强的Java基础吗？
云计算主要就是大数据的组织，分析。然后熟悉一下hadoop框架
其他相似问题}