注册 | 登录
大王叫我来巡山
产品经理就业特训营，专门为大学生和准备转型做产品的人量身定制，60天线下培训，包就业！
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境
一、大数据分析的五个基本方面
1、可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2、数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3、预测性分析能力
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4、语义引擎
大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。
5、数据质量和数据管理
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
二、如何选择适合的数据分析工具
要明白分析什么数据，大数据要分析的数据类型主要有四大类：
1、交易数据（TRANSACTION DATA）
大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。
2、人为数据（HUMAN-GENERATED DATA）
非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。
3、移动数据（MOBILE DATA）
能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。
4、机器和传感器数据（MACHINE AND SENSOR DATA）
器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)。
三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师
随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。
这3个职业具体有什么职责
数据科学家的工作职责
数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。
数据工程师的工作职责
分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。
大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。
根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。
与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。
数据分析师的工作职责
就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。
此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。
大数据分析师需要掌握的技能
从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。
一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。
指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。
懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。
四、从菜鸟成为数据科学家的9步养成方案
首先，各个公司对数据科学家的定义各不相同，当前还没有统一的定义。但在一般情况下，一个数据科学家结合了软件工程师与统计学家的技能，并且在他或者她希望工作的领域投入了大量行业知识。
大约90%的数据科学家至少有大学教育经历，甚至到博士以及获得博士学位，当然，他们获得的学位的领域非常广泛。一些招聘者甚至发现人文专业的人们有所需的创造力，他们能教别人一些关键技能。
因此，排除一个数据科学的学位计划(世界各地的著名大学雨后春笋般的出现着)，你需要采取什么措施，成为一个数据科学家?
复习你的数学和统计技能。一个好的数据科学家必须能够理解数据告诉你的内容，做到这一点，你必须有扎实的基本线性代数，对算法和统计技能的理解。在某些特定场合可能需要高等数学，但这是一个好的开始场合。
了解机器学习的概念。机器学习是下一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，并且无需显式编程。
学习代码。数据科学家必须知道如何调整代码，以便告诉计算机如何分析数据。从一个开放源码的语言如python那里开始吧。
了解数据库、数据池及分布式存储。数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。如果当你建设你的数据存储时没有整体架构或者超前规划，那后续对你的影响将十分深远。
学习数据修改和数据清洗技术。数据修改是将原始数据到另一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。两者都是数据科学家工具箱中的必备工具。
了解良好的数据可视化和报告的基本知识。你不必成为一个平面设计师，但你确实需要深谙如何创建数据报告，便于外行的人比如你的经理或CEO可以理解。
添加更多的工具到您的工具箱。一旦你掌握了以上技巧，是时候扩大你的数据科学工具箱了，包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。
练习。在你在新的领域有一个工作之前，你如何练习成为数据科学家?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据科学家、参加训练营、志愿者或实习生。最好的数据科学家在数据领域将拥有经验和直觉，能够展示自己的作品，以成为应聘者。
成为社区的一员。跟着同行业中的思想领袖，阅读行业博客和网站，参与，提出问题，并随时了解时事新闻和理论。
五、从入门到精通—快速学会大数据分析
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境，详细演示hadoop三种模式的安装配置，以案例的形式，重点讲解基于mahout项目的大数据分析之聚类、分类以及主题推荐。区别于普通的JAVA程序员，本课程的重点是培养基于Hadoop架构的大数据分析思想及架构设计，通过演示实际的大数据分析案例。
来源：机房360
收藏已收藏 | 69赞已赞 | 13
大王叫我来巡山
产品经理群运营交流群求职招聘群
Axure交流群
PM要学点技术
关注微信公众号
11个回答18人关注
0个回答1人关注
9个回答40人关注
11个回答11人关注
9个回答91人关注
17个回答26人关注查看: 7978|回复: 0
大数据目前还存在的九个问题
主题帖子积分
1.本人认为是哪九个问题？
2.你是否认同本文观点？
3.你认为哪几个问题是比较中肯的？
尽管在Hadoop与NoSQL部署方面做足了准备，同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。有时候一艘巨轮的侧方出现了破洞，但业界却决定坐等船体下沉、并把希望寄托在销售救生艇身上。也有些时候，这些问题似乎并没到要闹出人命的地步——类似我家里浴室的状况，只有往一边拧龙头才会出水。过一阵子我可能会找机会修理一下，但事实上这个问题已经存在了12年之久了。
而在面对大数据业务时，我可以列出九个长久以来一直令人头痛的问题，时至今日它们依然存在着并困扰着无数用户。
大数据痛点一号：GPU编程仍未得到普及CPU的使用成本仍然较为昂贵，至少与GPU相比要贵得多。如果我们能够面向GPU开发出更理想的执行标准以及更多表现出色的驱动程序，那么相信一个新的市场将由此诞生。就目前来讲，GPU的使用成本优势并没能得到很好的体现，这是因为我们难以针对其进行编程，而且几乎没办法在不建立特定模型的前提下完成这项任务。
这种情况类似于，有些人希望编写出类似于ODBC或者JDBC的代码来处理某些高强度工作，并说服AMD或者英伟达将业务着眼点放在显卡产品之外。假设我们原本已经习惯了使用Spark实现各类计算任务，而且压根不觉得这么做有什么问题; 但仿佛在一夜之间，其他人都开始构建所谓“GPGPU”集群，这自然会让我们有点措手不及之感。
不少技术人员都开始在这方面做出探索，但要想真正让成果实现市场化，我们至少需要搞定两大竞争对手——AMD以及英伟达，也许再加上英特尔。除非它们愿意联手合作，否则如果继续像现在这样把技术保密看作市场成功的实现途径，那么问题永远也找不到理想的答案。
大数据痛点二号: 多工作负载缩放我们拥有Docker。我们拥有Yarn。我们还拥有Spark、Tez、MapReduce以及未来可能出现的一系列技术方案。我们还拥有多种资源池化实现工具，其中包含各类不同优先级及其它设定。如果大家选择部署一个Java war文件，则可以在PaaS上进行“自动伸缩”。但如果大家希望在Hadoop上实现同样的效果，那么情况就不太一样了。再有，存储与处理体系之间的交互该如何处理？有时候大家需要以临时性方式对存储资源进行扩展与分发。我应该有能力运行自己的“月末统计”批量任务并将Docker镜像自动部署到任意指定位置。而在我的任务完成之后，系统应当对其进行反部署，并将资源重新分配给其它工作负载。应用程序或者工作负载应该根本不需要在这方面浪费太多精力。但目前这些要求尚无法实现。我希望大家习惯了编写Chef方案与脚本，因为这是达到以上目标的惟一办法。
大数据痛点三号: NoSQL部署更令人头痛为什么我已经能够利用ssh与sudo将镜像导入Linux设备、为其指定Ambari并安装像Hadoop这样复杂度极高的项目，但却仍然需要在 MongoDB以及大部分其它数据库的部署工作中浪费时间与精力？当然，我也可以编写Chef自动化方案，但恕我仍对此无法认同。
大数据痛点四号：查询分析器/修复器当初在使用JBoss的时候，我曾经对Hibernate以及后来的JPA/EJB3进行过大量调试。具体来讲，主要工作包括查看日志记录、找出存在n 1类查询的位置、将其纳入join并移除可能影响运行效果的糟糕缓存配置。
但有时候情况又完全相反：我们可以将每一套需要的表添加到系统当中，但其返回速度却慢得让人抓狂。有时候，我打算在复杂程度更高的系统之上查看 Oracle Enterprise Manager及其分析结果，但返回的报告却完全是一堆胡言乱语——这意味着其中存在问题。不过我可以同时着眼于两套始终共同协作的表，并据此找到分析当中存在的规律。我甚至考虑过利用编程方式解决问题。
而现在，每次对NoSQL系统进行调整时，我都会发现上述问题以不同形式表现出来：要么是跳转次数太多、要么是查询太过复杂，有时候我们的索引无法与where子句（即范围合并）相匹配。简而言之，我们将大量精力投入到了糟糕或者复杂查询的优化当中，但除了开发者培训课程、我们似乎从来不会对这些查询本身提出质疑。这套系统似乎有种魔性，它同用户的关系类似于：“嘿，你发来了这些查询，我认为它们看起来应该像这样……”
好吧，我猜很多从业者都以完成这些本可以通过自动化方式实现的工作为生。必须承认，我很庆幸自己已经渡过了基层工作时期，再也不用为这些琐事烦恼了。
大数据痛点五号: 分布式代码优化我估计Spark当中的大量小功能及小设定会带来第四点里提到的各类问题。在编译器方面，大家可以编写优化器来检测循环内的非依赖性操作，同时自动对其进行提取与并行化调整。我在分布式计算领域经常会见到这类情况。所谓“数据科学家”们编写出的Python代码相当垃圾，根本没办法有效进行问题分配，而且会造成大量不必要的内存浪费。在这种情况下，需要由技术从中挺身而出，尝试理解前面那位“科学家”的想法并进行优化。
问题在于，上述状况几乎跟大家在编译原理书里看到的反而实例一模一样。我猜随着技术的不断发展，未来Zeppelin甚至是Spark本身会站出来帮助大家修复糟糕的代码，并保证其与集群顺畅协作。
大数据吹了这么久为什么还落不了地？就因为这九点
大数据痛点六号：分布式名不副实我得承认，我对Hadoop的第一印象就是在Hive当中输入select count(*) from somesmalltable。我觉得这种使用方式真的非常差劲。大家会发现其中存在问题，并意识到其分布效果并不理想。有些朋友甚至不必参考其它数据（例如行数）就能发现我们没办法实现负载分布。通常来讲，这些只是整体工作当中的一部分（例如查找表），但无论我们实际使用的是Hive、Spark、 HDFS还是YARN，其都会首先假设所有问题都已经得到切实分发。其中部分工作需要尽可能避免被分发，因为这样能使其运行速度更快。最让我受不了的就是用select * from thousandrowtable这样的操作拖慢MapReduce任务的运行速度。
大数据痛点七号：机器学习映射在具体实例当中，我们都能轻松分清集群化问题、聚类问题或者其它一些归类工作。但似乎没人愿意解决真正有难度的部分——对业务体系中的常见部分进行映射、描述问题并通过描述映射找到应当使用的具体算法。
除了金融行业之外，只有10%到30%的企业能够保持有不同于行业常规情况的特色——换言之，我们可以将销售、市场推广、库存、劳动力等因素映射至一套通用模型，而后描述出适合使用的算法。这项工作不仅会改变我们处理业务的方式，同时也能极大扩展市场的整体规模。我们可以将其视为一种面向大数据的设计模式，只不过其更多是在强调业务方面的内容。
大数据痛点八号：安全性首先，为什么我们只能通过Kerberos实现单点登录？云Web环境之下根本没有类似于Kerberos的方案可用。其次，厂商之间奇怪的竞争方式对Hadoop造成了极大的扭曲，而这对任何人都不是件好事。在涉及到基础性身份验证及授权层面时，我们不得不使用两套完全不同的堆栈，才能为Hadoop的全部组成部分提供安全性支持。加密方面的产品竞争我还可以理解（各类方案都在以更小、更快、更强为发展目标），但无论是选择Ranger、Sentry或者是其它什么方案，为什么我们就不能拥有一套足以涵盖全部Hadoop项目的验证机制？公平地讲，大数据领域目前的状况比NoSQL还要糟糕; 随便拉来一家宣称“我们热爱开源”的企业都能在自己“企业级”专用版本的LDAP集成部分当中塞进几百行开源代码。
大数据痛点九号：提取、转换与加载提取、转换与加载（简称ETL）可以说是每个大数据项目当中悄无声息的预算杀手。我们都很清楚自己到底需要利用大数据技术做些什么，但相较于将注意力集中在业务需求身上，现在我们首先得搞定Flume、Oozie、Pig、Sqoop以及Kettle等等。之所以面临这样的情况，是因为我们的原始数据往往处于混乱的状态。但真正令人惊讶的是，没有哪家厂商愿意拿出一套无缝化处理方案来。虽然解决这类问题没办法让你拿到诺贝尔奖，但却能够切实帮助到广大大数据技术用户。
欢迎加入about云群 、 ，云计算爱好者群，关注
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered by没有基础怎么选择大数据培训机构？
没有基础怎么选择大数据培训机构？
随着互联网的不断发展，企业对于大数据人才的需求也越来越大，不少同学都想通过培训进入到大数据行业。于是许多没有大数据基础的同学就会有这个疑问：没有基础怎么选择大数据培训？有适合零基础的培训机构吗？为此，小编就来向大家介绍一下魔据教育用以保障零基础学员高薪就业的几大教学体系吧！一．专业的大数据课程研发团队一套完整的大数据课程体系无疑是一个培训机构最重要的东西之一，不是从网上随便找一个大数据课程大纲就可以充当一个培训机构的大数据课程的，它是需要一支专业的大数据研发团队通过对企业和学生的调研和对大数据知识体系的充分理解，制定出一套既能满足企业的需求，又能让学生充分吸收的大数据课程。目前国内大数据培训机构大部分都没有专门的大数据课程研发团队，只是培训机构内的老师草草的订一个课程大纲，然后就开始凭自己的理解开班讲课了，这样的大数据课程自然是不够专业的；有的培训机构有自己的研发团队，但这个团队算上教学总监只有3-5个人，研发力量有些单薄，造成的后果就是大数据课程体系相对单薄。魔据教育斥重资建立了一支30人左右的研发团队，专门研发大数据课程。研发人员都是从事IT教学行业数十年，具有丰富的行业经验和教学经验。充分调研了企业和学员的需求和习惯，课程既能符合企业的用人需求，也能保证学员全方位的掌握大数据课程。因此，魔据教育也被大家公认为大数据培训课程研发标准制定者。二．为零基础同学量身打造的大数据课程体系一个科学合理的大数据课程对于一个零基础想学大数据的同学来说，是十分重要的。太高屋建瓴的大数据课程学生学不会，但是太简陋单薄的大数据课程学生又学不到什么东西。有的大数据培训机构的课程基本上都是java知识，大数据知识只是皮毛，这样的课程体系是根本学不好大数据的。魔据教育有一套为大数据零基础同学量身打造的大数据课程体系，这套课程从最基础Java语言到高端的项目实战阶段全部都有涉及到，具体细化到大数据的每一个知识点，让学生从零开始学习大数据，只要学生上课能够跟着老师认真学习，零基础照样能学好大数据。魔据教育已经成功的让无数的零基础学员成功高薪就业，这些学生曾经学习的专业五花八门，和大数据没有丝毫的关系，在经过魔据教育的培训以后，迅速成长，现在都在国内一线互联网公司工作，已然成为了国内大数据行业的中流砥柱。三．严格的教务管理制度为了在短期时间内就能让学生熟练掌握大数据的知识技能，一个严格完善的教学管理制度是非常重要的。有的学生可能因为年纪比较小，上课的时候精力不够集中，作业也不能按时完成，这时如果没有一个严格的教学制度，那学生不就都“放羊了”？有的培训机构可能就是以收钱为目的，只要学生交了钱，你学不学都是你的事情，实际上这是非常不负责任的事情，对学生不负责任，对自己同样不负责任。既然学生来了，不管用什么方法，都必须让学生学好知识，无忧就业，这是每一个大数据培训机构承诺的事，也是必须完成事。魔据有严格的教务制度，会对学员进行阶段性的学习情况考核，每个阶段至少考核3次；每天会有课后作业，必须保质保量的完成，以便检查学生对于当天课程内容的掌握。另外严格的教务制度不仅仅只针对学生，老师也是同样如此，全天候的陪伴学生，方便为学生指导问题，不能随便离开教学基地。同时，这里是一对一辅导，相当于多位讲师服务于一人。四．实力雄厚的师资团队老师对于一个大数据培训机构的重要性不言而喻，虽说老师领进门，学习在个人，但不可否认，老师的教导是学生能否学好大数据的基石，尤其是像大数据这种相对来说比较难的技术。对于大数据培训而言，老师的要求必须是具有丰富的大数据研发经验，但是现在市面上的大数据培训机构的老师，很多都是从Java培训转型过去的，以前并没有从事过大数据相关的研究，匆匆忙忙便开了个班，边学边教，这样，想来学生学习的大数据效果也不是太好。魔据教育目前已经建立了一支130的师资团队，其中的老师都具有3年以上的大数据开发经验，更是具有十几年的项目开发经验，实力雄厚。其中，大部分的老师都是来自国内一线互联网企业，深受学员们的信赖与爱戴。
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
百家号 最近更新：
简介: 中国大数据面授专家-专注职业教育12年
作者最新文章}