中公网校 ? 品牌故事

2016年在"互联网+"的影响下，中公教育将不断创新O2O教学，完善教育产品和在线服务，提升品牌影响力，进而提高消费者对企业品牌的好感度和忠诚度。目前，中公在全国近350个地市，设置了470多家直营分部和旗舰学习中心，为"在家门口学习"提供更多可能性。

本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

1. 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。

2. 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。

3. 由于数据增长速度快，数据存储就必须可以水平扩展。

4. 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

   对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

   普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

   但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

5. 而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

6. 为了提高工作效率，加快运速度，出现了一些辅助工具：

7. Hue，Zepplin：图形化任务执行管理，结果查看工具。
8. Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
9. Python语言：编写一些脚本时会用到。
10. Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

二、大数据工程师的技能要求

附上大数据工程师技能图：

1. Java高级(虚拟机、并发)
2. Hive(Hql基本操作和原理理解）

假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；

1. Linux操作系统介绍与安装。
2. Linux常用软件安装。

2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时

1. Zookeeper分布式协调服务介绍。
2. Zookeeper的原理以及选举机制。

1. • HDFS的概念和特性。
• MapTask并发数的决定机制。
• MapReduce中的序列化框架及应用。
• MapReduce中的自定义分区实现。
• MapReduce利用数据压缩进行优化。

5）Hive（《Hive开发指南》）–20小时

1. Hive 与传统数据库对比。
2. Hive 的数据存储机制。
3. 在Hive 中如何实现高效的JOIN查询。
4. Hive 的内置函数应用。
5. Hive 常用参数配置。

6. Hive 执行过程分析及优化策略

1. Scala编译器安装。
2. 数组、映射、元组、集合。
3. 类、对象、继承、特质。
4. 理解Scala高阶函数。
5. 理解Scala隐式转换。

1. 执行第一个Spark案例程序（求PI）。

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。

10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo —30小时

可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）

• #发送邮箱smtp地址

• #任务失败时发送邮件的地址

• #任务成功时发送邮件的地址

---

第三阶段（辅助工具工学习阶段）

1. Sqoop原理及配置说明
2. Sqoop数据导入实战
3. Sqoop数据导出实战、
4. Sqoop批量作业操作
1. FLUME日志采集框架介绍。
2. FLUME参数配置说明。
3. FLUME采集nginx日志案例（案例一定要实践一下）
1. 任务调度系统概念介绍。
2. 常用任务调度工具比较。
3. Oozie的配置说明。

第四阶段（不断学习阶段）

每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。

2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。

3）快速学习的能力、解决问题的能力、沟通能力**真的很重要。

4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。

大数据学习加群：  一起学习进步，有不懂的可以讨论

[摘要]网课在家就能上，不用受天气、路程等因素的限制，所以网课也算是对线下课程的一个补充选项。然而这些一对多的课程，老师只能完成一些最基本的互动，很难真正顾及每个学生，所以还是需要家长在旁边陪伴。

近日，一份来自北京、西安、重庆、广州、成都、佛山等10个城市的82名儿童调研员完成的《2018中国儿童网络安全调查报告》中，关于网络学习议题中的一组数据——仅有33%的受访中小学生表示愿意上网课，77%的孩子认为课程效果对他们“没有影响”。孩子们很有“自知之明”地表示上网课很难集中注意力，而“管不住自己”可以说正是孩子们不喜欢上网课的最大原因。那么为人父母的小编们是怎么看待眼下五花八门，看起来内容丰富、上起来不受时间空间限制，而娃娃们却未必喜欢的网课呢？

给娃报网课 要学会“挖坑”

我算是网课的最早拥趸。2011年，网易公开课上线的第二年，我就如哥伦布发现新大陆一般，一头扎了进去，接下来的几年，听了大量的ted演讲，从历史、哲学到最前沿的人工智能研究，真是大开眼界。此外，全球名校的各种公开课也像一个迷人的金矿，汉字的起源、唐诗宋词鉴赏、中外历史，乃至古典音乐、电影鉴赏，都能给我带来一段愉悦的时光。俗话说，独乐乐不如众乐乐，自己尝到了网课的甜头，就开始分享给小娃以及朋友的孩子。不过，想让小朋友爱上网课，还得细心做攻略。比如，小朋友大多对乐高感兴趣，那就弄点机器人编程方面的普及型课程给他们“叹”一下，当然，课要讲得足够有趣，就需要讲课者本身对其传授的知识充满热爱，并且了解孩子的心理，说的话孩子爱听，幸好网上课程资源多，用心搜索一下，总能找到打动孩子的“那一款”。

看着小朋友渐渐听进去了，再来一点古代密码学、古代机械历史当佐料，等他主动跳进这个“坑”，就可以告诉他，要想真的学到这些有趣的知识，还得把数学学好。倘若他真的有了进一步的兴趣，那就可以给他挖一个“大坑”了，网上优秀的数学课程，从小学阶段一直延伸到大学阶段，是课本学习很好的补充，更有意思的是，很多网络课程不只传授解题技巧，更着重在逻辑思辨和数学推理能力的培养，学进去了，孩子真有可能喜欢上数学，并且主动去钻研。

说了这么多，讲的都是网课能做的，即开阔眼界，激发学习兴趣和动力。不过，毋庸讳言，网课也有做不到的事。比如，一个孩子良好学习习惯的养成，需要有师长在身边，日复一日地督促他，提醒他，鼓励他，纠正他；比如，心与心的交流，才能真正激励孩子去认识周围的世界，认识他自己，才能真正满怀好奇地去求知；再比如，孩子同理心与责任感的培养、与人相处的智慧，需要身边活生生的榜样，这些都是网课做不到的，但这些对孩子的成长又至关重要。说白了就是，孩子的学习也需要家长耐心的指引和陪伴。（明月）

上完试听课 改报线下课

跟很多低年级的小朋友一样，我儿子“番薯”接触网课也是从网络英语课开始的，在去年他读幼儿园，我就报名了一套5节课的英语试听课，番薯从那时候开始了网络课程初体验。这样的试听课程一节课时长30分钟，一个外教老师通过视频同时给四五个孩子上课，他和孩子们对话，由孩子轮流回答问题，还会设置游戏和奖励的环节，趣味性和参与度都不错。

“网课”的优势还是很明显的：一方面经济成本比较低，相比面对面的外教课程一年动辄上万元，网课大大降低了费用。另一方面，时间成本也得到了大大的节约。但我也发现，一般来说这样的课程还是要我“陪读”，我坐在边上，他遇到问题的话就转过来问我，这样可能自己思考的动力不足。还有一个缺憾是我觉得视频里面只能拍到老师和孩子的脸和一部分身体，在互动上少了很多肢体语言的信息，可能老师对孩子的反馈反应不会很全面和及时。考虑到以上因素，上完试听课程后，我还是选择给孩子报了一个面对面的线下课程。（番薯妈妈）

身旁陪读少不了 担心视力受影响

今年暑假我给儿子“当当”报名了一个连上10天的线上英语课程，每天学习1.5小时。因为是全国连锁的机构，这个课程是一个老师给全国各地的孩子上课，光是我在的家长微信群就有一两百人，估计有几百上千个孩子在同时上这个课，其中有三四岁的孩子，也有像当当这样即将上小学的孩子。

老师会有出题或跟读，小朋友可以通过点击屏幕中相应的按键回答，答对题目和跟读可以得到“金币”和“星星”。课后，孩子还要完成作业并上传，作业做得好也有相应奖励。我发现这些互动环节孩子都挺高兴的，当当会大声跟读希望获得老师的奖励。10天的课程结束后，我感觉还是能让他掌握不少英语的基本词汇和用语，当当原来几乎是零基础的，但上了课之后通过课程学习到的“颜色”“动物”这些词汇都能记住，生活中也能用出来。网课在家就能上，不用受天气、路程等因素的限制，所以网课也算是对线下课程的一个补充选项。当然，因为课程时间比较长，当当的注意力不能一直集中，还是需要我在旁边督促。因为是一对多的课程，老师只能完成一些最基本的互动，很难真正顾及每个学生，所以还是需要家长在旁边陪伴。

另外，为了看清题目选项这些内容，孩子就会凑得很近去看屏幕，每天课程的时间也比较长，我担心这样对视力难免会有影响。（当当妈妈）

实体课、网课和不补课的“歧视链”

这两年，网课突然火起来了，我家孩子班上，既有去培训机构上课的同学，也有几个听网课的同学。有意思的是，孩子们不知不觉中还形成了一个模糊的“歧视链”：上实体课的歧视上网课的，上网课的歧视根本不上的。有些完全与培训机构绝缘的小朋友，看到那些在培训机构上课的同学，简直有点仰视的意思。

如果说，这种情况不是培训机构有意造成的话，那么，培训机构推出的统一积分制，则明明白白就是套路。其运作机制是：上实体课时，做作业、答题、小测都有相应积分；上网课也有相应积分。不同积分可“换购”不同的小商品，这些小商品不仅有小玩具，还有电子表等“高级”奖品。其中，“学霸表”更是孩子们的“终极目标”。我家孩子用差不多一年的积分换回了传说中的“学霸表”，我一瞧，就是一只价值不高的电子表。虽然我瞧不上它，但一进电梯，就有一个邻居小女孩惊叫：“哇，学霸表！妈妈，我也想换一个！”那个羡慕嫉妒恨的样子，就像我看到老同学开上豪车。

浩浩坚持每天都戴着“学霸表”到处炫耀。那些上网课的小朋友看了就觉得特别难受，因为上网课的积分，跟上实体课比实在差太远了！这些小朋友难免成为营销套路的精准目标对象，转眼就转化成培训机构的忠实用户。让小朋友去影响小朋友，套路简直不要太深了。（老陶）

（原题为：《报网课省了出门奔波 省不了陪“太子”读书》）