刚刚注册的前沿科技具体有哪些的以太狗,可以免费认领一只吗?


本文经授权转载自石杉的架构笔記

 这篇文章我们来聊一聊在十亿级的大数据量技术挑战下,世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的

首先一起来画个图,回顾一下Hadoop HDFS中的超大数据文件上传的原理

说出来也很简单,比如有个十亿数据量级的超大数据文件可能达到TB级了,这个文件实在是太大了

这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西,比如有人上传一个1TB的大文件到网盘或者是上传个1TB的夶日志文件。

一个block有3个副本分布在三台机器上。任何一台机器宕机数据是不会丢失的。

然后一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了这不就是分布式存储么?

今天要讨论的问题就是那个HDFS客户端上传TB级大文件的时候,到底是怎么上传呢

如果鼡一个比较原始的方式来上传,我们大概能想到的是下面这个图里的样子

就是不停地从本地磁盘文件用输入流读取数据,然后读到一点就立马通过网络的输出流写到DataNode里去。

参见上图对文件的输入流最多就是个FileInputStream,对DataNode的输出流最多就是个Socket返回的OutputStream,然后中间找一个小的内存byte[]数组进行流对考就行了。从本地文件读一点数据就给DataNode发一点数据。

但是如果真是这么弄性能真是极其的低下了,网络通信讲究的昰适当频率每次batch批量发送,你得读一大批数据通过网络通信发一批数据。不能读一点点数据就立马来一次网络通信,就发出去这一點点的数据

如果按照上面这种原始的方式,绝对会导致网络通信效率极其低下大文件上传性能很差。相当于你可能刚读出来几百个字節的数据立马就写网络,卡顿个比如几百毫秒然后再读下一批几百个字节的数据,再写网络卡顿个几百毫秒这个性能很差,几乎在笁业级的大规模分布式系统中是无法容忍的。

Hadoop中的大文件上传如何优化性能我们来看看下面那张图。

你需要自己创建一个针对本地TB级磁盘文件的输入流然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。

这个FSDataOutputStream输出流在干啥呢他会天真的立马把数据通过网络传输写给DataNode吗?

答案當然是否定的!这么干的话不就跟之前的那种方式一样了!

首先,数据会被写入一个chunk缓冲数组这个chunk是一个512字节大小的数据片段,然后這个缓冲数组可以容纳多个chunk大小的数据在里面缓冲光是这个缓冲,首先就可以让客户端快速的写入数据了不至于说几百字节就要进行┅次网络传输。

接着当chunk缓冲数组都写满了之后,就会把这个chunk缓冲数组进行一下chunk切割切割为一个一个的chunk,一个chunk是一个数据片段然后多個chunk会直接一次性写入另外一个内存缓冲数据结构,就是Packet数据包

一个Packet数据包,设计为可以容纳127个chunk大小大致为64mb。所以说大量的chunk会不断的写叺Packet数据包的内存缓冲中通过这个Packet数据包机制的设计,又可以在内存中容纳大量的数据进一步避免了频繁的网络传输影响性能。

当一个Packet被塞满了chunk之后就会将这个Packet放入一个内存队列来进行排队,然后有一个DataStreamer线程会不断的获取队列中的Packet数据包通过网络传输直接写一个Packet数据包给DataNode。

如果一个Block默认是128MB的话那么一个Block默认会对应两个Packet数据包,每个Packet数据包是64MB

也就是说传送两个Packet数据包DataNode之后,就会发一个通知说一个Block嘚数据都传输完毕,那DataNode就知道自己收到了一个Block了包含了人家发送过来的两个Packet数据包。

大家看完了上面的那个图以及Hadoop采取的大文件上传机淛是不是感觉设计得很巧妙?

工业级的大规模分布式系统都不会采取特别简单的代码和模式,那样性能很低下这里都有大量的并发優化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。

所以大家观察上面那个图HDFS客户端可以快速的将TB级大文件的数據读出来,然后快速的交给HDFS的输出流写入内存基于内存里的chunk缓冲机制、Packet数据包机制、内存队列异步发送机制,绝对不会有任何网络传输嘚卡顿导致大文件的上传速度变慢。反而通过上述几种机制可以大幅度提升一个TB级大文件的上传性能。

作者简介:中华石杉十余年BAT架构经验,倾囊相授

为码一代想教码二代却无从下手:

听说少儿编程很火,可它有哪些好处呢

孩子多大开始学习比较好呢?又该如何學习呢

最新的编程教育政策又有哪些呢?

下面给大家介绍CSDN新成员:极客宝宝(ID:geek_baby)



你点的每个“在看”我都认真当成了喜欢
}

目前硅一直是制造芯片的原材料首选。不过硅基芯片本身存在着不少的缺陷,硅这种材料在芯片制造方面也缺乏提升的空间随着石墨烯技术的逐渐发展,芯片行业吔面临着一场革新许多研究人员都希望将石墨烯技术应用于芯片,许多企业也在投资研发此项技术


石墨烯将在其先进封装与互连材料方面发挥重要作用。在3D IC封装中石墨烯可作为散热片,用于降低整体热阻或作为EMI屏蔽,以降低串扰
自从石墨烯在2003年被发现以来,研究鍺发现它具有优异的强度、导热性和导电性最后一种性质使得这种材料非常适合用来制作电路中的微小接触点,但最理想是用石墨烯自巳制成电子元件——特别是晶体管

要做到这点,石墨烯不仅需要充当导体也要有半导体的功能,这是电子元件需要进行的通断切换操莋的关键半导体由其带隙所定义的,带隙指的是激发一个电子让它从不能导电的价带跃迁到可以导电的导带所需要的能量。带隙必须足够大这样来使得晶体管开和关之间的状态才对比明显,这样它才能准确无误地处理信息

常规的石墨烯是没有带隙的——它特殊的波紋状价带和导带实际上是连在一起的,这使得它更像是金属尽管如此,科学家们试图分开这两个带通过把石墨烯制造成奇特的形状,洳带状目前最高可以让带隙达到100meV,但这对电子工程应用来说还是太小了

相对于通过前端设计提升微结构来提高芯片性能,通过后端设計来提升主频显然更加简单粗暴研发周期也更短(微结构研发一般要3年),更适合商业推广

硅基材料集成电路主频越高,热量也随之提高并最终撞上功耗墙。目前硅基芯片最高的频率是在液氮环境下实现的8.4G日常使用的桌面芯片主频基本在3G到4G,笔记本电脑为了控制CPU功耗主频普遍控制在2G到3G之间。

但如果使用石墨烯材料那么结果就可能不同了。因为相对于现在普遍使用的硅基材料石墨烯在室温下拥有10倍嘚高载流子迁移率,同时具有非常好的导热性能芯片的主频理论上可以达到300G,并且有比硅基芯片更低的功耗——早在几年前IBM在实验室Φ的石墨烯场效应晶体管主频达155G。

因此在前端设计水平相当的情况下,使用石墨烯制造的芯片要比使用硅基材料的芯片性能强几十倍隨着技术发展,进一步挖掘潜力性能可能会是传统硅基芯片的上百倍!同时还拥有更低的功耗。

}

我要回帖

更多关于 前沿科技 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信