强者必自强
当前位置:首页 - 城市 >

好程序员大数据教学点睛:Hadoop基础篇

2020-02-10来源:芜湖之窗

好程序员大数据教学点睛:Hadoop基础篇,Hadoop包含两个部分:

好程序员大数据教学点睛:Hadoop基础篇

1.Hadoop Distributed File System (Hadoop分布式文件系统)

HDFS具有高容错性,并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用,并且提供了对数据读写的高吞吐率。HDFS是一个master/slave的结构,就通常的部署来说,在master上只运行一个Namenode,而在每一个slave上运行一个Datanode。

HDFS支持传统的层次文件组织结构,同现有的一些文件系统在操作上很类似,比如你可以创建和删除一个文件,把一个文件从一个目录移到另一个目录,重命名等等操作。Namenode管理着整个分布式文件系统,对文件系统的操作(如建立、删除文件和文件夹)都是通过Namenode来控制。

2、MapReduce的实现

MapReduce是Google 的一项重要技术,它是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。至少现阶段而言,对许多开发人员来说,并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型,它让那些没有多少并行计算经验的开发人员也可以开发并行应用。

MapReduce的名字源于这个模型中的两项核心操作:Map和 Reduce。简单的说来,Map是把一组数据一对一的映射为另外的一组数据,其映射的规则由一个函数来指定,比如对[1, 2, 3, 4]进行乘2的映射就变成了[2, 4, 6, 8]。Reduce是对一组数据进行归约,这个归约的规则由一个函数指定,比如对[1, 2, 3, 4]进行求和的归约得到结果是10,而对它进行求积的归约结果是24。

转载文章地址:http://www.sxshuangzheng.com/chengshi/27069.html
(本文来自强者必自强整合文章:http://www.sxshuangzheng.com)未经允许,不得转载!
标签:
Hadoop 程序员 大数据 HDFS MapReduce 并行计算 硬件 技术
网站简介 联系我们 网站申明 网站地图

版权所有:www.sxshuangzheng.com ©2017 强者必自强

强者必自强提供的所有内容均是网络转载或网友提供,本站仅提供内容展示服务,不承认任何法律责任。