资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

HDFS设计基础与目标是什么

这篇文章给大家分享的是有关HDFS设计基础与目标是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

创新互联公司电话联系:13518219792,为您提供成都网站建设网页设计及定制高端网站建设服务,创新互联公司网页制作领域10余年,包括成都围栏护栏等多个方面拥有丰富的网站营销经验,选择创新互联公司,为企业锦上添花!

设计基础:

(1)由于硬件错误是常态。因此需要冗余。

(2)流式数据访问,即数据批量读取,而非随机读取。hadoop擅长做的是数据分析而不是事务处理。

(3)大规模数据集

(4)简单一致性模型。为了降低系统复杂度,对文件采取一次性写多次读的逻辑设计,即是文件一经写入,关闭后,就再也不能修改。

(5)程序采用“数据就近”原则分配节点执行。

体系结构:

hdfs采用主从结构,Namenode属于主端,Datanode属于从端。

Namenode:

    1) 管理文件系统的命名空间。

    2) 记录每个文件数据块在Datanode上的位置和副本信息。

    3) 协调客户端对文件的访问。

    4) 记录命名空间内的改动或者空间本身属性的改动。

    5) Namenode使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间,包括文件映射、文件属性等。

从社会学的角度看,Namenode是HDFS的管理者,发挥管理、协调、操控的作用。

 Datanode:

    1) 负责所在物理节点的存储管理。

    2) 一次写入,多次读取,不能修改。

    3) 文件由数据库组成,一般情况下,数据块的大小为64MB。

    4) 数据尽量散布到各个节点。

     从社会学的角度看,Datanode是HDFS的工作者,发挥着按照Namenode的命令干活,并且把干活的进展和问题反馈到Namenode的作用。

SecondaryNameNode:

    1) HA的一个解决方案。但不支持热备。配置即可。

    2) 执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的edits.

    3) 默认在安装在NameNode节点上,但这样...不安全!

可靠性:

(1)冗余副本策略

(2)机架策略

(3)心跳机制

(4)安全模式

(5)校验和

(6)回收站

(7)元数据保护

(8)快照机制

感谢各位的阅读!关于“HDFS设计基础与目标是什么”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


分享名称:HDFS设计基础与目标是什么
文章来源:http://www.cdkjz.cn/article/jjsces.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220