学习 HDFS(一):概览

栏目: 服务器 · 发布时间: 5年前

内容简介:HDFS 是 Hadoop Distributed File System (Hadoop 分布式文件系统)的缩写,是 Hadoop 核心项目之一(另外两个分别是 YARN 和 MapReduce)。HDFS 提供了高容错、高吞吐、易扩展、高可用的文件系统。HDFS 是一个主从(Master/Slave)架构的分布式系统,由主节点 NameNode 和从节点 DataNode 构成。

HDFS 是 Hadoop Distributed File System (Hadoop 分布式文件系统)的缩写,是 Hadoop 核心项目之一(另外两个分别是 YARN 和 MapReduce)。HDFS 提供了高容错、高吞吐、易扩展、高可用的文件系统。

架构

HDFS 是一个主从(Master/Slave)架构的分布式系统,由主节点 NameNode 和从节点 DataNode 构成。

学习 HDFS(一):概览

Data Block

HDFS 上的文件是以数据块(Data Block)的形式存储的,数据块是 HDFS 文件处理的最小单元。数据块会以文件的形式存储在 DataNode 节点的磁盘上。数据块默认大小是 128 MB,可以通过属性 dfs.blocksize 进行配置。

在 HDFS 上,文件会被切分为一个或多个数据块分布在 DataNode 节点上存储。同一个数据块会冗余存储在不同的 DataNode 节点上,默认副本数是 3,可以通过属性 dfs.replication 进行配置。

NameNode

NameNode 是 HDFS 的主节点,管理这文件系统的命名空间,包括:

  • 文件系统目录树
  • 文件/目录信息
  • 文件的数据块索引

这些信息以文件的形式保存在 NameNode 节点的磁盘上,即空间镜像文件 fsimage 文件和编辑日志文件 edits

DataNode

DataNode 是 HDFS 的从节点,根据客户端或 NameNode 写入数据块到本地存储,或读取本地存储上的数据块。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

高可用架构(第1卷)

高可用架构(第1卷)

高可用架构社区 / 电子工业出版社 / 2017-11-1 / 108.00元

《高可用架构(第1卷)》由数十位一线架构师的实践与经验凝结而成,选材兼顾技术性、前瞻性与专业深度。各技术焦点,均由极具代表性的领域专家或实践先行者撰文深度剖析,共同组成“高可用”的全局视野与领先高度,内容包括精华案例、分布式原理、电商架构等热门专题,及云计算、容器、运维、大数据、安全等重点方向。不仅架构师可以从中受益,其他IT、互联网技术从业者同样可以得到提升。一起来看看 《高可用架构(第1卷)》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

MD5 加密
MD5 加密

MD5 加密工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具