学习 HDFS（四）：高可用

栏目: 服务器 · 发布时间: 5年前

内容简介：HDFS 采用了主从（Master/Slave）架构，就不可避免的要面对单点失效（SPOF，Single Point of Failure）的问题。Hadoop 2.X 之后，提供了对高可用（HA）的支持，架构如下所示：在高可用 HDFS 集群中，存在多个 NameNode。其中，有且只有一个 NameNode 是 Active 状态，其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务，会产生脑裂（Split

架构

HDFS 采用了主从（Master/Slave）架构，就不可避免的要面对单点失效（SPOF，Single Point of Failure）的问题。Hadoop 2.X 之后，提供了对高可用（HA）的支持，架构如下所示：

学习 HDFS（四）：高可用

主备切换

在高可用 HDFS 集群中，存在多个 NameNode。其中，有且只有一个 NameNode 是 Active 状态，其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务，会产生脑裂（Split Brain）的情况，从而增加了维护数据一致性的成本。

当 Active NameNode 发生故障，Standby NameNode 会变成 Active NameNode 继续提供服务，实现主备切换。

数据同步

Active NameNode 和 Standby NameNode 数据同步，通过 QJM（Quorum Journal Manager）实现。

为了理解 QJM 数据同步的原理，需要先理解 Hadoop 检查点（Checkpoint）机制。检查点机制用于从故障或重启快速恢复数据。

HDFS 元数据包含两种文件：

命名空间镜像 fsimage 文件，包括文件系统目录树、文件/目录信息和文件件的数据块索引，位置在 dfs.namenode.name.dir 目录下；
编辑日志 edits 文件，位置在 dfs.namenode.edits.dir 目录下。

旧的 fsimgage 通过重放 edits 编辑日志，生成新的 fsimage 。

学习 HDFS（四）：高可用

集群中的 JournalNode，通常是至少3个节点，作用相当于共享存储。Active NameNode 向 JournalNode 写编辑日志数据，Standby NameNode 从 JournalNode 读编辑日志数据，从而实现了数据同步。

故障检测

在高可用 HDFS 集群中，ZKFC（Zookeeper Failover Controller）用于监控 NameNode，一个 Failover Controller 监控一个 NameNode，当 Active NameNode 不可用时，触发自动故障恢复。

参考

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

用户力：需求驱动的产品、运营和商业模式

郝志中 / 机械工业出版社 / 2015-11-1 / 59.00

《用户力：需求驱动的产品、运营和商业模式》从用户需求角度深刻阐释了互联网产品设计、网络运营、商业模式构建的本质与方法论！本书以“用户需求”为主线，先用逆向思维进行倒推，从本质的角度分析了用户的需求是如何驱动企业的产品设计、网络运营和商业模式构建的，将这三个重要部分进行了系统性和结构化的串联，然后用顺向思维进行铺陈，从实践和方法论的角度总结了企业究竟应该如围绕用户的真实需求来进行产品设计、网......一起来看看《用户力：需求驱动的产品、运营和商业模式》这本书的介绍吧!

码农工具