工业级 Raft 一致性算法实现 BRAFT

码农软件 · 软件分类 · RPC/XMLRPC项目 · 2019-04-11 07:13:04

软件介绍

BRAFT 是百度开源的基于 BRPC 的 Raft 一致性算法和可复制状态机的工业级 C++ 实现。最初是为了解决百度各业务线上的状态服务单点隐患,后来则帮助百度工程师独立实现支持高负载和低延迟的分布式系统。

BRAFT 在百度内部被广泛用于构建高可用性系统,例如:

  • 存储系统:Key-Value、Block、Object、File ...

  • SQL 存储:HA MySQL cluster、distributed transactions、NewSQL systems ...

  • Meta services:Various master modules、Lock services ...

BRAFT 有以下特点:

  • BRAFT 是一个功能完备且经过可靠性验证的 Raft 实现,支持 configuration change、prevote、leader transfer 等特性。

  • BRAFT 追求的核心目标是高性能,在实现的很多环节都进行了精细优化,比如无锁任务队列、log 的批量提交和执行以及一些逻辑原地执行等;

  • 接口简单容易理解,支持自定义扩展其中的 storage,拥有比较完善的错误回调。用简单的接口实现简单的概念,BRAFT 配合 BRPC 即使经验不丰富的工程师也可以很容易的快速构建出健壮的分布式系统。

在 BRAFT 中,百度主要采用了以下几点方法来提高性能:

  • 数据流是全并发的, leader 写本地磁盘和向 follower 复制数据是完全同步的。

  • 尽可能的提高局部性,充分发挥不同层面的 cache 的作用。

  • 尽可能隔离不同硬件的访问,通过流水线的形式提高吞吐。

  • 尽可能的降低锁临界区大小, 关键路径上采用 lock-free/wait-free 算法。

本文地址:https://www.codercto.com/soft/d/3321.html

分布式算法导论

分布式算法导论

泰尔 / 霍红卫 / 机械工业出版社 / 2004年09月 / 39.0

分布式算法20多年来一直是倍受关注的主流方向。本书第二版不仅给出了算法的最新进展,还深入探讨了与之相关的理论知识。这本教材适合本科高年级和研究生使用,同时,本书所覆盖的广度和深度也十分适合从事实际工作的工程师和研究人员参考。书中重点讨论了点对点消息传递模型上的算法,也包括计算机通信网络的实现算法。其他重点讨论的内容包括分布式应用的控制算法(如波算法、广播算法、选举算法、终止检测算法、匿名网络的随机......一起来看看 《分布式算法导论》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

SHA 加密
SHA 加密

SHA 加密工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具