唯品会分布式强一致日志存储系统 VDL 正式对外开源

栏目: 后端 · 发布时间: 5年前

内容简介:VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面,从DB的存储引擎、DB的复制、分布式一致性算法到消息系统,本质上都是Log的存储和分发。外部应用通过Kafka协议来发送数据到VDL,VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。

VDL简介

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面,从DB的存储引擎、DB的复制、分布式一致性算法到消息系统,本质上都是Log的存储和分发。

外部应用通过Kafka协议来发送数据到VDL,VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。

VDL主要功能

唯品会分布式强一致日志存储系统 VDL 正式对外开源

支持kafka协议生产和消费数据,对用户来说VDL就是一个kafka消息系统。

部署运维简单,不依赖于其他外部组件。

数据强一致,服务高可用,raft协议保证。

保证线性读一致性。

VDL应用场景

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从应用场景来看,VDL可应用于以下几类场景:

●复制状态机(Replicated State Machine)

这一类应用主要使用VDL作为事务日志。 比如用于存储 MySQL 的Binlog,形成统一的Binlog服务层,简化数据库的备份、恢复、实例重建、failover等高频流程。

消息队列、消息发布订阅、流计算 

这一类应用主要使用VDL来存储和传递消息。 我们可以基于VDL实现消息发布/订阅系统;同时也可以作为Storm/Spark的输入和输出,用于实时流计算的场景。

数据复制

这一类应用主要使用VDL来进行数据复制。这个数据复制可能发生在本地机房,也可能是跨机房。我们可以基于VDL构建强一致的数据库技术方案。

如何加入VDL讨论群

唯品会分布式强一致日志存储系统 VDL 正式对外开源

使用有问题?想直接和作者交流?没关系,扫描下方二维码加入VDL官方微信讨论群。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码加入微信群,12月6日前有效

前100名加群免审核、免邀请(扫描上方群二维码即可)。

100名后因管理需要,将开启进群验证,可先扫描下方个人二维码或搜索微信号viptech128[唯技术],备注VDL,添加好友后进入讨论组(如有添加好友异常请稍后再试,或在公众号后台留言“VDL+您的微信号”,工作人员会统一添加好友入群)。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码添加唯技术好友

如何向VDL贡献代码

唯品会分布式强一致日志存储系统 VDL 正式对外开源

所有报Bug、建议与咨询,请在 GITHUB Issues发起;所有代码提交,请走Pull Request流程。开发人员会及时回复和处理。对于优秀建议和Pull Request代码提交也会给予奖励。 点击阅读原文即可进入GITHUB界面,感谢关注。

推荐阅读

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储介绍(产品篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储(实现篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储 (质量篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从零开发一个单机存储引擎-以VDL Logstore设计为例


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

The Dream Machine

The Dream Machine

M. Mitchell Waldrop / Penguin Books / 2002-8 / USD 16.00

While most people may not be familiar with the name J. C. R. Licklider, he was the guiding spirit behind the greatest revolution of the modern era. At a time when most computers were big, ponderous ma......一起来看看 《The Dream Machine》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具