性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

栏目: 数据库 · 发布时间: 4年前

内容简介:Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说Redis可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。在本文中,EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属

Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说 Redis 可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。

在本文中, 我们将讨论如何制作一个几乎使Redis性能提高一倍的模块!

EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属于“Linux内核空间”; 另一方面,我们在应用程序中运行称为“用户空间”的应用程序,所以问题变成是没有办法绕过内核?

英特尔开发出了数据平面开发套件(DPDK),提供驱动程序和库以加速数据包处理工作量。绕过内核的想法允许在用户空间处理数据流,而 Linux 处理控制流。

将这个想法付诸实践,并使用EQ Alpha刚刚发布的模块进行测试。该模块允许Redis在用户空间中与NIC进行交互,绕过内核。这使得正常的Redis独立实例从164,000 ops / sec变为超过300,000 ops / sec,Redis 5.0实例的延迟减少约1.8倍。下图显示了每秒操作数与数据大小。测试使用最新版本的Redis(5.0)进行,并添加了Accelerator模块:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

在单个机器实例上可以看到最大的收益(不在同一服务器上运行节点集群 - 尽管这里仍然可以看到一些增益)。在同一服务器上或作为计算机集群的一部分运行主/副本也有很大的收益。如果服务器受CPU限制,则增益可能不高。建议使用具有4个或更多内核的计算机

通过在用户空间内操作,这些都是可观的收益。使用此模块可以在此环境中使用Redis实例,而无需修改基本代码。Redis将在Unix套接字上运行,从而使dpdk的性能更快。使用环境抽象层(EAL)以及其他堆栈组件,该模块能够轮询和解释数据,而无需中断处理的开销。它能够在自己的框架内运行,并允许您继续使用Redis的生产版本或该注释上的任何其他版本的Redis(包括不稳定版本和新版本)。

这个概念很有意思,它充满了对内部发生的好奇心。那么在没有这些限制的情况下运行Redis实例会是什么样子?下面是两个 Flamegraph ,可以帮助提供配置软件的可视化。它们是在使用模块运行Redis时生成的,并且运行它时没有:

下面是在未修改的Redis上执行常规基准测试时生成的火焰图。

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

下面是在基准测试期间生成的火焰图,其中Accelerator模块在后台运行:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

希望本文有助于展示您的Redis实例可以解锁的潜力。EQ Alpha与此模块和KeyDB项目的目标之一是帮助驱动选项,以实现更大,更强大的实例,从而通过能够处理更多负载来最小化分片和群集的需求。该模块采用独立模块形式,非常有用,因为无论Redis基本代码的下一步版本和未来版本如何,它都可能提供性能提升。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Web前端黑客技术揭秘

Web前端黑客技术揭秘

钟晨鸣、徐少培 / 电子工业出版社 / 2013-1 / 59.00元

Web前端的黑客攻防技术是一门非常新颖且有趣的黑客技术,主要包含Web前端安全的跨站脚本(XSS)、跨站请求伪造(CSRF)、界面操作劫持这三大类,涉及的知识点涵盖信任与信任关系、Cookie安全、Flash安全、DOM渲染、字符集、跨域、原生态攻击、高级钓鱼、蠕虫思想等,这些都是研究前端安全的人必备的知识点。本书作者深入剖析了许多经典的攻防技巧,并给出了许多独到的安全见解。 本书适合前端工......一起来看看 《Web前端黑客技术揭秘》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具