RocketMQ的消费模式

栏目: 后端 · 发布时间: 5年前

内容简介:在公司的技术分享中,就有聊到rocketmq的消费模式,特此总结一下。在说消费之前,这里先说一下rocketmq中group的概念吧,一个group代表的是逻辑相同的一组实例,最可以表达这个概念的是我们将一个项目部署多个实例,那么这个项目的集群就可以称之为一个group。说完group,再来说说广播消费,在这种模式下,rocketmq会将消息发送给group中的每一个消费者,如果这种模式在公司的项目中,会造成消息重复消费的问题,理论上会有N-1次重复消费,那么rocketmq为什么还会保留这种消费模式呢?存

在公司的技术分享中,就有聊到rocketmq的消费模式,特此总结一下。

广播消费

在说消费之前,这里先说一下rocketmq中group的概念吧,一个group代表的是逻辑相同的一组实例,最可以表达这个概念的是我们将一个项目部署多个实例,那么这个项目的集群就可以称之为一个group。

说完group,再来说说广播消费,在这种模式下,rocketmq会将消息发送给group中的每一个消费者,如果这种模式在公司的项目中,会造成消息重复消费的问题,理论上会有N-1次重复消费,那么rocketmq为什么还会保留这种消费模式呢?存在必有它的道理,比方说,如果需要动态更细一些配置,我们需要在不重启服务的情况下,将新的配置推送给group中的每一个消费者,这时候广播消费就发挥它的独到之处了。

集群消费

集群消费是用的最广泛的一种消费模式,在集群消费模式下,同一条消息,只能被group中的任意一个消费者消费,这个概念很重要,这是与广播消费的最明显区别。

在集群消费模式下,我们的消息只能被消费一次(实际上消息也会重复消费,因为存在网络不稳定因素),rocketmq是怎么实现的呢?

这里我要说一下rocketmq中的队列,在默认情况下,rocketmq会为每个topic在Broker节点上分配若干个队列,查rocketmq手册可知,默认的队列数量是4 (defaultTopicQueueNums: 4),客户端使用长轮询发起请求,和服务端连接上,主动从broker上拉取消息,而每个队列只能由一个消费者监听消费,这样就做到了消息的实时性得到保障,同时保证了消息只有由一个消费者监听消费,这时候问题又来了,消费者是随机拉取消息的吗?

消费者它会随机从broker上拉取消息,且平均分摊消费消息,比方说该topic下有8条消息,其中一个group有2个消费者,那么每个实例只消费其中的4条。

如果用队列来举例,也是成立的,比方说该topic下有4个队列,只有两个消费者,那么第一个消费者消费3条队列,第二个消费者消费2条队列,rocketmq也因此实现了订阅消息的负载均衡特性。rocketmq可以横向扩展消费者数量来提高集群的消费能力,但由于一条队列只能由一个消费者监听消费,多余的消费者将不能消费,所以我们扩展消费者数量的时候,需要注意队列的数量是否大于消费者数量。

我发现rocketmq的源码有必要阅读,我后面会有很多关于rocketmq的一些源码分析,敬请期待。

下面是我自己手画的概念图,很难看,将就着看吧:

RocketMQ的消费模式


以上所述就是小编给大家介绍的《RocketMQ的消费模式》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

精通Web Analytics 2.0

精通Web Analytics 2.0

[美]Avinash Kaushik / 郑海平、邓天卓 / 清华大学出版社 / 2011-4-26 / 48.00元

向数据驱动型决策转变以及如何利用网站数据来获得竞争优势 在过去几年中,互联网、在线营销以及广告经历了巨大的变革,然而大家处理数据的方式跟几十年前相比还是大同小异,停滞不前。网站分析领域的领跑者Analytics kaushik通过《精通Web Analytics 2.0——用户中心科学与在线统计艺术》提出了下一代网站分析的框架,将能很大程度地帮助你提高组织的能动性和对市场的反应速度。 ......一起来看看 《精通Web Analytics 2.0》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试