内容简介:一、如何创建镜像1. 创建consumer配置文件:sourceClusterConsumer.config
一、如何创建镜像
kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceCluster1Consumer.config –consumer.config sourceCluster2Consumer.config –num.streams 2 –producer.config targetClusterProducer.config –whitelist=“.*”
1. 创建consumer配置文件:sourceClusterConsumer.config
zk.connect=szk0:2181,szk1:2181,szk2:2181 groupid=test-mirror-consumer-group
2. 创建producer配置文件:targetClusterProducer.config
zk.connect=tzk0:2181,tzk1:2181
3. 创建启动脚本:start.sh
$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceClusterConsumer.config –num.streams 2 –producer.config targetClusterProducer.config –whitelist=“.*”
4. 执行脚本
二、MirrorMaker的参数说明
$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker –help
2. Producer timeout
3. Producer 重试次数(retries)
4. Producer 数量
5. 消费流(consumption streams)数量
6. 浅迭代(Shallow iteration)与producer压缩
7. Consumer 和 源Kafka集群(source cluster)的 socket buffer sizes
三、如何检验MirrorMaker运行状况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –group KafkaMirror –zkconnect localhost:2181 –topic test-topic
KafkaMirror,topic1,0-0 (Group,Topic,BrokerId-PartitionId)
Owner = KafkaMirror_jkoshy-ld-1320972386342-beb4bfc9-0
Consumer offset = 561154288
= 561,154,288 (0.52G)
Log size = 2231392259
= 2,231,392,259 (2.08G)
Consumer lag = 1670237971
= 1,670,237,971 (1.56G)
BROKER INFO
0 -> 127.0.0.1:9092
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Java性能优化权威指南
Charlie Hunt、Binu John / 柳飞、陆明刚 / 人民邮电出版社 / 2014-3 / 109.00 元
Java性能优化圣经!Java之父重磅推荐! 本书由曾任职于Oracle/Sun的性能优化专家编写,系统而详细地讲解了性能优化的各个方面,帮助你学习Java虚拟机的基本原理、掌握一些监控Java程序性能的工具,从而快速找到程序中的性能瓶颈,并有效改善程序的运行性能。 Java性能优化的任何问题,都可以从本书中找到答案!一起来看看 《Java性能优化权威指南》 这本书的介绍吧!