Flume 常用插件扩展包 scc-flume-plugin

• 授权协议: GPL
• 开发语言: Java
• 操作系统: 跨平台
• 软件首页: https://gitee.com/loveliyiyi/flume-es
• 软件文档: https://gitee.com/loveliyiyi/flume-es

软件介绍

本插件是对 Flume 现有插件的扩充，主要是：

    1、kafka-source，相对 flume 自带插件，升级了 kafka 依赖版本，支持更高版本的 kafka 集群，并支持自动扫描特定 topic ，无需在配置文件指定，并且自动匹配出 timestamp、level、topic、message 等常用字段；

    2、kafka-channel，相对 flume 自带插件，升级了 kafka 依赖版本，支持更高版本的 kafka 集群；

    3、es-sink，相对 flume 自带插件，升级了 elasticsearch 依赖版本，支持更高版本的 elasticsearch 集群。

对应版本如下：

• flume1.7.0+

• kafka2.12-0.10.2.1

• elasticsearch6.1.0

其他版本未试验过。

flume 配置如下：

• agent.sources = s1

• agent.sinks = k1

• agent.channels = c1

本文地址：https://www.codercto.com/soft/d/12255.html