数据采集 ETL 工具 Elasticsearch-datatran v6.3.3 发布

栏目: 软件资讯 · 发布时间: 3年前

内容简介:数据采集ETL工具 Elasticsearch-datatran v6.3.3 发布, v6.3.3修复了v6.3.2,v6.3.1版本引入的一系列问题,建议升级。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和...

数据采集ETL工具 Elasticsearch-datatran v6.3.3 发布, v6.3.3修复了v6.3.2,v6.3.1版本引入的一系列问题,建议升级。

Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database

Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移

数据采集 ETL 工具 Elasticsearch-datatran v6.3.3 发布

v6.3.3 功能改进

  1. 数据同步改进:处理异步更新状态可能导致的死锁问题

  2. 数据同步改进:处理在closeEOF为true情况下filelog插件重启后不采集数据问题和filelog插件不采集新增文件数据问题

  3. 数据同步改进:优化作业停止资源处理机制

  4. 数据同步改进:优化作业状态管理机制

  5. 数据同步改进:filelog插件增加FileFilter机制,自定义筛选需要采集日志的文件

v6.3.2 功能改进

  1. 数据同步改进:启用日志文件采集探针closeOlderTime配置,允许文件内容静默最大时间,单位毫秒,如果在idleMaxTime访问内一直没有数据更新,认为文件是静默文件,将不再采集静默文件数据,关闭文件对应的采集线程,作业重启后也不会采集

  2. 数据同步改进:日志文件采集插件增加对CallInterceptor的支持,采集文件任务新增/结束时会调用拦截器方法,可以在refactor方法中获取拦截器设置的数据,文件采集完毕后释放

  3. 数据同步 工具 完善:修复同步数据到kafka productor初始化问题

  4. 数据同步工具完善:修复停止filelog作业报错问题

  5. 数据同步工具改进:发送kafka控件改进,设置发送多少条消息后打印发送统计信息

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

腾讯传

腾讯传

吴晓波 / 浙江大学出版社 / 2017-1-1 / 58.00元

腾讯官方唯一授权的权威传记 著名财经作家吴晓波倾力之作 当市值最高的中国互联网公司,遇上中国财经界最冷静的一双眼睛 读懂腾讯,读懂中国互联网 . 内容简介 本书全景式地记录了腾讯崛起的经历,并以互联网的视角重新诠释了中国在融入全球化进程中的曲折与独特性。 从1998年开始创业到成为世界级互联网巨头,腾讯以即时通信工具起步,逐渐进入社交网络、互动娱乐、网络媒......一起来看看 《腾讯传》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具