分布式数据集成框架 Gobblin

• 授权协议: Apache-2.0
• 开发语言: Java
• 操作系统: 跨平台
• 软件首页: https://github.com/apache/incubator-gobblin
• 软件文档: http://gobblin.readthedocs.io/en/latest/
• 官方下载: https://github.com/apache/incubator-gobblin/releases

软件介绍

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。

Gobblin 通过同样的执行框架从不同数据源摄取数据，在同一个地方管理所有不同数据源的元数据。同时结合了其他特性，比如自动伸缩，容错，数据质量保证，可扩展和处理数据模型改革等等。Gobblin 变得更容易使用，是个高效的数据摄取框架。

本文地址：https://www.codercto.com/soft/d/25546.html