IT资讯 Apache Gobblin 成为 ASF 顶级项目

herbert · 2021-02-19 11:00:07 · 热度: 14

Apache 软件基金会宣布 Apache Gobblin 成为顶级项目(Top-Level Project,TLP)。 

Apache Gobblin 成为 ASF 顶级项目

Apache Gobblin 是一个分布式大数据集成框架,用于流式和批处理数据生态系统。该项目 2014 年起源于 LinkedIn,2015 年开源,并于 2017 年 2 月进入 Apache 孵化器。

通过简化跨多个执行环境、数据速度、规模、连接器等的接收、复制、组织和生命周期管理流程,Apache Gobblin 每天可用于集成数百 TB 和数千个数据集。

同时,Apache Gobblin 还简化了数据湖的创建和维护。ASF 称,它支持每个数据团队所需的三个主要功能: 

  • 在支持简单转换的同时,从各种来源提取和导出数据,并汇入和汇出数据湖。
  • 湖中的数据组织(例如压缩、分区、重复数据删除)。
  • 元数据驱动的湖泊内数据的生命周期和合规性管理(例如,数据保留、细粒度数据删除)。

Apache Gobblin 成为 ASF 顶级项目

目前,已有苹果、CERN、康卡斯特、英特尔、LinkedIn、Nerdwallet、PayPal、Prezi、Roku、桑迪亚国家实验室、Swisscom 和 Verizon 等公司在使用 Apache Gobblin。 

有关 Apache Gobblin 的详细介绍可查看:https://gobblin.apache.org/

文章转载自 OSCHINA 社区 [http://www.oschina.net]

猜你喜欢:
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册