优步Uber向Apache软件基金会提交了一个开源大数据库Hudi

Hudi目前管理着超过4,000个表，在Uber存储了数PB的数据，同时将Apache Hadoop仓库访问延迟从几小时降低到30分钟以下。Hudi还以比公司以前使用的解决方案更低的成本和更高的效率为数百个增量数据流水线提供支持。

Hudi已经发展成为一个通用的大数据存储系统，可以：

• 摄取和查询引擎之间的快照隔离，包括Apache Hive，Presto和Apache Spark
• 支持回滚和保存点以恢复数据集
• 自动管理文件大小和布局，以优化查询性能和目录列表
• 近实时提取以使用新数据提供查询
• 实时和柱状数据的异步压缩

快速管理和访问数PB数据的能力对于整个数据生态系统的可扩展增长至关重要。尽管如此，这种对规模和速度的综合需求 并不总是自然地适合 现有的批处理和流式系统架构。

Hudi于2016年以代号“Hoodie”开发，旨在解决摄取和ETL管道中的低效问题，这些管道需要Uber 大数据生态系统中的 upsert和增量消费原语。为了与更广泛的大数据社区分享这些好处，优步于2017年开放Hudi。

展望未来， 该项目将与The Apache Software Foundation共存 。请查看 Apache Hudi项目页面， 了解技术文档和社区参与指南。