openLooKeng v1.4.1 上线，OmniData Connector 来了

内容简介：前言 前不久，在Hadoop、openLooKeng联合发起的Apache Hadoop Meetup 2021上，社区 PMC 主席 Ken Zhang 分享了主题：openLooKeng and the technical trend of big data（点此回顾），其中OmniRuntime 受到不少朋友...

前言

前不久，在Hadoop、openLooKeng联合发起的Apache Hadoop Meetup 2021上，社区 PMC 主席 Ken Zhang 分享了主题：openLooKeng and the technical trend of big data（点此回顾），其中OmniRuntime 受到不少朋友的关注。11月12日，openLooKeng v1.4.1正式上线。除了对旧版本进行一些优化外，v1.4.1版本还引入了OmniData Connector。作为OmniRuntime的组件之一，OmniData 有什么作用？小助手将为大家娓娓道来。

关于 OmniData

OmniData 算子下推特性，适用于大数据存算分离场景或大规模融合部署场景。当大量计算节点从存储节点读取数据时，大量原始数据从存储节点通过网络传输到计算节点进行处理，有效数据占比低，极大浪费网络带宽。OmniData旨在减少数据存储层和计算层之间的数据传输。

此外，OmniData算子下推特性将计算侧的Filter、Aggregation、Limit算子下推到存储节点执行，实现近数据计算，并利用多样算力缓解计算侧CPU的压力。OmniData服务将算子处理结果通过网络传输到计算节点，从而减少无效数据在网络上的传输，有效提升大数据计算性能。

OmniData适用范围

1. 支持openLooKeng v1.4.0和Spark 3.0.0，提供对应的引擎侧OmniData插件。

2. 支持算子下推到HDFS，支持S3的存储访问接口。

3. 支持数据格式包括：TXT、ORC、Parquet。

4. TaiShan服务器，支持鲲鹏处理器的体系架构。

OmniData在大数据存算分离场景或大规模融合场景的适用性，极大符合openLooKeng的愿景：让大数据更简单。OmniData特性的引入，将进一步提升openLooKeng引擎性能。

OmniData Connector更多详情请参考：

https://openlookeng.io/docs/docs/connector/omnidata.html

OmniData更多详情请参考：

https://www.hikunpeng.com/zh/developer/boostkit/big-data?accelerated=3

---

openLooKeng v1.4.1 其他优化

ARM 架构下支持JDK8

消除因JDK卡顿问题导致ARM架构下对 java 版本的强制要求，支持ARM架构下使用jdk1.8.262及以上版本。

---

欢迎下载并使用openLooKeng新版本: https://openlookeng.io/zh-cn/download.html

如果您有任何体验感受与建议，欢迎在openLooKeng代码仓上提Issue，或发邮件至users@openlookeng.io告知我们。您的声音或将成为openLooKeng引擎性能提升的关键。

openLooKeng代码仓地址: https://gitee.com/openlookeng

openLooKeng, Make Big Data Simplified

以上所述就是小编给大家介绍的《openLooKeng v1.4.1 上线，OmniData Connector 来了》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。