Jet 4.5 发布，分布式批处理和流处理引擎

内容简介：Jet 是一个开源的、内存中的、分布式批处理和流处理引擎。你可以用它来处理大量的实时事件或大批量的静态数据集。为了给人一种规模感，Jet 的一个节点已经被证明可以每秒聚集1000万个事件，延迟低于10毫秒。 新功...

Jet 是一个开源的、内存中的、分布式批处理和流处理引擎。你可以用它来处理大量的实时事件或大批量的静态数据集。为了给人一种规模感，Jet 的一个节点已经被证明可以每秒聚集1000万个事件，延迟低于10毫秒。

新功能：

• [sql] 动态 ClassDefinition 消除了在 IMap 中使用新的记录类型时重新启动集群的需要；

增强：

• [jdbc] 添加了一个选项，用于配置 JDBC Sink 的批处理大小；
• [sql] 优化了 SQL 聚合的内存占用；
• [sql] 现在你可以在 SQL 生成器函数中使用表达式了；
• [核心]从 IMap/ICache 中提取数据可能会由于同时创建过多的分区迭代器而导致 OOME；
• [核心] 删除了因工作被取消而发生的错误的误导性记录；
• [pipeline-api] 大大提高了滑动窗口中 pickAny 聚合操作的性能；

修复：

• [core]Jet 与 Java Logging Framework 的集成导致它无意中从关机 hook 中关闭了 System.out，这将破坏其他关机 hook；
• [core] 修复了 DAG.toDotString()，以显示正确的队列大小；
• [sql] CREATE MAPPING 语法有一个漏洞，你可以在同一语句中同时使用 OR REPLACE 和 IF NOT EXISTS ；
• [cdc]在 CDC 源中实施已处理的偏移反馈；
• [extensions] 更新 AWS SDK 版本至 1.11.976；
• [extensions] 更新 Guava 版本至 30.1；
• [extensions] 更新 Parquet 版本到 1.12.0；
• [extensions] 更新 Avro 到 1.10.2；
• [extensions] 更新 Jetty 版本至 9.4.38.v20210224；
• [extensions] 更新 wildfly-openssl 到 1；
• [extensions] 更新 ElasticSearch-6 到 6.8.14；
• [extensions] 更新 ElasticSearch-7 至 7.10.0；
• [extensions] 更新 Kafka 版本到 2.2.2；
• [extensions] 更新 MySql Connector 至 8.0.20；
• [extensions] 更新 Apache Http Client 至 4.5.13；
• [extensions] 更新 Netty 至 4.1.61.Final；
• [extensions] 更新 Snakeyaml 版本至 1.26 [SEC-71]；

重大变化：

• DAG.toDotString(int defaultParallelism) 方法签名现在为 DAG.toDotString(int defaultLocalParallelism, int defaultQueueSize)。调用者现在必须提供队列大小，如果不在边缘上重写，则将被显示。

更多详情可查看：https://github.com/hazelcast/hazelcast-jet/releases/tag/v4.5

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。