Apache Flink 1.13.0 发布,流处理框架

栏目: 软件资讯 · 发布时间: 5年前

内容简介:Apache Flink 1.13.0 现已发布,该版本使流处理应用像其他应用一样自然和简单地管理,只要改变并行进程的数量,就可以像其他应用程序一样扩展流媒体应用程序的运行。 反应式扩展 用户现在可以为 Flink 应用程序配...

Apache Flink 1.13.0 现已发布,该版本使流处理应用像其他应用一样自然和简单地管理,只要改变并行进程的数量,就可以像其他应用程序一样扩展流媒体应用程序的运行。

反应式扩展

用户现在可以为 Flink 应用程序配置一个自动缩放器,但要在配置自动缩放器的时候注意到重新缩放的成本。有状态的流媒体应用程序必须在扩展时移动状态。要尝试反应式扩展模式,请添加 scheduler-mode: reactive 配置项,并部署一个应用程序集群(独立的或 Kubernetes)。

分析应用程序性能

Flink 1.13 带来了一个改进的背压度量系统(使用任务邮箱时间,而不是线程堆栈采样),以及一个重新设计的作业数据流的图形表示,用颜色编码和繁忙程度和背压的比例。

Apache Flink 1.13.0 发布,流处理框架

此外,Flink 1.13 还为 Web UI 添加了 CPU 火焰图,该火焰图是通过对线程堆栈痕迹的反复采样来构建的。每个方法的调用都用一个条形表示,条形的长度与它在样本中出现的次数成正比。启用后,图表会显示在所选操作者的新 UI 组件中。

Apache Flink 1.13.0 发布,流处理框架

使用保存点切换状态后端

用户现在可以在从保存点恢复时改变 Flink 应用程序的状态后端。这意味着应用程序的状态不再被锁定在应用程序最初启动时使用的状态后端。这使得初始启动 HashMap 状态后端(JVM Heap 中的纯内存)成为可能,一旦状态增长过大,就可以切换到 RocksDB 状态后端。Flink 现在有一个标准的保存点格式,所有的状态后端在为一个保存点创建数据快照时都会使用这个格式。

用户指定 Kubernetes 部署的 Pod 模板

原生的 Kubernetes 部署(Flink 主动与 K8s 对话以启动和停止 pod)现在支持自定义 pod 模板。有了这些模板,用户可以以 Kubernetes 的方式设置和配置 JobManagers 和 TaskManagers pods ,其灵活性超出了 Flink 的 Kubernetes 集成中直接内置的配置选项。

机器学习库移至单独的存储库

为了加速 Flink 的机器学习工作(流式、批处理和统一的机器学习)的发展,这项工作已经转移到 Flink 项目下的新仓库 flink-ml

更多详细内容,请查看更新公告


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

人件

人件

Tom DeMarco、Timothy Lister / UML China / 清华大学出版社 / 2003-6 / 35.00元

《人件(第2版)》专门讨论了软件开发和维护的团队管理问题,并向人们的传统认识提出了挑战。作者汤姆·迪马可,蒂姆·李斯特在书中推崇人本管理思想,指出知识型企业的核心是人,而不是技术。《人件(第2版)》于1987年首次出版后,曾在西方引起了轰动,被誉为“对美国软件业影响最大的一本书”。《人件(第2版)》还对大中型组织中的软件开发团队如何运作进行了深入探讨。《人件》已成为软件图书中的经典之作。它和《人月......一起来看看 《人件》 这本书的介绍吧!

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具