Apache Storm 2.3.0 发布，分布式实时计算

内容简介：Apache Storm 2.3.0 现已发布。Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。 主要更新内容 新功能 在 docker 容器中启动 Storm Worker 使用 runc 运行时在容器内...

Apache Storm 2.3.0 现已发布。Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。

主要更新内容

• 新功能
  • 在 docker 容器中启动 Storm Worker
  • 使用 runc 运行时在容器内启动工作器
• 改进
  • 添加快速、更可靠的进程活跃度检查
  • 将 JCQueue 指标切换到新的指标 API
  • 将 AutoTGT 指标更新为新 API
  • 改进 PacemakerClient 错误消息
  • 为类似于 LIMIT-MEM 的 worker childopts 添加 OFF-HEAP 宏
  •  Ackers 和 metricComponents 分布不均
  • 在调度中对喜欢/不喜欢节点中的公共节点进行文档处理
  • JCQueue 不应在指标名称中包含执行程序字符串
  • Hadoop TGT 更新异常的更改处理
  •  如果在拓扑 conf 或集群 conf 中为 true，storm.messaging.netty.authentication 应该为 true
  • 用户页面应在所有者拓扑表中显示 storm 版本
  • 删除消息队列以更新 Executor 凭据
  • Netty 服务器应该更好地处理传入的消息
  • 继续支持 2.x 拓扑的 Pacemaker
  • 改进由于工作程序最大堆大小不正确而导致提交拓扑的异常消息
  • 守护程序指标报告器和拓扑指标报告器的单独配置
  • 将 TopologySummary 方法添加到 NImbus 以获得最佳 UI 查询
  • 更新 BuiltinMetrics 以使用 v2 Metrics API
  • 在 ServerUtils 中消除 ps 命令并使用 /proc/ status
  • 减少调试日志到调度程序日志
  • 升级 netty 客户端指标以使用 V2 API
• Bug 修复
  • 修复 ArtifactoryConfigLoader.load 上的竞争条件
  • 修复关于storm.supervisor.medium.memory.grace.period.ms 的逻辑错误
  • worker 应在其任务变更时自杀
  • 由于 ShutdownHooks 引起的死锁和竞争条件，有问题的 worker 没有及时杀死
  • 修复 Mockito 1.x 的拓扑无法运行单元测试的问题
  •  在重新平衡命令中验证组件名称并修复 --executor 选项
  •  如果分配为空，则修复 worker 自杀功能

更多详细内容请查看更新公告。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。