视频演讲： 实时流系统Heron的异常检测和恢复

概要

应近年来大规模实时分析的需求，很多流处理系统被开发出来。Twitter Heron开源系统就是其中的代表项目之一。这类系统要求在软件或者硬件失败的极端情况下能有较好的服务水平。为了达到这种要求，Twitter Heron系统添加了Dhalion异常检测和恢复框架来保障Heron系统的服务水平。 Dhalion异常检测和恢复框架使用polocy（策略）来整合detector（检测器）和resolver（执行器）模块。整个系统非常灵活。通过替换policy或者detector或者resolver能进行各种检测和恢复任务，包括检测back pressure（反压）指标并进行扩容，和检测负载指标并重新调度容器等等。Dhalion框架的应用给Heron系统带来了初步的自行规范调整机制。