内容简介:Apache Airflow 2.2.0 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志...
Apache Airflow 2.2.0 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、 Docker 、Kubernetes、 MySQL 、PostgresSQL 等。
主要更新内容
- 新功能
- AIP-39: 为 Airflow 添加(可定制的)时间表类,以实现更丰富的调度行为
- AIP-40: 添加可延迟的 "异步" 任务
- 添加 Docker 任务流装饰器
- 在仪表盘上显示来自本地设置的警报信息
- 使用 json-schema 的高级参数
- 能够测试来自 UI 或 API 的连接
- 将 Next Run 添加到 UI
- 添加默认权重规则配置选项
- 添加日历字段以在触发时选择 DAG 的执行日期
- 允许为 BashOperator 设置特定的 cwd
- 在 DAG 视图中显示导入错误
- 改进
- 改进 Airflow 用户界面的
- 将 processor_poll_interval 更名为 scheduler_idle_sleep_time
- 检查日志级别的允许值
- 修复使用 dagrun_conf 触发不存在的 dag 时的错误
- 为 TaskInstanceModelView 添加 muldelete 动作
- 避免在清除 DB 安装期间导入 DAG
- 要求在 DAG 权限上 can_edit,以修改 TaskInstances 和 DagRuns
- 使 Kubernetes 工作描述适合于一个日志行为
- 如果任务实例的状态为空或未定义,总是画出边界
- 改进了对僵尸任务的日志处理
- bug 修复
- 使 REST API 补丁用户端点的工作方式与 UI 相同
- 为已清除的任务正确设置 start_date
- 在对其状态运行更新之前,确保 task_instance 存在
- 使 AirflowDateTimePickerWidget 成为必填字段
- 在删除旧的渲染任务字段时,重试陷入僵局的事务
- 修复重试延迟为零时 retry_exponential_backoff 除以零的错误
- 改进 UI 处理日期的方式
- 错误修正:dag_bag.get_dag 应返回 None,而不是引发异常
- 只有当任务是一个有效的实例时才会显示任务模版
详情请查看更新公告。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Apache Airflow 2.0 发布,Airbnb 开源的调度系统
- 290家公司都在用的任务调度系统,还在Github上开源了
- Schedulis V1.0.0 发布--开源的金融级工作流调度方案
- 宜信开源|微服务任务调度平台SIA-TASK入手实践
- 开源分布式工作流任务调度系统Easy Scheduler 1.0.1正式发布
- 简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
《电脑报》2005年合订本(上下)
电脑报社主编 / 西南师范大学出版社 / 2006-1 / 45.00元
全套上、下两册,浓缩2005年电脑报精华文章;附录包含70余篇简明IT应用指南,涵盖软件、硬件、数码、网络四大领域,配赠权威实用的2005-2006中国计算机年鉴光盘,近1.4GB海量信息与资源超值奉献,提供2005-2006全系列硬件、数码产品资讯,兼具知识性与资料性,连结购买每年《电脑报合订本》,你将拥有一套完整的实用大型电脑文库。一起来看看 《《电脑报》2005年合订本(上下)》 这本书的介绍吧!