内容简介:Apache Airflow 2.1.4 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志...
Apache Airflow 2.1.4 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、 Docker 、Kubernetes、 MySQL 、PostgresSQL 等。
主要更新内容
- 修复弃用错误消息而不是使其静音
- 限制调度程序创建的排队 dagruns 的数量
- 修复 DagRun 执行顺序从排队到运行没有被正确遵循
- 修复 max_active_runs 不允许将排队的 dagruns 移动到运行状态
- 避免为没有权限的用户重定向循环
- 当用户没有角色时避免无限重定向循环
- 修复图形 TI 模态上的日志链接
- 如果用户没有权限,隐藏变量导入表单
- 改进 dag/task 并发检查
- 修复清除任务实例端点重置所有 DAG 运行错误
- 修复传递给视图的错误参数
- 修复 LocalTaskJob 中导致错误的 Sentry 处理程序
- 限制 colorlog 版本(6.x 不兼容)
- 仅在悬停时显示暂停/取消暂停 工具 提示
- 改进具有开放组的 dag 的图形视图加载时间
- 增加运行列的宽度
- 修复运行 tis 时的错误查询
- 将 root 添加到树刷新 url
- 不要从 UI 中删除正在运行的 DAG
- 提高提供程序包功能的可发现性
- 不要让 create_dagrun 覆盖显式 run_id
- 错误修复:pid 重置回归以允许在心跳后启动任务
- 在运行时删除 pod 时将任务状态设置为失败
- 建议内核不要缓存 Airflow 生成的日志文件
- 在 _check_for_stalled_adopted_tasks 方法中对采用的任务进行排序
- 修复 MySQLdb 驱动程序的 DagRunState 枚举查询
详情请查看更新公告。
以上所述就是小编给大家介绍的《Apache Airflow 2.1.4 发布,Airbnb 开源的调度系统》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Usability for the Web
Tom Brinck、Darren Gergle、Scott D. Wood / Morgan Kaufmann / 2001-10-15 / USD 65.95
Every stage in the design of a new web site is an opportunity to meet or miss deadlines and budgetary goals. Every stage is an opportunity to boost or undercut the site's usability. Thi......一起来看看 《Usability for the Web》 这本书的介绍吧!