内容简介:Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feature/qiye_weixin [Eas...
Easy Scheduler Release 1.1.0
Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。
新特性:
- [EasyScheduler-391] run a process under a specified tenement user
- [EasyScheduler-288] Feature/qiye_weixin
- [EasyScheduler-189] Kerberos等安全支持
- [EasyScheduler-398]管理员,有租户(install.sh设置默认租户),可以创建资源、项目和数据源(限制有一个管理员)
- [EasyScheduler-293]点击运行流程时候选择的参数,没有地方可查看,也没有保存
- [EasyScheduler-401]定时很容易定时每秒一次,定时完成以后可以在页面显示一下下次触发时间
- [EasyScheduler-493]add datasource kerberos auth and FAQ modify and add resource upload s3
增强:
- [EasyScheduler-227] upgrade spring-boot to 2.1.x and spring to 5.x
- [EasyScheduler-434] worker节点数量 zk和 mysql 中不一致
- [EasyScheduler-435]邮箱格式的验证
- [EasyScheduler-441] 禁止运行节点加入已完成节点检测
- [EasyScheduler-400] 首页页面,队列统计不和谐,命令统计无数据
- [EasyScheduler-395] 对于容错恢复的流程,状态不能为 **正在运行
- [EasyScheduler-529] optimize poll task from zookeeper
- [EasyScheduler-242]worker-server节点获取任务性能问题
- [EasyScheduler-352]worker 分组, 队列消费问题
- [EasyScheduler-461]查看数据源参数,需要加密账号密码信息
- [EasyScheduler-396]Dockerfile优化,并关联Dockerfile和github实现自动打镜像
- [EasyScheduler-389]service monitor cannot find the change of master/worker
- [EasyScheduler-511]support recovery process from stop/kill nodes.
- [EasyScheduler-399]HadoopUtils指定用户操作,而不是 **部署用户
- [EasyScheduler-378]Mailbox regular match
- [EasyScheduler-625]EasyScheduler call shell "task instance not set host"
- [EasyScheduler-622]Front-end interface deployment k8s, background deployment big data cluster session error
修复:
- [EasyScheduler-394] master&worker部署在同一台机器上时,如果重启master&worker服务,会导致之前调度的任务无法继续调度
- [EasyScheduler-469]Fix naming errors,monitor page
- [EasyScheduler-392]Feature request: fix email regex check
- [EasyScheduler-405]定时修改/添加页面,开始时间和结束时间不能相同
- [EasyScheduler-517]补数 - 子工作流 - 时间参数
- [EasyScheduler-532]python节点不执行的问题
- [EasyScheduler-543]optimize datasource connection params safety
- [EasyScheduler-569]定时任务无法真正停止
- [EasyScheduler-463]邮箱验证不支持非常见后缀邮箱
- [EasyScheduler-650]Creating a hive data source without a principal will cause the connection to fail
- [EasyScheduler-641]The cellphone is not supported for 199 telecom segment when create a user
- [EasyScheduler-627]Different sql node task logs in parallel in the same workflow will be mixed
- [EasyScheduler-655]when deploy a spark task,the tentant queue not empty,set with a empty queue name
- [EasyScheduler-667]HivePreparedStatement can't print the actual SQL executed
感谢:
最后但最重要的是,没有以下伙伴的贡献就没有新版本的诞生:
Baoqi, jimmy201602, samz406, petersear, millionfor, hyperknob, fanguanqun, yangqinlong, qq389401879, chgxtony, Stanfan, lfyee, thisnew, hujiang75277381, sunnyingit, lgbo-ustc, ivivi, lzy305, JackIllkid, telltime, lipengbo2018, wuchunfu, telltime, chenyuan9028, zhangzhipeng621, thisnew, 307526982, crazycarry
以及微信群里众多的热心伙伴!在此非常感谢!
Easy Scheduler
Easy Scheduler for Big Data
设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
。 其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对
Master/Worker
cpu load,memory,cpu在线查看 - 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索
与同类调度系统的对比
系统部分截图
文档
更多文档请参考 easyscheduler中文在线文档
近期研发计划
EasyScheduler的工作计划:研发计划 ,其中 In Develop卡片下是1.1.0版本的功能,TODO卡片是待做事项(包括 feature ideas)
以上所述就是小编给大家介绍的《Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 分布式任务调度系统设计:详解 Go 实现任务编排与工作流
- Easy Scheduler 1.0.2 发布,分布式工作流任务调度系统
- Easy Scheduler 1.0.2 发布,分布式工作流任务调度系统
- Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统
- Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统
- Easy Scheduler 1.0.4 发布,分布式工作流任务调度系统
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Mathematica Cookbook
Sal Mangano / O'Reilly Media / 2009 / GBP 51.99
As the leading software application for symbolic mathematics, Mathematica is standard in many environments that rely on math, such as science, engineering, financial analysis, software development, an......一起来看看 《Mathematica Cookbook》 这本书的介绍吧!