ETL调度技术平台 TASKCTL

码农软件 · 软件分类 · ETL工具框架 · 2020-02-15 10:28:26

软件介绍

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要组成部分;从架构层面讲,调度是ETL技术体系的核心;从应用层面讲:调度是成百上千任务的管理者、控制者,它不仅限于调度任务,同时还担当各种任务的分类管理、展示、监控维护等诸多重任。可见ETL调度的重要性,ETL调度独立发展将是ETL技术发展的一种必然趋势!

TASKCTL开源版作为目前唯一的ETL调度领域开源软件,保证100% free,绝无黑盒代码。它志在促进该领域的独立发展,使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷,使企业基础架构更清晰、更易管理。

(一)主要适用环境

操作系统:aix/linux/unix/windows等(由于采用标准c语言构建,理论上可应用与各种主流unix系列);

项目规模:适用于中小型ETL项目;

ETL工具环境:TASKCTL由于采用任务插件驱动机制,因此,可支持各种存储过程、各种脚本、以及诸如Datastage\Informatica\kettle等各种ETL工具任务。

(二)主要功能

核心调度功能:主要可以完成串行、并行、依赖、互斥、执行计划排程(自然日历、逻辑日历)、定时、容错(重做、忽略)、循环、条件分支、远程、负载均衡、断点续作、参数控制、返回控制、跳转控制、变量自动设置、作业输入输出传递、时间窗口控制、并发控制、资源阈值控制、优先级控制、自定义条件等各种不同的核心调度功能。

扩展功能

网络扩展:可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署;

应用扩展:设计有专门的应用API接口(C接口、JAVA接口、WebServices接口),可实现更多的调度应用;

任务类型扩展:除开工具本身内置的各种ETL作业、DataStage、Oracle、DB2、sql、Kettle、Java、Shell、Python、exe、bat、ftp、script等作业类型外,为了适应不同类型的任务调度,平台可通过具有统一模版、统一接口的插件进行快速自定义扩展。几乎只要有命令行接口的程序,TASKCTL都可支持调度;

应用功能:配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能;

高可用支持:支持高可用分布式集群调度,可跨平台调度,Linux可调度Windows平台作业;

预警支持:支持短信与邮件预警功能,可通过配置实现JOB的短信与邮件告警;

流程图支持:流程图采用有序无环图思想设计,可以根据作业自动绘制流程图拓扑。

(三) 主要创新

简易性:整个软件安装可实现分钟级完成安装,一分钟即可上手完成“Hello World!”配置;

作业实时监控:任务监控采用高效数据缓存算法,可对10万级作业进行统一实时监控和错误秒级定位;

无数据库设计:国内首款专业无数据库调度技术平台;

插件机制:业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台;

流程设计代码开发设计理念:调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比,操作更方便、设计更灵活、可读性更强。

(四)其它

主要文档

《TASKCTL1.0(开源版)快速使用指南》

《TASKCTL1.0(开源版)流程XML代码》

《TASKCTL1.0(开源版)任务驱动插件应用》

《TASKCTL1.0(开源版)技术白皮书》

《TASKCTL1.0(开源版)二次开发手册》

《TASKCTL1.0(开源版)源代码简要说明》

为你推荐:

本文地址:https://www.codercto.com/soft/d/25654.html

平台战略

平台战略

陈威如、余卓轩 / 中信出版社 / 2013-1 / 58.00元

《平台战略:正在席卷全球的商业模式革命》内容简介:平台商业模式的精髓,在于打造一个完善的、成长潜能强大的“生态圈”。它拥有独树一帜的精密规范和机制系统,能有效激励多方群体之间互动,达成平台企业的愿景。纵观全球许多重新定义产业架构的企业,我们往往就会发现它们成功的关键——建立起良好的“平台生态圈”,连接两个以上群体,弯曲、打碎了既有的产业链。 平台生态圈里的一方群体,一旦因为需求增加而壮大,另......一起来看看 《平台战略》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

随机密码生成器
随机密码生成器

多种字符组合密码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具