开源大数据流水线系统 PiFlow V1.0 发布

内容简介：PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 增加了...

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性：

1. 增加了运行单个数据处理组件、当前及以下数据处理组件功能；
2. 增加了测试数据管理功能；
3. 增加了数据处理组件显隐功能；
4. 增加了表格组件，支持数据下载；
5. 增加了 Sql 编辑器；
6. 针对页面友好性进行了优化；

GitHub地址： https://github.com/cas-bigdatalab/piflow

1）运行单个数据处理组件

2）测试数据管理

3）数据处理组件显隐

4）表格组件

5）Sql编辑器

 

联系方式：18612673095（微信号）

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。