CSharpFlink 实时计算引擎,增加 RPC 服务端和客户端,供业务系统调用

栏目: 软件资讯 · 发布时间: 1个月前

来源: 开源中国社区

内容简介:更新内容: 1.增加RPC(远程过程调用)的服务端和客户端,供业务系统调用,例如:WEB业务系统。 2.增加计算结果的数据ID设置,在Sink的时候,保存到存储空间,作为计算结果的唯 一标识。 CSharpFlink a real-tim...

本文转载自:https://www.oschina.net/news/122488/csharpflink-updated,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

更新内容:

1.增加RPC(远程过程调用)的服务端和客户端,供业务系统调用,例如:WEB业务系统。

2.增加计算结果的数据ID设置,在Sink的时候,保存到存储空间,作为计算结果的唯 一标识。

CSharpFlink 实时计算引擎,增加 RPC 服务端和客户端,供业务系统调用

CSharpFlink

a real-time computing framework

官方网址 http://www.ineuos.net/

技术博客 https://www.cnblogs.com/lsjwq/

gitee地址:https://gitee.com/wxzz/CSharpFlink

1 项目背景

      我们有一个全国性质的面向工业的公有云平台,通过专线或4G的链路方式实时向平台传输数据,每天处理1亿条左右的数据量,为现场用户提供实时的在线服务和离线数据分析服务。现在已经上线稳定运行有将近3年的时间。同时也为工业企业提供私有云建设服务。
      我们计划使用Flink作为云平台后台的实时计算部分,基本实现数据点的聚合计算、表达式规则计算等业务,进一步实现机器学习或自定义复杂算法的需求。
      我们经过将近一年左右时间的研究及开发,已经基本实现了聚合和逻辑等业务,但是感觉Flink比较重,并且应用和运维的水平要求比较高。
      基于上述情况,我们自主使用NET 5.0开发一套CSharpFlink实时计算组件,支持自定义数据源、计算和存储的基本要求。

2 应用场景

主要面向物联网、工业互联网私有云或公有云平台建设过程中的数据点实时聚合和表达式计算。应用场景包括:

  • 数据点的实时时间窗口范围内聚合计算,例如:最大值、最小值、平均值、和值、众数、方差、中位数等,可以自定义二次开发。
  • 数据点的历史延迟窗口的一段时间范围内数据补充或更新的重新计算。
  • 数据点的表达式计算,支持自定义C#脚本进行编辑,实时预警或数据深度加工处理。
  • 主从结构的分布式部署,主节点负责计算任务分发,工作节点负责任务计算及结果存储。

3 框架特点

主要特点主要是根据我们多年的物联网、工业项目经验的提炼和总结,满足实现应用场景,特点包括:

  • 使用最新的NET 5.0进行开发,完全跨平台。
  • 实时数据窗口范围外的数据补发或更新的重新计算,例如:当前5秒的实时数据窗口,支持5秒以前的数据补充和更新,并且进行重新计算及更新到数据存储单元。
  • 实时数据表达式计算支持定时计算或数据值改事件变触发计算,满足实时表达式或周期性计算。
  • C#语言的二次开发,对接多种数据源,自定义算子和多种方式数据存储等。
  • 单节点或分布式部署。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Linux多线程服务端编程

Linux多线程服务端编程

陈硕 / 电子工业出版社 / 2013-1-15 / 89.00元

本书主要讲述采用现代C++ 在x86-64 Linux 上编写多线程TCP 网络服务程序的主流常规技术,重点讲解一种适应性较强的多线程服务器的编程模型,即one loop per thread。这是在Linux 下以native 语言编写用户态高性能网络程序最成熟的模式,掌握之后可顺利地开发各类常见的服务端网络应用程序。本书以muduo 网络库为例,讲解这种编程模型的使用方法及注意事项。 本......一起来看看 《Linux多线程服务端编程》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具