阿里云开源“计算王牌”Blink,实时计算时代已来

栏目: 后端 · 发布时间: 5年前

内容简介:1月28日,阿里云宣布将旗下的计算王牌Blink开源给社区,消息一出引起了业界一阵热议。data Artisans(Flink创始公司) CTO Stephan Ewen表示,“阿里巴巴是Flink最大的贡献者,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。”

1月28日,阿里云宣布将旗下的计算王牌Blink开源给社区,消息一出引起了业界一阵热议。

阿里云开源“计算王牌”Blink,实时计算时代已来 阿里Blink正式开源

data Artisans(Flink创始公司) CTO Stephan Ewen表示,“阿里巴巴是Flink最大的贡献者,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。” 

据了解,Blink由当下最受欢迎的实时计算技术Flink改造而来。与此同时,阿里为Flink社区贡献近20万行代码改动,而这些改进也将计算能力推向了巅峰,计算延迟降低到人类无法感知的毫秒级,并且可以实现每秒17亿次的处理能力,目前还没有哪家企业做到这一水平。

据悉,阿里巴巴集团内部核心业务全部用上了Blink,例如ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。

企业已迈进实时计算时代

数据是各行业企业的核心资产,如何应对指数级增长的数据一直都是学术界和工业界关注的焦点。过去十余年,工业界经历了多个技术的迭代。谷歌最早发布的 GFS、BigTable、MapReduce三篇论文开启了大数据计算的篇章,但早期诸如MapReudce之类的计算技术都是离线计算,即只能针对海量数据进行定时计算,使用场景也较为有限;2009年, 随着Spark项目诞生于伯克利大学的AMPLab实验室,让数据实时处理变成可能;但谁也没意料到,2014年诞生的Flink真正让“实时计算”发挥到了极致,并成为最受欢迎的开源项目之一。

毫无疑问,离线计算依旧有其发挥空间,但实时计算的应用场景正在不断扩大。例如,对时效性要求极高的金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。从2010年谷歌决定弃用MapRduce可以看出,实时计算已是大势所趋。

目前,全球顶尖的科技公司都在积极布局实时计算技术,其中Flink和Spark是两大主流的技术方向。二者看似类似,但两者有本质的区别,Spark更侧重用批来模拟流的离线计算理念,而Flink则完全相反。

“从技术发展方向看,用批来模拟流有一定的技术局限性,并且这个局限性可能很难突破。而Flink基于流来模拟批,在技术上有更好的扩展性。”这也是阿里、Uber、Netflix等公司选择这一技术方向的主要原因。

Flink 已经被业界公认是最好的流计算引擎,然而 Flink 的计算能力不仅仅局限于做实时计算,其似乎走得是一条全能的技术路线。在2018年12月举行的Flink Forward大会上,Stephan指出Flink一方面需要朝着离线方向发展,实现批流融合大数据计算能力,另一方面也需要朝着更加实时在线方向发展。

技术的完整性也让越来越多的企业开始选择Flink。据第三方调查报告显示, 2018年,Flink的采用量增长了125%,是过去一年大数据和 Hadoop 生态系统中发展最快的技术。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

探索需求

探索需求

章柏幸、王媛媛、谢攀、杰拉尔德・温伯格、唐纳德・高斯 / 章柏幸、王媛媛、谢攀 / 清华大学出版社 / 2004-7-1 / 39.00元

本书将与您一起寻找"什么是客户真正想要的"这一问题的答案。 本书着眼于系统设计之前的需求过程,它是整个开发过程(如何设计人们想要的产品和系统)中最有挑战性的那部分。通过对一些需求分析中的常见误区和问题的分析和讨论,从和客户沟通开始,深入研究一些可能的需求,澄清用户和开发者期望值,最终给出了能够大幅度提高项目成功几率的一些建议方法。 本书由该领域内公认的两位作者合著,搜集了他们在大大小小......一起来看看 《探索需求》 这本书的介绍吧!

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具