美国怀俄明的Delta Lake
本文来自2019年6月26日在美国波士顿举办的 Spark Meetup,分享者是正是砖厂(Databricks)的大神 Michael Armbrust。 Michael Armbrust 是 Spark SQL 的原创者,也是 Structured Streaming 的原创者,最近几年在做 Delta Lake。
下面这句话引用自:https://www.jianshu.com/p/3fef83ce1dba
Spark 做为一个计算引擎,应该无须质疑是当前大数据行业的领导者。。。而 Parquet 做为 Spark 的缺省数据存储格式,其实相当薄弱,缺少了太多关键特性,让Spark的用户不胜其扰,简直是Spark易用性的最大敌人!社区的抱怨可谓绵绵不绝,这种对于技术完美主义者,是无法容忍的!!!在这种背景下,Delta 开始了设计和实现。。。Databricks一年多前推出Delta之后,各位客户好评不断,但是我们只在有限的cloud上提供服务。这个实在无法满足那些在on prem上大量部署Spark的整个社区!于是乎,今年Spark Summit,使用Apache license 开源 了!可以参见 《 重磅 | Apache Spark 社区期待的 Delta Lake 开源了 》
Delta Lake 功能强大,但是网上关于这个方面的文章少的可怜,特别是关于 Delta Lake 的内部工作原理更是凤毛麟角。最有资格介绍 Delta Lake 诞生背景以及内部工作原理的人非 Michael Armbrust 莫属,基于这些,Michael Armbrust 大神给我们带来了名为《Delta Lake: Open Source Reliability and Quality for Data Lakes》的分享,给我们介绍了 Delta Lake 的前世今生,引进 Delta Lake 的内部工作原理,值得一看。
本次分享的视频可以到下面地方获取:
优酷:
https://v.youku.com/v_show/id_XNDI0OTE4NzYzNg
YouTube(有字幕):
https://www.youtube.com/watch?v=whaV6bMaf5o
本文PPT请关注 Hadoop技术博文 公众号并回复 delta_lake 获取。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
汇编语言(第3版)
王爽 / 清华大学出版社 / 2013-9 / 36.00元
《汇编语言(第3版)》具有如下特点:采用了全新的结构对课程的内容进行组织,对知识进行最小化分割,为读者构造了循序渐进的学习线索;在深入本质的层面上对汇编语言进行讲解;对关键环节进行深入的剖析。《汇编语言(第3版)》可用作大学计算机专业本科生的汇编教材及希望深入学习计算机科学的读者的自学教材。一起来看看 《汇编语言(第3版)》 这本书的介绍吧!