内容简介：Spark2.4.0 今天官网发布，这是一个大好消息。Spark 2.4.0http://spark.apache.org/releases/spark-release-2-4-0.html
Spark2.4.0 今天官网发布，这是一个大好消息。
Spark 2.4.0 是 2.x 的第五个发型版本。官方发布消息链接如下：
http://spark.apache.org/releases/spark-release-2-4-0.html
此版本继续关注可用性，稳定性和优化，浪尖在这里摘要翻译一下， 主要的关注点：
SparkCore 和 SQL
-
增加了 Barrier ExecutionMode ，可以更好的和深度学习的框架整合
-
同时引入了 30+ 内置函数和 higher-order 函数可以处理更复杂的数据类型
-
改善了与 k8s 的整合
-
支持 scala 2.12
-
内置支持了 Avro格式 数据源，这个感情好，后面浪尖给出测试案例，以后有 pb 的支持那就更好了。
性能和稳定性
这个优化比较多，值得关注
-
Connector 优化
这个优化主要是 Parquet ， orc ， csv 及 avro 等的优化升级
MLlib
-
MLlib 支持了图像格式的数据源
StructuredStreaming
-
使用 foreachBatch （支持 Python ， Scala 和 Java ）将每个微批的输出行暴露为 DataFrame 。
-
为 Python API 增加了 foreach 和 ForeachWriter
-
支持使用“ kafka.isolation.level ”读取使用事务的生产者生产到 kafka topic 的已提交消息。
Spark SQL 的升级页面里也有对 Spark 2.4 在 SQL 方面的调整优化，大家有兴趣也可以看看，有没有自己关注的 bug 被修复了。
http://spark.apache.org/docs/latest/sql-migration-guide-upgrade.html#upgrading-from-spark-sql-23-to-24
细心的同学注意到了， Spark Streaming 已经稳定到不用更新了，，，还是说 Spark Streaming 已经凉凉了。
推荐阅读：
欢迎转发，点赞
以上所述就是小编给大家介绍的《Spark 2.4.0 发布了》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
复杂：信息时代的连接、机会与布局
罗家德 / 中信出版集团股份有限公司 / 2017-8-1 / 49.00 元
信息科技一方面创造了人们互联的需要，另一方面让人们在互联中抱团以寻找归属感，因此创造了大大小小各类群体的认同和圈子力量的兴起，即互联的同时又产生了聚群，甚至聚群间的相斥。要如何分析这张网？如何预测它的未来变化？如何在网中寻找机会，实现突围？本书提出了4个关键概念──关系、圈子、自组织与复杂系统： • 关系 关系是人与人的连接，又可以被分为强关系和弱关系。强关系就是和你拥有亲密关系的人，......一起来看看 《复杂：信息时代的连接、机会与布局》 这本书的介绍吧!
