IBM 继续致力于发展 Apache Spark

。

为 lookupFunctions 缓存来自外部目录的函数名 ( SPARK-23486 )

引入此改进之前，如果在一个 SQL 查询中多次调用一个函数，则会不必要地访问元存储来解析该函数，这大大减缓了查询的进度。通过这个 pull 请求，Spark 会缓存来自外部目录的函数名，从而改善这些查询的性能。

支持符合 ANSI-SQL 的 GROUPING SET 语法 ( SPARK-24424 )

根据 SQL 标准，指定 `GROUPING SET` 时，列列表是可选的。在 2.4 版以前，甚至在指定 `GROUPING SET` 时，也需要显式指定列列表。2.4 版中已去除了此限制，分组规范已符合标准的要求。例如：

SELECT c1, c2, max(c3)

FROM t1

GROUP BY GROUPING SETS ((c1), (c1, c2))

在上面的示例中，没有在 group by 子句后指定列列表。

在 ANALYZE TABLE 中支持 FOR ALL COLUMNS ( SPARK-25458 )

Spark 2.4 中扩展了 `ANALYZE` 命令，用于收集一个表中所有列的统计数据。如果没有此语法，您必须显式指定列列表。

ANALYZE TABLE [db_name.]tablename COMPUTE STATISTICS FOR ALL COLUMNS;

在上面的例子中，会为指定表的所有列计算并记录表级和列级的统计数据。必须注意，不要为包含很多列的表使用此命令，因为计算统计数据成本很大，且耗费资源。

向 spark.ml 添加用于 PIC 的 Python API ( SPARK-19826 )

幂迭代聚类 (PIC) 是一种可扩展的图表聚类算法。在数据的归一化逐对相似矩阵上，它使用截断的幂迭代来查找数据集的超低维嵌入。事实证明，这种嵌入是一个有效的聚类指标，在真实数据集上的效率总是高于广泛使用的谱聚类方法，比如 NCut。PIC 在大型数据集上非常快，运行速度比基于最先进的 Rational Asset Manager 特征向量计算技术的 Ncut 实现快 1,000 多倍。

在 R 中添加对 EXCEPT ALL 和 INTERSECT ALL 的支持 ( SPARK-25117 )

在 Spark 2.4 中，对 R 数据集 API 进行了增强，添加了两个新方法 `intersectAll` 和 `exceptAll`，分别支持 `INTERSECT ALL` 和 `EXCEPT ALL` 运算。例如：

exceptAllDf <- exceptAll(df1, df2)

在 DataFrame 中添加 R partitionBy API ( SPARK-21291 )

在文件系统上，按给定的列对输出进行分区。如果指定了输出布局，文件系统上的输出布局类似于 Hive 的分区模式。分区是使用最广泛的物理数据布局优化技术之一。如果查询包含了分区列上的谓词，它可提供粗粒度的索引来跳过不必要的数据读取。要让分区很好地发挥作用，每列中不同值的数量通常不应超过几万。

添加 R 版本的数组运算符

• 向 SparkR 添加 array_intersect/array_except/array_union/shuffle ( SPARK-25007 )
• 在 SparkR 中添加 array_remove /array_zip /map_from_arrays /array_distinct ( SPARK-24537 )
• 向 SparkR 添加 array_join 函数 ( SPARK-24187 )
• 向 SparkR 添加 flatten 函数 ( SPARK-24185 )

采用 Arrow 来减少 toPandas() 集合的内存使用 ( SPARK-23030 )

通过从 Pandas 创建 Spark DataFrame 时和使用 `toPandas()` 收集 Spark DataFrame 时采用 Arrow 流格式，此特性改善了结合使用 Pandas 和 Spark 时的性能。

Pandas GroupedMap 用户定义函数混合使用列标签 ( SPARK-24324 )

此函数支持按名称对列建立索引，从而改善了 Spark 中的 Pandas GroupedMap 用户定义函数的实用性。

将 apache/arrow 升级到 0.10.0 版 ( SPARK-23874 )

将 Spark 中的 Apache Arrow 升级到 0.10.0 版，该版本包含许多改进和修复，还允许在 Pandas 运算中添加 BinaryType 支持 ( SPARK-23555 )

结束语

除了与 Apache Spark 社区持续合作，改善 Spark 的实用性、稳定性和性能外，IBM 还在研究其他一些特性，这些特性将改善 Spark 的数据联合功能，从而实现更高的性能。为了获得社区的认可，我们已提交这些特性的设计和初步性能结果，以期获得社区的反馈，这些特性包括：

• 联接下移 (Join Push Down) ( SPARK-24130 )
• 聚合下移 (Aggregate push down) ( SPARK-22390 )
• 信息参照完整性约束支持 (Informational Referential Integrity Constraints Support) ( SPARK-19842 )

此外，我们提交了两个共包含 3000 多行新代码的 pull 请求，以便为依赖于参照完整性约束的查询优化技术打下基础。( SPARK-21784 、 SPARK-23750 )。

本文翻译自 ： IBM continues commitment to Apache Spark （2018-11-29）