Spark SQL 源码分析（二）：SqlParser

SQL on Hadoop 按 SQL 解析可分为两大阵营：

• ANTLR
• Apache Calcite

ANTLR 阵营的包括：Apache Hive、Apache Spark、Presto

Apache Calcite 阵营的包括：Apache Flink、Apache Kylin

SparkSession

Spark 2.0 之后，提供了 SparkSession 新的程序入口，替代了之前的 SqlContext 和 HiveContext，执行 SQL 和创建 DataFrame/Dataset。

SparkSession.builder()  
  .appName("demo")
  .master("yarn")
  .enableHiveSupport()
  .getOrCreate()

SparkSession 内部的属性：

• sparkContext 全局唯一的 SparkContext 实例
• sharedState 会话间共享的状态，包括 sparkContext、缓存的数据、监听器和外部系统交互的 Catalog 等
• sessionState 会话间独立的状态，包括 SQL 配置、临时表、注册的 UDF 等

下面以 SparkSession 的 sql(sqlText: String): DataFrame 为例，描述 SQL 语句的解析过程：

/**
 * Executes a SQL query using Spark, returning the result as a `DataFrame`.
 * The dialect that is used for SQL parsing can be configured with 'spark.sql.dialect'.
 *
 * @since 2.0.0
 */
def sql(sqlText: String): DataFrame = {  
  Dataset.ofRows(self, sessionState.sqlParser.parsePlan(sqlText))
}

SparkSqlParser

在 AbstractSqlParser，实现了 ParserInterface 的 parsePlan 方法：

首先，调用 parse 方法将 SQL 解析为抽象语法树；

然后，回调方法里，从 singleStatement 结点开始，遍历语法树，将结点转换为逻辑计划。

/** Creates LogicalPlan for a given SQL string. */
override def parsePlan(sqlText: String): LogicalPlan = parse(sqlText) { parser =>  
  astBuilder.visitSingleStatement(parser.singleStatement()) match {
    case plan: LogicalPlan => plan
    case _ =>
      val position = Origin(None, None)
      throw new ParseException(Option(sqlText), "Unsupported SQL statement", position, position)
  }
}

在 parse 方法里，使用 ANTLR 4 实现了 SQL 语句的词法分析和语法分析，获得了抽象语法树。

词法分析：

val lexer = new SqlBaseLexer(new UpperCaseCharStream(CharStreams.fromString(command)))  
lexer.removeErrorListeners()  
lexer.addErrorListener(ParseErrorListener)

语法分析：

val tokenStream = new CommonTokenStream(lexer)  
val parser = new SqlBaseParser(tokenStream)  
parser.addParseListener(PostProcessor)  
parser.removeErrorListeners()  
parser.addErrorListener(ParseErrorListener)

回调：

// first, try parsing with potentially faster SLL mode
parser.getInterpreter.setPredictionMode(PredictionMode.SLL)  
toResult(parser)

SparkSqlAstBuilder

其中，SqlBaseVisitor 和 SqlBaseBaseVistor 是由 SqlBase.g4 生成的访问者（Visitor）模式解析类。

从 singleStatement 节点开始，遍历整个语法树，生成逻辑计划。查看 SQL 生成的未解析的逻辑计划：

val unresolvedLogicalPlan = spark.sql(sql)  
  .queryExecution
  .logical

基于 Spark 2.3.0 版本