SessionCatalog
是底层元数据(基于内存和基于 Hive)的代理,同时也负责临时视图和函数的管理。
SessionCatalog
类图:
ExternalCatalog
ExternalCatalog
用于管理数据库、表、分区和函数,在 Spark SQL 中具体有两个实现:
InMemoryCatalog HiveExternalCatalog
InMemoryCatalog
是 ExternalCatalog
基于内存(内部使用 scala.collection.mutable.HashMap
)的实现,主要用于测试和探索。不建议用于生产环境。
HiveExternalCatalog
是 ExternalCatalog
基于 Hive(内部使用 org.apache.hadoop.hive.ql.metadata.Hive
)的实现。
GlobalTempViewManager
GlobalTempViewManager
是线程安全的全局临时视图管理器,提供了对全局视图的原子操作,包括创建、更新和删除等。
内部由 scala.collection。mutable.HashMap[String, LogicalPlan]
实现。
FunctionResourceLoader
TODO
FunctionRegistry
提供了函数的注册、查找和删除等功能。
默认实现类 org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry
。
基于 Spark 2.3.0 版本
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 以太坊源码分析(36)ethdb源码分析
- [源码分析] kubelet源码分析(一)之 NewKubeletCommand
- libmodbus源码分析(3)从机(服务端)功能源码分析
- [源码分析] nfs-client-provisioner源码分析
- [源码分析] kubelet源码分析(三)之 Pod的创建
- Spring事务源码分析专题(一)JdbcTemplate使用及源码分析
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
物联网导论(第2版)
刘云浩 / 科学出版社 / 2013-8 / 45.00元
物联网是一个基于互联网、传统电信网等信息承载体,让所有能够被独立寻址的普通物理对象实现互联互通的网络。它具有普通对象设备化、自治终端互联化和普适服务智能化三个重要特征。 《物联网工程专业系列教材:物联网导论(第2版)》从物联网的感知识别层、网络构建层、管理服务层和综合应用层这四层分别进行阐述,深入浅出地为读者拨开萦绕于物联网这个概念的重重迷雾,引领求知者渐渐步入物联网世界,帮助探索者把握第三......一起来看看 《物联网导论(第2版)》 这本书的介绍吧!
随机密码生成器
多种字符组合密码
UNIX 时间戳转换
UNIX 时间戳转换