微信号 bigdata-projects
功能介绍 本账号由多位 Apache 项目的 Committer 和 PMC Member 共同维护
说说Spark的failover容错机制
蓝色的箭头表示读取数据,存储在executor的内存中,如果开启了WAL,将会把数据写入到存在容错文件系统的日志文件中(executor端的wal)
青色的箭头表示提醒driver, 接收到的数据块的元信息发送给driver中的SparkContext, 这些元数据包括:executor内存中数据块的引用ID和日志文件中数据块的偏移信息(driver端的wal)
Spark的RDD的五大特性是什么?
微信扫一扫关注该公众号