内容简介：Spark 由 Scala/Java 编写的，Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程，依赖 Java 内存管理和 GC。在生产环境中，通常使用几十上百甚至更大的内存，这在传统的 Java 应用中极为少见。Spark 通过开启 JMX：
Spark 由 Scala/Java 编写的，Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程，依赖 Java 内存管理和 GC。在生产环境中，通常使用几十上百甚至更大的内存，这在传统的 Java 应用中极为少见。
Spark 通过 spark.driver.extraJavaOptions
和 spark.executor.extraJavaOptions
可以为 Driver 和 Executor 添加额外的 JVM 选项。
GC 监控
实时监控
开启 JMX：
-Dcom.sun.management.jmxremote.port=<端口号> -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false
即可以通过 JDK 自带的 GUI 工具 jconsole
或 jstat
实时监控程序。
以使用 jstat 查看 GC 为例：
jstat -gc <进程号>@<主机名>:<端口号>
关于 JMX 的更多信息，点击 Monitoring and Management Using JMX Technology 查看。
打印信息
输出 GC 信息到 Worker 节点的 stdout 输出：
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
G1 垃圾收集器
Tips
使用 G1 垃圾收集器， -XX:+UseG1GC
。
如果任务从 HDFS 读取数据，任务使用的内存大小可以通过从 HDFS 数据块大小估计出来。注意，解压缩之后的数据块经常增长两到三倍。所以，如果有四个任务，HDFS 块大小为 128MB，估计 Eden 大小为 4*3*128MB
。
内存大于 4GB 小于 32GB， -XX:+UseCompressedOops
启动指针压缩。
参考
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Head First Design Patterns
Elisabeth Freeman、Eric Freeman、Bert Bates、Kathy Sierra、Elisabeth Robson / O'Reilly Media / 2004-11-1 / USD 49.99
You're not alone. At any given moment, somewhere in the world someone struggles with the same software design problems you have. You know you don't want to reinvent the wheel (or worse, a flat tire),......一起来看看 《Head First Design Patterns》 这本书的介绍吧!
