内容简介：Spark踩坑之App闭包Null Pointer问题
昨天踩了 App子类闭包问题 ，刚开始用Spark 2.1的DataSet相关API，误以为是使用的姿势不正确，定位问题的方向不对，浪费了好多时间调试。后来改回成DataFrame API，问题得到了快速定位。因为这个bug在DataSet闭包中，使用broadcast的value不会报错，程序可以顺利执行；而在DataFrame闭包中，调用broadcast的value，会抛出null pointer异常。
看看下面的例子，
object DemoBug extends App {
val conf = new SparkConf()
val sc = new SparkContext(conf)
val rdd = sc.parallelize(List("A","B","C","D"))
val str1 = "A"
val rslt1 = rdd.filter(x => { x != "A" }).count
val rslt2 = rdd.filter(x => { str1 != null && x != "A" }).count
println("DemoBug: rslt1 = " + rslt1 + " rslt2 = " + rslt2)
}
输出内容
DemoBug: rslt1 = 3 rslt2 = 0
根据输出，说明变量 str1 并没有正确的传到 rdd 的闭包filter中。如果将App换成main，可以得到期望的结果。
object DemoBug {
def main(args:Array[String]) = {
val conf = new SparkConf()
val sc = new SparkContext(conf)
val rdd = sc.parallelize(List("A","B","C","D"))
val str1 = "A"
val rslt1 = rdd.filter(x => { x != "A" }).count
val rslt2 = rdd.filter(x => { str1 != null && x != "A" }).count
println("DemoBug: rslt1 = " + rslt1 + " rslt2 = " + rslt2)
}
}
输出内容
DemoBug: rslt1 = 3 rslt2 = 3
根据 spark官方bug 反馈，此问题已经解决了，但是实际来看还是没有解决。所以还是乖乖使用main吧！
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
P3P Web隐私
克劳娜著、技桥译 / 克劳娜 / 清华大学出版社 / 2004-5 / 45.0
自万维网络中出现商业站点以来，基于Web的商业需求和用户的隐私权利之间就存在着不断的斗争。Web开发者们需要收集有关用户的信息，但是他们也需要表示出对用户隐私的尊重。因此隐私偏好工程平台，或者称之为P3P，就作为满足双方利益的技术应运而生了。 P3P由万维网协会研制，它为Web用户提供了对自己公开信息的更多的控制。支持P3P的Web站点可以为浏览者声明他们的隐私策略。支持P3P的浏览......一起来看看 《P3P Web隐私》 这本书的介绍吧!
CSS 压缩/解压工具
在线压缩/解压 CSS 代码
HEX CMYK 转换工具
HEX CMYK 互转工具