内容简介：翻译自：https://stackoverflow.com/questions/25230363/how-to-convert-javapairrdd-into-hashmap
PairDStream.我需要将它转换为HashMap.我尝试通过调用“collectAsMap()”函数和它的工作方式对普通的JavaPairRDD做同样的事情但是当我在DStream上尝试做同样的事情时,它失败了.
我试图通过使用“foreachRDD”函数将“JavaPairDStream”转换为“JavaPairRDD”来实现相同的目标,之后我在JavaPairRDD上使用“collectAsMap()”函数.
Map<String,String> value= new HashMap<String,String>();
value=line.collectAsMap();
//Here "line" is a "JavaPairRDD<String,String>".
它不会给出任何编译错误但是当我运行程序时它会失败并抛出错误,如下所示.
java.lang.ClassCastException: [Ljava.lang.Object; cannot be cast to [Lscala.Tuple2;
at org.apache.spark.rdd.PairRDDFunctions.collectAsMap(PairRDDFunctions.scala:447)
at org.apache.spark.api.java.JavaPairRDD.collectAsMap(JavaPairRDD.scala:464)
at attempt1.CSV_Spark$3.call(CSV_Spark.java:109)
at attempt1.CSV_Spark$3.call(CSV_Spark.java:1)
我不确定我的方法是否正确.普通的“JavaPairRDD”和“foreachRDD”函数创建的“JavaPairRDD”之间有什么区别吗？为什么相同的方法适用于普通的“JavaPairRDD”,但是当我将它应用于通过在JavaPairDStream上应用“foreachRDD”函数创建的“JavaPairRDD”时失败.如果我在任何地方出错,请告诉我.如果还有其他方式,请在此处发布.谢谢.
在编译时,接受向下转换,因为Map和HashMap都在相同的继承中.虽然我们没有得到任何编译时错误,但我们将在运行时获得ClassCastException.要避免此问题,您可以尝试这样做：
码：
JavaPairRDD<K, V> javaRDDPair = rddInstance.mapToPair(new PairFunction<T, K, V>() {
@Override
public Tuple2<K, V> call(final T value) {
// statements
// operations on value
return new Tuple2<K, V>(KTypeValue, VTypeValue);
}
});
Map<K,V> map = javaRDDPair.collectAsMap();
HashMap<K,V> hmap = new HashMap<K,V>(map);
注意：rddInstance是JavaRDD类型的对象.
假设我们有一个JavaRDD,其中包含T类型的值.
在转换它时,我们创建JavaPairRDD,它保存<K,V>对.
现在的要求是将JavaPairRDD转换为HashMap对象,以便在应用程序中进行进一步的计算.使用collectAsMap方法并将其结果分配给Map对象本身.之后,您可以通过传递Map实例来创建HashMap.
翻译自：https://stackoverflow.com/questions/25230363/how-to-convert-javapairrdd-into-hashmap
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Python编程实践
Jennifer Campbell、Paul Gries、Jason Montojo、Greg Wilson / 唐学韬 / 机械工业出版社华章公司 / 2011-12-31 / 49.00元
Python是当今世界流行的编程语言之一。本书共15章，通过一些短小精悍的交互式Python脚本帮助学生进行练习，并在这个过程中掌握诸如数据结构、排序和搜索算法、面向对象编程、数据库访问、图形用户界面等基本概念以及良好的程序设计风格。本书既是一本注重科学的计算机科学专业教材，也是一本目标明确的Python参考书。 本书语言风格言简意赅，图表丰富，简单实用，是一本优秀的Python入门级读物，......一起来看看 《Python编程实践》 这本书的介绍吧!
