spark-submit local运行问题

栏目: 服务器 · 发布时间: 7年前

内容简介:spark-submit local运行问题

求大神解答,或者我们来讨论下!今天碰到一个很奇怪的问题,关于spark-submit 三种运行模式:

(1)本地local模式

(2)在Hadoop YARN-client模式

(3)Standalone Cluster模式

首先说明一下我的集群,一个master节点和两个slave节点,slave1和slave2。

我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。

首先我运行的spark-submit的local模式,可以成功,并且成功的写入了 Linux 下制定的输出目录,然后在Hadoop YARN-client模式下运行,成功的写入了HDFS目录下,最后在Stand alone Cluster模式下也成功运行,但是问题来了, 我再次在master节点上运行本地模式输出的结果写到了HDFS下我明明制定了本地运行模式,而且代码里写的输出路径为Linux路径,不是HDFS路径?

此时, 我在slave1节点和slave2节点运行本地模式,都成功的写进了Linux目录下,并没有写入HDFS目录下

我再次运行本地模式,说目录已存在,但是Linux目录下没有,我就把HDFS下的目录删掉,然后运行。

说明:Linux目录和HDFS目录名一样,开始写代码的时候没注意,发现最后一模一样,这样不知道到底写到了哪里,应该注意的。

然后查看Linux目录下是否有输出文件,发现没有。然后我在HDFS目录下查看,确实输出到了HDFS目录下。

spark-submit local运行问题

下面是slave1节点运行本地模式信息

spark-submit local运行问题

可以看出slave1成功运行本地模式,并输出到制定Linux目录

下面是slave2运行本地模式信息

spark-submit local运行问题

可以看出slave2成功运行本地模式,并输出到制定Linux目录 。


以上所述就是小编给大家介绍的《spark-submit local运行问题》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

迷茫的旅行商

迷茫的旅行商

[美] William J. Cook / 隋春宁 / 人民邮电出版社 / 2013-10-1 / 49.00

假设一名旅行商打算拜访一张城市列表中的所有城市,每座城市只去一次,最后回到出发地。要怎么走才能让路线最短呢?这就是旅行商问题,乍一听很简单,在应用数学界却是一道研究极其热烈的难题,时至今日仍无人能解。本书中,William J. Cook将带领读者踏上一场数学之旅,跟随旅行商的脚步,从19世纪初爱尔兰数学家W. R. Hamilton最初定义该问题开始,一路奔向当今最前沿、最顶尖的解题尝试。 ......一起来看看 《迷茫的旅行商》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换