内容简介:主要包括以下三部分,本文为第一部分:一. Scala环境准备二. Hadoop集群(伪分布模式)安装查看
主要包括以下三部分,本文为第一部分:
一. Scala环境准备
二. Hadoop集群(伪分布模式)安装查看
三. Spark集群(standalone模式)安装
因Spark任务大多由Scala编写,因此,首先需要准备Scala环境。
注:楼主实验环境为mac os
Scala环境准备
- 下载 JDK1.8 并安装、配置环境变量(JAVA_HOME),建议使用1.8,与时俱进;
-
下载 scala-sdk 并解压到某个路径(如:
~/tools/scala-2.12.6
),为方便使用还可以设置一下SCALA_HOME,在终端输入~/tools/scala-2.12.6/bin/scala
(未设置SCALA_HOME)或scala
(前提设置了SCALA_HOME)可以验证scala的版本或进行交互实验(scala官网推荐的 图书《Programming in Scala, 3rd ed》 中的实例均为在此模式下运行,故学习scala阶段到这一步就够了)
搜索并安装scala插件
-
写个小程序测试一下吧
选择“Create New Project”
选择项目类型为“Scala”
默认没有Scala SDK,通过以下方式添加:Create->Browse...
找到SCALA_HOME
完成配置
为方便开发,将项目转换为maven项目以解决繁琐的依赖包问题,项目名右键-->Add Framework Support...
选择maven
项目会自动引入pom.xml,变为scala maven project,并在src下创建source root(可以在package上右键更改)
source root(该项目中为main.java)上右键-->New-->Scala Class
选择类型为Object,用以创建main函数
编写测试代码
在代码空白处或项目名处右键-->Run 'ScalaTest'测试代码
虽然引入了pom.xml,默认却不会自动import依赖包,出现提示选择“Auto-Import”
测试结果
之所以这一步这么详细是因为我发现创建项目的时候选择哪种project类型会很纠结,也没有官方标准,经过实验,推崇先创建scala project再转换为maven project;如果创建的时候选择了maven project,通过“Add Framework Support...”再引入Scala SDK也是可以的,最终效果和图中给出的差不多,但是目录结构会有差异。
注1:SCALA_HOME、JAVA_HOME在mac下设置方式:
在 ~/.bash_profile
中添加如下指令:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home export SCALA_HOME=/Users/<你的名字>/tools/scala-2.12.6 export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH
参考文档: 官方文档
以上所述就是小编给大家介绍的《Spark新手入门(单机模式)——Scala环境准备》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 树莓派新手入门教程
- 木兰重生:交互环境复现,新添新手入门
- 新手入门之spring boot介绍及使用详解
- GitHub标星2.6万!Python算法新手入门大全
- C语言新手入门之格式化输出和变量类型
- 新手入门大数据 Hadoop基础与电商行为日志分析(二)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Data Structures and Algorithms in Java
Robert Lafore / Sams / 2002-11-06 / USD 64.99
Data Structures and Algorithms in Java, Second Edition is designed to be easy to read and understand although the topic itself is complicated. Algorithms are the procedures that software programs use......一起来看看 《Data Structures and Algorithms in Java》 这本书的介绍吧!