Zeppelin0.6.2+SparkR2.0.2环境搭建

栏目: 编程工具 · 发布时间: 9年前

内容简介:Zeppelin0.6.2+SparkR2.0.2环境搭建

0.序

先吐槽一下网上旧版本的Zeppelin和R的安装,让我折腾了几个小时。

不过最终还是调通了也不容易,其实我现在一点R都没有学呢,只是刚看了一节课,但是这个 工具 既然出现在了Spark中,我想它还是蛮流行和好用的。

之前配置了Zeppelin的Spark的结合,但是那没有配置R的部分,但是Zeppelin既然能够有这么多的解释器,在我看来就是凸显他的一个别的软件所不具有的优势:那就是在一个note里你可以使用多种解释器来编写文字,生成图像,分析一个问题。

再加上方便的导入导出和存储功能,我个人感觉未来流行只是时间问题。

废话尽量少说,进入正题:

1.安装R及相关的包

注意我使用的是CentOS7的系统,如果你不是我的系统可能下载的包会不一致。不过请不要担心,我会尽量说明白如何找到对应系统的R的安装包。

首先访问官网 https://www.r-project.org/

然后我们找到这个:

Zeppelin0.6.2+SparkR2.0.2环境搭建

然后找到China那一栏,随便点一个地址就好。

然后我们选择这个:

Zeppelin0.6.2+SparkR2.0.2环境搭建

这下你应该能找到了吧,里面包含几种常用 Linux 发行版,我的是CentOS,自然是选择RedHat系列了。

然后我们依次点下去,直到点开README

Zeppelin0.6.2+SparkR2.0.2环境搭建

很好,这里似乎要安装一个EPEL的源来完成我们的R包的安装,这里我们进入划横线的网址:

Zeppelin0.6.2+SparkR2.0.2环境搭建

箭头所指是这个源的RPM包,下载并安装之!

wget https://dl.Fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm

接下来我打开这个网址: https://zeppelin.apache.org/docs/0.6.2/interpreter/r.html

安装相关R以及相关依赖:

yum install R R-devel libcurl-devel openssl-devel

安装时间比较长,耐心等待,去喝杯咖啡或者看会别的,再回来吧!

不过你要是一直细心看的话,它竟然在处理依赖关系的时候自动给安装上了open-jdk,没事,我们使用以下方式解决:

wget --no-check-certificate --no-cookies --header "Cookie: Oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm 
rpm -ivh jdk-8u112-linux-x64.rpm

再给它安装回去-。-醉了。

安装一些官网所说的依赖:

R -e "install.packages('devtools', repos = 'http://cran.rstudio.com')"

R -e "install.packages('knitr', repos = 'http://cran.rstudio.com')"

R -e "install.packages('ggplot2', repos = 'http://cran.rstudio.com')"

R -e "install.packages(c('devtools','mplot', 'googleVis'), repos = 'http://cran.rstudio.com'); require(devtools); install_github('ramnathv/rCharts')"

2.配置Zeppelin

复制官网的一段话:

Configuration

To run Zeppelin with the R Interpreter, the SPARK_HOME environment variable must be set. The best way to do this is by editing  conf/zeppelin-env.sh . If it is not set, the R Interpreter will not be able to interface with Spark.

You should also copy conf/zeppelin-site.xml.template to  conf/zeppelin-site.xml . That will ensure that Zeppelin sees the R Interpreter the first time it starts up.

两个步骤:

  • 在conf/zeppelin-env.sh中加入SPARK_HOME这个环境变量
  •  cp  conf/zeppelin-site.xml.template   conf/zeppelin-site.xml

此处不再赘述。

3.重启Zeppelin:

/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh restart

4.验证环境是否装好:

打开浏览器进入Zeppelin的地址,然后notebook -> R Tutorial

如下图

Zeppelin0.6.2+SparkR2.0.2环境搭建

等待编译完成,然后我截取了几张图片放在下面:

Zeppelin0.6.2+SparkR2.0.2环境搭建

Zeppelin0.6.2+SparkR2.0.2环境搭建

Zeppelin0.6.2+SparkR2.0.2环境搭建

好,我们的SparkR环境搭建好了,Zeppelin又多了一个新的工具,又强大了不少。

更多 Spark 相关教程见以下内容

CentOS 7.0下安装并配置Spark http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

Spark2.0安装配置文档 http://www.linuxidc.com/Linux/2016-09/135352.htm

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

Spark官方文档 - 中文翻译 http://www.linuxidc.com/Linux/2016-04/130621.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark2.0.2 Hadoop2.6.4全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式) http://www.linuxidc.com/Linux/2016-03/129068.htm

Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探 http://www.linuxidc.com/Linux/2017-06/144929.htm

Spark 的详细介绍 请点这里

Spark 的下载地址 请点这里

本文永久更新链接地址 http://www.linuxidc.com/Linux/2017-06/144930.htm


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

法律论证理论

法律论证理论

罗伯特·阿列克西 / 舒国滢 / 中国法制出版社 / 2002-12-01 / 30.00

阿列克西的著作探讨的主要问题是如法律裁决之类的规范性陈述如何以理性的方式证立。阿列克西将规范性陈述的证立过程看作实践商谈或“实践言说”,而将法律裁决的证立过程视为“法律言说” 。由于支持法律规范的法律商谈是普遍实践言说的特定形式,所以法律论证理论应当立基于这种一般理论。 在阿列克西看来,如果裁决是理性言说的结果,那么这一规范性陈述就是真实的或可接受的。其基本观念在于法律裁决证立的合理性取决于......一起来看看 《法律论证理论》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具