未加星标

Spark2.0安装配置文档

字体大小 | |
[系统(linux) 所属分类 系统(linux) | 发布者 店小二05 | 时间 20160901 | 作者 红领巾 ] 0人收藏点击收藏

Spark安装指南

该文档是建立在已经安装好Hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量,测试和现网环境需要在原来的hadoop环境中安装。

1 下载安装包
从scala官网下载scala-2.11.8.tgz、spark-2.0.0-bin-hadoop2.7.tgz两个安装包到集群各个节点机器上。(下面是两个官网地址)
http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz

2 安装Scala

解压安装包:tar -zxvfscala-2.11.8.tgz,可以解压到/usr/local目录下(根据自己需要解压到某个路径),配置环境变量/etc/profile,

添加如下两行:

export SCALA_HOME=/usr/local/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/sbin

测试输入scala命令,返回如下界面,安装成功

Spark2.0安装配置文档
3 配置Spark

1、解压添加环境变量

解压安装包:tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz,可以解压到/usr/local/hadoop/下(可根据具体环境修改),配置环境变量/etc/profile,添加如下两行内容。

export SPARK_HOME=/housr/local/hadoop/spark-2.0.0-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

2、修改配置文件spark-env.sh

在主节点上进入spark安装目录 conf目录执行如下命令:

cpspark-env.sh.template spark-env.sh
vi spark-env.sh
添加 hadoop、scala 、java环境变量

3、编辑slaves文件,你可以执行如下命令:

cpslaves.template slaves
vi slaves
添加集群里面所有主机名(注,需在hosts文件中添加各主机的hostname和ip的对应关系)

至此,master节点上的Spark已配置完毕。

把master上Spark相关配置复制到集群从节点中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。

5 启动

执行如下命令:

1、cd $SPARK_HOME/bin

2、./start-all.sh

6 测试

通过浏览器输入 主节点集群ip地址加上默认8080端口号访问,出现如下图所示界面,表示安装成功。

Spark2.0安装配置文档

更多Spark相关教程见以下内容:

CentOS 7.0下安装并配置Spark http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0部署指南 http://www.codesec.net/Linux/2014-07/104304.htm

Spark官方文档 - 中文翻译 http://www.codesec.net/Linux/2016-04/130621.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.codesec.net/Linux/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.codesec.net/Linux/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.codesec.net/Linux/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.codesec.net/Linux/2013-08/88597.htm

Spark安装与学习 http://www.codesec.net/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.codesec.net/Linux/2012-12/76490.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式) http://www.codesec.net/Linux/2016-03/129068.htm

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

更多Hadoop相关信息见Hadoop 专题页面 http://www.codesec.net/topicnews.aspx?tid=13

本文地址:http://www.codesec.net/Linux/2016-09/135352.htm


Spark2.0安装配置文档

本文系统(linux)相关术语:linux系统 鸟哥的linux私房菜 linux命令大全 linux操作系统

主题: SparkLinuxHadoopUbuntuScala浏览器变量
分页:12
转载请注明
本文标题:Spark2.0安装配置文档
本站链接:http://www.codesec.net/view/481868.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 系统(linux) | 评论(0) | 阅读(42)