发动环境搭建

spark环境搭建

发动下载地址：http://存档。阿帕奇。组织/区/火花/

斯卡拉下载地址：https://Scala-lang。org/download/2。11 .8 .超文本标记语言

这里的发动版本用的是：spark-2.4.0-bin-hadoop2.6.tgz

这里的斯卡拉用的是：scala-2.11.8.tgz

1. 安装Scala

1.1 上传解压Scala

(1) 上传安装包scala-2.11.8.tgz到虚拟机中

(2) 进入上传的安装包目录，解压sqoop安装包到指定目录，如：

tar-zxvf Scala-2。11 .8 .tgz-C/opt/模块/

解压后，进入解压后的目录把名字修改为sqoop

mv scala-2.11.8 scala

1.2 设置Scala环境变量

命令：

vi /root/bash_profile

加入下面内容：

导出SCALA_HOME=/opt/module/scala

导出路径=$PATH:$SCALA_HOME/bin

使设置立即生效：

源/根/。bash_profile

验证斯卡拉

斯卡拉版本

2. 安装spark

2.1 上传解压spark

(1) 上传安装包spark-2.4.0-bin-hadoop2.6.tgz到虚拟机中

(2) 进入上传的安装包目录，解压sqoop安装包到指定目录，如：

tar-zxvf火花-2。4 .0-bin-Hadoop 2。6 .tgz-C/opt/模块/

解压后，进入解压后的目录把名字修改为sqoop

mv火花-2。4 .0-bin-Hadoop 2.6火花

2.2 设置spark环境变量

命令：

vi /root/bash_profile

加入下面内容：

导出SPARK_HOME=/opt/module/spark

导出路径=$PATH:$SPARK_HOME/bin

导出路径=$PATH:$SPARK_HOME/sbin

使设置立即生效：

源/根/。bash_profile

2.3 修改配置文件

(1)把/opt/module/spark/conf/下的spark-env.sh模板文件修改为火花-环境嘘

[root @ master conf]# mv spark-env。先令模板火花-环境。嘘

(2)修改火花-环境嘘配置文件

命令：

vi spark-env.sh

添加如下内容：

导出JAVA _ HOME=/opt/module/JDK 1。8 .0 _ 281

导出HADOOP _ CONF _ DIR=/opt/module/HADOOP/etc/HADOOP

导出SPARK_MASTER_HOST=master

导出SPARK_MASTER_PORT=7077

导出火花_工人_核心=1

导出SPARK_WORKER_MEMORY=1g

导出SPARK _ DIST _类路径=$(/opt/module/Hadoop/bin/Hadoop类路径)

导出SPARK_MASTER_IP=192.168.1.110

(3) 修改奴隶配置文件，添加工人的主机列表

把/opt/module/spark/conf/下的奴隶。模板文件修改为奴隶

[root@master conf]# mv从机。模板从机

修改奴隶文件

命令：

六奴隶

添加如下内容：

# 里面的内容原来为本地主机，添加自己有的几个节点

掌握

slave01

slave02

(4) 把/opt/模块/spark/sbin下的start-all.sh和停下来这两个文件重命名

[root @ master sbin]# mv start-all。sh开始-火花-所有。嘘

[root @ master sbin]# mv stop-all。停止-火花-所有。嘘

3. 分发到其他节点

(1)把斯卡拉分发给其他节点

slave01节点：

scp-r/opt/module/Scala/root @ slave 01:/opt/module/Scala/

slave02节点：

scp-r/opt/module/Scala/root @ slave 02:/opt/module/Scala/

(2)把发动分发给其他节点

slave01节点：

scp-r/opt/模块/spark/root @ slave 01:/opt/模块/spark/

slave02节点：

scp-r/opt/模块/spark/root @ slave 02:/opt/模块/spark/

(3)把环境变量分发到其他节点

slave01节点：

rsync -av /root/.bash _ profile root @ slave 01:/root/.bash_profile

slave02节点：

rsync -av /root/.bash _ profile root @ slave 02:/root/.bash_profile

4. 启动spark集群

在火花大师节点启动发动集群

[root @ master spark]# sbin/start-spark-all。嘘

掌握节点如图所示：

从属01、从属02节点如图所示：

查看webUI:

在网页上输入网址：http://192.168.1.110:8080/

如图所示：