Hadoop伪分布式搭建
Hadoop伪分布式搭建
伪分布式一开始不需要克隆虚拟机，其余配置和Hadoop完全分布式一样
1. Hadoop安装
1.1 上传文件
用xftp上传hadoop-2.6.0.tar.gz文件到/opt/软件中
1.2 解压文件
进入/opt/软件中解压
CD/opt/软件/进入/opt/软件目录
(tar -zxvf Hadoop包名-丙指定的路径)
tar-zxvf Hadoop-2 . 6 . 0 . tar . gz-C/opt/module//把文件加压到/opt/模块目录中
进入解压后的Hadoop目录修改hadoop-2.6.0为hadoop
CD/opt/模块
mv hadoop-2.6.0 hadoop//修改hadoop-2.6.0为hadoop
1.3 设置环境变量
命令：
vi /root/bash_profile
加入下面内容：
导出HADOOP _ HOME=/opt/module/HADOOP//等号后面是hadoop解压后的路径
导出路径=$PATH:$HADOOP_HOME/bin
导出路径=$PATH:$HADOOP_HOME/sbin
使设置立即生效：
源/根/。bash_profile
验证是否成功：
hadoop版本
1.4 配置Hadoop
配置前进入hadoop中的/etc/hadoop
光盘/opt/模块/Hadoop/etc/Hadoop
1.4.1 修改hadoop-env.sh、yarn-env.sh、mapred-env.sh
找到JAVA_HOME修改他们的JAVA_HOME路径
命令：
六。hadoop-env.sh//进入hadoop-env.sh进行修改
六。yarn-env.sh//进入纱线-环境嘘进行修改
六。mapred-env.sh//进入mapred-env.sh进行修改
配置其中的JAVA_HOME路径（路径根据自己虚拟机上的配置来定)
导出JAVA _ HOME=/opt/module/JDK 1。8 .0 _ 281
1.4.2 配置core-site.xml
命令：
视觉识别系统核心网站。可扩展标记语言
在中添加如下：
！-指定HDFS中名称节点的地址-
财产
namefs.defaultFS/name
价值HDFS ://大师：9000/价值
/property
！-指定Hadoop运行时产生文件的存储目录-
财产
namehadoop.tmp.dir/name
价值/hadoop安装路径/数据/值
/property
1.4.3 配置hdfs-site.xml
命令：
vi hdfs-site.xml
在中添加如下：
！-指定HDFS副本的数量-
财产
namedfs.replication/name
值1/值
/property
1.4.4 配置yarn-site.xml
命令：
视觉识别系统纱线-site.xml
在中添加如下：
！-减速器获取数据的方式-
财产
命名院子。节点管理器。辅助服务/名称
valuemapreduce_shuffle/value
/property
！-指定故事的资源管理器的地址-
财产
nameyarn.resourcemanager.hostname/name
价值主管/值
/property
1.4.5 配置mapred-site.xml
配置前先把mapred-site.xml。模板名字改为mapred-site.xml
mv地图网站。XML。模板映射网站。可扩展标记语言
进入mapred-site.xml进行修改
vi mapred-site.xml
在中添加如下：
！-历史服务器端地址-
财产
namemapreduce.jobhistory.address/name
valuemaster:10020/value
/property
！-历史服务器网端地址-
财产
namemapreduce.jobhistory.webapp.address/name
valuemaster:19888/value
/property
1.5 启动Hadoop
(1)第一次启动要格式化
hdfs名称节点-格式
(2)启动集群（需进入hadoop安装目录)
sbin/start-all.sh
(3)关闭集群（需进入hadoop安装目录)
sbin/stop-all.sh
hdfs网站访问地址：192.168.1.110:50070
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/77285.html