hadoop怎样安装与配置

本文主要向大家展示“如何安装和配置hadoop”，简单易懂，组织清晰，希望能帮大家解决疑惑。让边肖带领大家学习《如何安装和配置hadoop》一文。

# # 1.Hadoop简介

hadoop是做什么的？在哪些领域？解决什么问题？

1.1.hadoop的三个核心组件

1HDFS(分布式文件系统)解决海量数据存储问题。

2纱(作业调度和集群资源管理)解决资源任务调度问题。3MAPReduce(分布到模型中)解决了海量数据计算的问题。

2.hadoop应用领域

1日志分析和处理

2ETL，数据被提取到mysql、mongdb、hive等数据库中。

3机器学习，比如Apache Mahout项目，目前比较流行。

数据挖掘其实就是数据分析，比如智能推荐。

3.hadoop解决了这个问题

例：需求方要求在一个100M文件中整理出一些特殊字符的位置和个数。此时，可以通过java文件流来实现。读这个文件，然后写逻辑代码进行分析统计。但是，如果需求方给出10个100M文件，或者1w个100M文件，那么只能依靠一些大数据框架来处理。hadoop应运而生，它解决的问题是海量数据存储和海量数据分析。

##2.安装hadoop

1.下载hadoop，官网地址：3359 archive . Apache . org/dist/Hadoop/common/Hadoop-2 . 10 . 1/

2.解压hadoop，tar-zxvf hadoop-2.10.1.tar.gz，如下图所示。

这里，简单解释一下hadoop的目录结构。

1bin目录，存储hadoop相关服务(hdfs、mapred、yarn)的操作脚本。

2etc目录，存储hadoop配置文件。这里的配置文件将在以后被大大修改。

3lib目录，存储hadoop的本地库，压缩和解压缩数据。

4sbin目录，存储所有hadoop服务的启动或停止脚本。

5共享目录，存储hadoop相关jar包、文档和官方示例

3.配置hadoop环境变量

vi /etc/profile

#hadoop环境变量export Hadoop _ home=/usr/Java/Hadoop/Hadoop-2 . 10 . 1

导出路径=$PATH:$HADOOP_HOME/bin

导出路径=$PATH:$HADOOP_HOME/sbin

4.测试安装是否成功。

hadoop版本

很明显，版本信息出来了，说明环境变量的配置还可以。

5.修改hadoop配置文件

1修改配置文件hadoop-env.sh

打开配置文件，发现有一行配置了java环境变量，初始值为${JAVA_HOME}，更改为jdk所在的目录。使用echo $JAVA_HOME命令查看jdk安装目录。

修改hadoop-env.sh后，如下所示

2修改配置文件核心网站

设置两个主要属性：1。1的名称节点的地址。HDFS；2.指定hadoop运行时生成的临时文件目录。

配置

财产

namefs.defaultFS/name

（=NationalBureauofStandards）国家标准局

p;        <value>hdfs://localhost:9090</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/java/hadoop/hadoop-2.10.1/tmp</value>
        </property>
</configuration>

修改后如下

3>修改hdfs-site.xml文件

主要设置3个属性，1.namenode产生的文件存放路径，2.datanode产生的文件存放路径，3.replication表示HDFS保存数据副本的数量。

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/java/hadoop/hadoop-2.10.1/hdfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/java/hadoop/hadoop-2.10.1/hdfs/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

4>修改配置文件mapred-site.xml

我们在hadoop目录下没有发现mapred-site.xml，但是有mapred-site.xml.template，如下图

所以我们需要去掉 .template。采用mv mapred-site.xml.template mapred-site.xml。

该配置文件我们只设置一个属性，用于指定mapreduce运行在yarn上，即mapreduce使用yarn框架。

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

5>修改配置文件yarn-site.xml

主要配置是nodemanager获取数据的方式是shuffle。

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>	
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandle</value>
	</property>
</configuration>

以上是“hadoop怎样安装与配置”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！