怎么进行Hadoop安装部署

这篇文章将为大家详细讲解有关怎么进行大数据安装部署，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

1.大数据环境变量

在/home/dbrg/Hadoop INSTALL/Hadoop-conf目录下的hadoop_env.sh中设置大数据需要的环境变量，其中JAVA_HOME是必须设定的变量HADOOP_HOME变量可以设定也可以不设定，如果不设定，HADOOP_HOME默认的是容器目录的父目录，即本文中的/home/dbrg/Hadoop INSTALL/Hadoop。我的是这样设置的

导出Hadoop _ HOME=/HOME/dbrg/Hadoop install/Hadoop

导出Java _ HOME=/usr/Java/JDK 1。6 .0

从这个地方就可以看出前面所述的创建hadoop0.12.0的链接大数据的优点了，当以后更新大数据的版本的时候，就不需要在改配置文件，只需要更改链接就可以了。

2.大数据配置文件

如前所述，在hadoop-conf/目录下，打开奴隶文件，该文件用来指定所有的从节点，一行指定一个主机名。即本文中的dbrg-2、dbrg-3、因此奴隶文件看起来应该是这样的

dbrg-2

dbrg-3

在conf/目录中的hadoop-default.xml中包含了大数据的所有配置项，但是不允许直接修改！可以在hadoop-conf/目录下的hadoop-site.xml里面定义我们需要的项，其值会覆盖hadoop-default.xml中的默认值。可以根据自己的实际需要来进行定制。以下是我的配置档：

？xmlversionxmlversion='1.0 '？XML样式表类型XML样式表类型=' text/xsl ' href='配置。xsl？-将特定于站点的属性导入该文件.-配置属性名称。默认。name/namevaluedbg-1:9000/valuedescriptionname of default file system .或者是本地主机：端口/描述/属性名映射。工作。跟踪器/名称值dbrg-1:9001/值描述hostandportthiemprediejobtrackerunset .如果“本地”，则jobsarerunin-processsinglepandrereducsk ./description/属性名Hadoop。tmp。dir/name value/home/dbrg/Hadoop install/tmp/valuedescriptionabaseforothertemporary directory ./description/property namedfs。名字。dir/name value/home/dbrg/Hadoop install/file system/name/value description确定onthlocalfilesystemthefsnamenode应该存储的位置表.如果如果以命令分隔的董事名单，则nathmatebleis replicatedinalloftheddirectories，forredundancy ./description/property namedfs。数据。目录/名称值/主页/dbrg/Hadoop安装/文件系统/数据/值描述决定了OnTheloCalfilesystemandDataNadesHadesStoreitsblocks的位置.如果他的以命令分隔的董事名单，则数据将被命名为目录，典型值为在不远处。不支持/description/property namedfs的目录。复制/名称值1/valuedescriptiondefaultblockreplication。复制的实际数量可指定的文件已创建。defaultisdefaultionis notscopecdincreatetime/description/property/configuration 3 .部署大数据

前面大数据安装部署过程中讲的这么多大数据的环境变量和配置文件都是在dbrg-1这台机器上的，现在需要将大数据部署到其他的机器上，保证目录结构一致。

[dbrg @ dbrg-1: ~]$ scp-r/home/dbrg/Hadoop install dbrg-2:/home/dbrg/

[dbrg @ dbrg-1: ~]$ scp-r/home/dbrg/Hadoop install dbrg-3:/home/dbrg/

至此，可以说，Hadoop已经在各个机器上部署完毕了下面就让我们开始启动大数据吧

4.启动大数据

大数据安装部署完成后需要启动Hadoop。启动之前，我们先要格式化namenode，先进入~/HadoopInstall/hadoop目录，执行下面的命令

[dbrg @ dbrg-1: Hadoop]$ bin/Hadoop名称节点格式

不出意外，应该会提示格式化成功。如果不成功，就去Hadoop/日志/目录下去查看日志文件

下面就该正式启动大数据啦，在bin/下面有很多启动脚本，可以根据自己的需要来启动。

*开始-好吧启动所有的大数据守护。包括namenode，datanode，jobtracker，tasktrack

*停止一切停止所有的大数据

*start-mapred.sh启动映射/缩减守护程序。包括作业跟踪器和任务跟踪。

*停止地图绘制。停止地图绘制/减少保护。

*start-dfs.sh启动HadoopDFS守护进程。Namenode和Datanode。

*stop-dfs.sh停止dfs防护。

在这里，简单地启动所有的警卫。

[dbrg @ dbrg-1: Hadoop]$ bin/start-all . sh

同样，如果你想停止hadoop，那么

[dbrg @ dbrg-1: Hadoop]$ bin/stop-all . sh

HDFS行动

运行bin/directory的hadoop命令，查看Haoop支持的所有操作及其使用情况。这里，以几个简单的操作为例。

建立目录

[dbrg @ dbrg-1: Hadoop]$ bin/Hadoop DFS-mkdirtestdir

在HDFS创建一个名为testdir的目录。

复制文件

[dbrg @ dbrg-1: Hadoop]$ bin/Hadoop DFS-put/home/dbrg/large . zip testfile . zip

将本地文件large.zip复制到HDFS /user/dbrg/，文件名为testfile.zip

查看现有文件

[dbrg @ dbrg-1: Hadoop]$ bin/Hadoop DFS-ls .

我希望这篇关于“如何安装和部署Hadoop”的文章能在这里分享。