本文将详细解释如何在单机和伪分发模式下操作Hadoop0.20.0部署和测试。这篇文章的内容质量很高，所以边肖会分享给大家参考。希望大家看完这篇文章能有所了解。
1.独立模式本地(独立)模式
默认情况下，Hadoop被配置为以非分布式Java模式运行的独立进程。这对调试很有帮助。
完成上述配置后，您可以运行独立模式。详情请参考手册。
2.伪分布式模式的操作方法
在Hadoop0.20.0部署中，Hadoop可以在单个节点上以所谓的伪分布式模式运行。此时，每个Hadoop守护进程都作为独立的Java进程运行。
与之前的版本相比，0.20版本对配置文件做了很大的改动，从hadoop-site.xml中的原始配置变成了以下三个文件：
conf/core-site.xml，conf/hdfs-site.xml，conf/mapred-site.xml
特定配置检查手册
以conf/core-site.xml为例：
ConfigurationPropertyNamefs.default.name/NamevalueHDFS ://本地主机33609000/值/属性/配置如果出现连接错误，您可以尝试用本地IP或127.0.0.1替换本地主机。
Hadoop0.20.0部署中的无密码ssh设置
现在确认是否可以使用ssh登录localhost:而无需输入密码。
$sshlocalhost
如果不输入密码，就无法使用ssh登录到localhost，并执行以下命令：
$ssh-keygen-tdsa-P''-f~/。ssh/id_dsa
$cat~/。ssh/id_dsa.pub~/。ssh/授权密钥
执行
格式化新的分布式文件系统：
$ bin/Hadoop name node-格式
启动Hadoop守护程序：
$bin/start-all.sh
Hadoop守护程序的日志被写入${HADOOP_LOG_DIR}目录(默认为$ { HADOOP _ HOME }/LOG)。
浏览名称节点和作业跟踪器的网络接口，它们的地址默认为：
* NameNode-http://localhost :50070/
* job tracker-http://localhost :50030/
至此，您必须首先访问上面的名称节点网络接口，当页面可以正常显示HDFS的状态时，您可以正常进行以下步骤。
1.单击“浏览文件系统”，在* * *次访问后，可能会返回404错误页面。
2.返回上一页并刷新页面。这时应该会出现下图所示的画面，表示DFS一直正常工作(即DFSUsed等值不再显示为0)。
3.如果没有，重复步骤1和2，直到成功。
将输入文件复制到分布式文件系统：$bin/hadoopfs-putconfinput
运行发行版提供的示例程序：$ bin/Hadoop jarhadoop-*-examples . jargrepinputoutput ' DFS[a-z .]'
查看输出文件：
将输出文件从分布式文件系统复制到本地文件系统以供查看：
$ bin/Hadoop fs-getoutput
$catoutput/*
$ bin/Hadoop fs-getoutput
$catoutput/*
或者
要查看分布式文件系统上的输出文件，请执行以下操作：
$ bin/Hadoop fs-Cato utput/* $ bin/Hadoop fs-Cato utput/* 3dfs . class 2 DFS . period 1 DFS . file 1 DFS . replication 1 DFS . servers 1 DD min 1 fsmetrics . log3dfs . class 2 DFS . period 1 DFS . file 1 DFS . servers 1 DD min 1 fsmetrics . log停止守护进程：$ bin/stop-all.sh。
Hadoop0.20.0部署和测试中的命令摘要
这部分内容其实可以通过Help和命令的介绍来理解。我主要集中介绍几个我比较常用的命令。带参数的Hadoopdfs命令是HDFS的操作，类似于Linux操作系统的命令，例如：
HadoopdfsndashLs是查看/usr/根目录中的内容。默认情况下，如果未填写路径，这是当前用户路径。
HadoopdfsndashRmrxxx是删除目录。如果它被执行多次，您可以在每次执行之前使用此命令删除现有的文件夹内容。
Hadoopdfsadminndash报表命令可以全局查看数据节点的状态；
在HadoopJob之后添加的参数是针对当前正在运行的作业的操作，如列表、kill等。
Hadoopbalancer是前面提到的平衡磁盘负载的命令。
Hadoop0.20.0部署测试中有哪些单机和伪分布式的运行方式？我想在这里分享一下。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/113117.html