Hadoop系列三：Hadoop2.x安装与实验
如果参考我的校友，选修了大数据分析课程，不要直接照搬。这是我的报告。我只能保证我能做到这一点，其他错误会被百度举报。
1. 下载并解压Hadoop2.x
1)本地下载压缩包，用rz上传。
2)减压：sudotar xfvz Hadoop-2.10.1.tar.gz
2. 配置伪分布式Hadoop服务
1)配置etc/Hadoop/core-site.xml。
2)配置etc/Hadoop/HDFS网站
最后，在我们的配置文件中创建目录。
3)配置JAVA_HOME
输入文件hadoop-env.sh
加入路径。
验证结果。
遇到的问题如下：
可能是因为安装openjdk的路径不同于各种教程。这里，添加路径时验证有问题。观察错误信息，即这个文件不存在，自己光盘。这里的路径是我用echo$JAVA_HOME直接复制的。好像不能直接用。
然后，根据前面写的java路径，诚实地检查它，并将其放入文件中。同样，我发现/bin/java在路径之后重复了两次。好的，那我在配置路径的时候把这两个删除，然后就成功了！
4)配置机密登录。
过程和我配置这台机器的秘密登录虚拟机是一样的。
您可以看到authorized_keys有一台wxy @ vital _ machine。(以上是我的原生用户名starmon)
验证成功。
为了保险起见，再来一波权威。
插曲，我在这里改了虚拟机名字。
3. 启动并验证Hadoop服务
1)格式化数据节点
遇到的问题：
第一次遇到问题，是hdfs-site的格式问题。检查这个文件来解决它。
第二次遇到无法创建节点的问题：
无法创建目录。查看权限都在根目录下，现在我的用户是wxy。
授予权限。然后就奏效了。
2)启动Hadoop服务
3)访问hadoop端口
4)关闭Hadoop服务。
如果您在启动时遇到类似的反馈：
使用sbin/stop-dfs.sh停止并重新启动。
如果仍然无法启动，请删除/tmp，再次授予权限，重新格式化，然后重试。
4. HDFS操作
1)配置变量
2)检查hdfs根文件夹结构
这里报告的错误主要是指这篇文章：Hadoop:主节点的端口9000拒绝访问Hadoop 3/192.168.91.132对Hadoop 1:9000的调用因连接异常而失败。
出现问题时，首先检查防火墙。在此之前已经设置禁止开机，发现其实没有问题。然后检查core-site.xml文件，因为我在中间更改了主机名，大概是这个原因，我把原来的localhost改成了我的主机。
嗯，还是不对，好吧。不建议在搜索时使用此下划线命名。把它编辑成ip就行了。但之后，我把主机名改成了短线“-”。
然后重试并检查，此时文件夹中没有任何内容。
3)创建文件夹/数据或/tmp/数据
4)使用-ls查看创建结果。
5)将本地文件/数据/smalllog.txt上传到hadoop系统/数据/smalllog.txt。
6)使用-ls查看刚刚创建的hadoop文件
本地文件位于/home/wxy/myfile文件夹中。
上传带有put的文件，就像copyFromLocal一样。
7)检查文件的最后1KB。
8)将文件重命名为/data/oldlog.txt。
使用mv，文件到文件夹被移动，文件到文件被重命名。
9)将文件下载到local/data/oldlog.txt。
Get，对应于copyToLocal。
10)删除hadoop文件/数据/oldlog.txt。
使用rm删除，使用add-skiprush跳过回收站删除文件。
11)删除hadoop文件夹/数据
删除文件夹也类似。这里建议我用rm -r哈哈。
12)删除本地文件/数据/oldlog.txt。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/151781.html