常见Hadoop命令使用方法是怎样的

技术常见Hadoop命令使用方法是怎样的这篇文章将为大家详细讲解有关常见Hadoop命令使用方法是怎样的,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。在学习Hadoop时

本文将详细解释如何使用常见的Hadoop命令。这篇文章的内容质量很高,所以边肖会分享给大家参考。希望大家看完这篇文章能有所了解。

学习Hadoop时,只有知道如何使用Hadoop命令,才能更好地操作Hadoop。让我们一起学习Hadoop命令。

版本

Hadoop命令用于打印版本信息。

用法:hadoopversion

类名

Hadoop脚本可以用来调用任何类。

用法:Hadoop类名

运行名为CLASSNAME的类。

管理命令

hadoop集群管理员常用的命令。

平衡器

运行集群平衡工具。管理员只需按Ctrl-C即可停止平衡过程。有关更多信息,请参见重新平衡程序。

用法:Hadoop平衡器[-阈值阈值]

命令选项描述

-阈值磁盘容量的阈值百分比。这将覆盖默认阈值。

daemonlog

该Hadoop命令用于获取或设置每个守护程序的日志级别。

用法:Hadoop daemonlog-get level host : portname

用法:Hadoop daemonlog-设置级别主机:端口名称级别

命令选项描述

-getlevelhost:portname打印在host3360port中运行的守护程序的日志级别。此命令在内部连接http://主机3360端口/日志级别?日志=名称

-set level host : port name level设置主机:端口上运行的守护程序的日志级别。此命令在内部连接http://主机3360端口/日志级别?日志=名称

数据节点

运行HDFS的数据节点。

用法:hadoopdatanode[-rollback]

命令选项描述

-rollback将数据节点回滚到以前的版本。这需要在停止datanode并分发旧的hadoop版本后使用。

dfsadmin

Hadoop命令用于运行HDFS的dfsadmin客户端。

用法:Hadoop fsadmin[generic _ options][-report][-安全模式进入|离开|获取|等待][-刷新节点][-最终完成升级][-upgradeprogressstatus | details | force][-metasavefilename][-setquotaquakotatdirname.dirname][-clrQuotadirname.dirname][-help[cmd]]

命令选项描述

-report报告文件系统的基本信息和统计数据。

-safemodeenter|leave|get|wait安全模式维护命令。安全模式是名称节点的一种状态,其中名称节点

1.不接受对命名空间的更改(只读)

2.不要复制或删除块。

Namenode将在启动时自动进入安全模式,当配置的最小数据块百分比达到最小副本数时,将自动退出安全模式。可以手动进入安全模式,但在这种情况下,也必须手动关闭安全模式。

-refreshNodes重新读取主机和排除文件,并更新允许连接到名称节点或需要退出或编辑的数据节点集合。

-finalizeUpgrade终止HDFS的升级操作。Datanode删除工作目录的前一个版本,之后Namenode也会执行相同的操作。这个操作完成了整个升级过程。

-UpgradeProgressStatus | Details | Force请求当前系统的升级状态、状态的详细信息,或强制升级操作继续进行。

-metasavefilename将Namenode的主数据结构保存到hadoop.log.dir属性指定的目录中的文件名文件中。

对于以下每个项目,文件名中都有一行与之对应。

1.由1接收的Datanode的心跳信号。Namenode

2.等待复制的块

3.正在复制的块

4.等待块被删除

-setquotaquitirname.目录名为每个目录目录名设置配额。

目录配额是一个长整数,它强制限制目录树下的名称数量。

该命令在该目录下运行良好,以下情况会导致错误:

1.n不是正整数,或者

2.用户不是管理员,或者

3.该目录不存在或为文件,或

4.该目录将立即超过新设置的配额。

-clrQuotadirname.目录名清除每个目录目录名的配额设置。

该命令在该目录下运行良好,以下情况会导致错误:

1.该目录不存在或为文件,或

2.用户不是管理员。

如果目录中没有配额,则不会报告错误。

-help[cmd]显示给定命令的帮助信息,如果没有给定命令,则显示所有命令的帮助信息。

作业跟踪器

Hadoop命令用于运行MapReducejobTracker节点。

用法:hadoopjobtracker

namenode

运行namenode。有关升级、回滚和升级终止的更多信息,请参考升级和回滚。

用法:Hadoop名称节点[-格式]|[-升级]|[-回滚]|[-最终确定]|[-导入检查点]

命令选项描述

-format格式化namenode。它启动namenode,格式化namenode,然后关闭namenode。

-升级分发新版本的hadoop后,namenode应该从升级选项开始。

-rollback将namenode回滚到以前的版本。应该在停止集群并分发旧的hadoop版本后使用此选项。

-finalizefinalize删除文件系统的先前状态。的最新升级将被保留,回滚选项将不再可用,并且它将在升级终止操作后停止namenode。

-importCheckpoint从检查点目录装载镜像,并将其保存到当前检查点目录,该目录由fs.checkpoint.dir指定

二级动力学

第二名运行HDFS。有关更多信息,请参考辅助名称。

用法:Hadoop Condarynamenode[-check point[force]]|[-geteditsize]

命令选项描述

-checkpoint[force]如果EditLog的大小=fs.checkpoint.size,则启动Secondarynamenode的检查点进程。如果使用-force,将不会考虑编辑日志的大小。

-geteditsize打印编辑日志大小。

tasktracker

运行MapReduce的任务跟踪器节点。

用法:hadooptasktracker。

以下是如何使用常见的Hadoop命令。希望

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/84214.html

(0)

相关推荐

  • javascript函数式编程指南(javascript的基本语法)

    技术JavaScript基础的函数有哪些今天就跟大家聊聊有关JavaScript基础的函数有哪些,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。一、函数简介1.1.

    攻略 2021年12月20日
  • 农村医保网上如何缴费,农村医疗保险网上怎么交

    技术农村医保网上如何缴费,农村医疗保险网上怎么交人登录市地税局网站后农村医保网上如何缴费,可通过“网上办税(费)厅”,进入“自助缴费”模块,采用“银税转账”或“网上银行”两种划款方式完成缴费。1.若使用“银税转账”方式,

    生活 2021年10月30日
  • Python编程题38--最长单词

    技术Python编程题38--最长单词 Python编程题38--最长单词题目
    给定一组单词words,请找出其中的最长单词,该最长单词是由words中其他单词逐步添加一个字母组成。若有多个长度相同的结

    礼包 2021年12月20日
  • 如何进行C++抛出异常技巧的分析

    技术如何进行C++抛出异常技巧的分析这期内容当中小编将会给大家带来有关如何进行C++抛出异常技巧的分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。C++语言与其他编程语言一样,其中也

    攻略 2021年10月27日
  • 一着不慎的下一句,\”宁缺毋滥\”的下一句应该接什么

    技术一着不慎的下一句,\宁缺毋滥\的下一句应该接什么下一句是:宁遗勿滥,意思是就是宁愿空缺,也不要降低标准,一味求多一着不慎的下一句。1、宁缺毋滥成语出处: 清·李绿园《歧路灯》第五回:“即令宁缺勿滥,这开封是一省首府,

    生活 2021年10月30日
  • 古典密码学——移位密码 Shift Cipher

    技术古典密码学——移位密码 Shift Cipher 古典密码学——移位密码 Shift Cipher移位密码的理论基础是数论中的模运算。模运算的基本定义:假设a和b均为整数,m是一正整数。若m整除a-

    礼包 2021年12月3日