Hadoop命令的使用分析

技术Hadoop命令的使用分析这篇文章给大家介绍Hadoop命令的使用分析,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。Hadoop命令所有的hadoop命令均由bin/hadoop脚本引发。不指定

本文介绍了Hadoop命令的用法分析,非常详细。感兴趣的朋友可以参考一下,希望对你有所帮助。

Hadoop命令

的所有hadoop命令都由bin/hadoop脚本触发。在不指定参数的情况下运行hadoop脚本将打印所有命令的描述。

用法:Hadoop[-config confdir][command][generic _ options][command _ options]

Hadoop有一个选项解析框架,用于解析通用选项和运行类。

命令选项描述

- configconfdir覆盖默认配置目录。默认值为${HADOOP_HOME}/conf。

多个命令支持的通用选项。

命令

下面将提到各种命令及其选项。这些命令分为两组用户命令管理命令。

Hadoop命令常规选项

dfsadmin、fs、fsck和job支持以下选项。应用程序应该实现工具来支持一般选项。

通用选项描述

-confcconfigurationfile指定应用程序的配置文件。

-dpproperty=value指定指定属性的值。

-fslocal|namenode:port指定namenode。

-jtlocal|jobtracker:port指定jobtracker。仅适用于工作。

-files逗号分隔文件列表指定要复制到mapreduce集群的逗号分隔文件列表。仅适用于工作。

-libjars逗号分隔jar列表指定要包含在类路径中的jar文件的逗号分隔列表。仅适用于工作。

-archives逗号分隔的归档列表指定要解压缩到计算节点的归档文件的逗号分隔列表。仅适用于工作。

用户命令

hadoop集群用户常用命令。

档案馆

创建一个hadoop归档文件。请参见HadoopArchives。

用法:Hadoop存档-archivenamemesrc * dest

命令选项描述

-要创建的归档的名称-归档名称名称。

src文件系统的路径名,与正则表达式相同。

目标:保存归档文件的目标目录。

distcp

Hadoop distcp命令用于递归复制文件或目录。有关更多信息,请参考DistCp指南。

用法:hadoopdistcpsrcurldesturl

命令选项描述

Srcurl源url

设计目标网址

满量程

用法:Hadoop文件系统[通用选项][命令选项]

运行常规文件系统客户端。

关于各种命令选项,您可以参考HDFSShell指南。

fsck

Hadoop命令主要用于运行HDFS文件系统检查工具。有关更多信息,请参见Fsck。

用法:Hadoop fsck [generic _ options]路径[-move |-delete |-openforwrite][-文件[-数据块[-位置|-机架]]]

命令选项描述

路径检查起始目录。

-移动将损坏的文件移动到/失物招领处。

-delete删除损坏的文件。

-openforwrite打印出打开的文件。

-files打印出正在检查的文件。

-blocks打印块信息报告。

-locations打印出每个块的位置信息。

-racks打印出数据节点的网络拓扑。

冲突

Hadoop命令主要用于运行jar文件。用户可以将他们的MapReduce代码捆绑到jar文件中,并使用该命令来执行。

用法:hadoopjjar [main class]参数.

流式作业由该命令执行。请参见Streamingexamples中的示例。

Wordcount示例也是通过jar命令运行的。请参考单词计数示例。

工作

用于与MapReduce作业的交互和命令。

用法:Hadoop作业[generic _ options][-submit job-file]|[-status job-id]|[-counter job-id-group-name counter-name]|[-kill job-id-event-job-id from-event-# #-of-events]|[-history[all]JobOutputDir]|[-list[all]]|[-kill-task task-id]|[-fail-task task-id]

命令选项描述

-提交作业-文件提交作业

-statusjob-id打印地图和减少完成的百分比以及所有计数器。

-counter job-id-group-name计数器-name打印计数器的值。

-killjob-id杀死指定的作业。

-events job-id from-event-# #-of-events打印jobtracker在给定范围内收到的事件的详细信息。

-history[all]job output dir-history job output dir打印作业的详细信息、失败的详细信息和被终止的原因。通过指定[all]选项,可以查看有关作业的更多详细信息,如成功的任务和尝试的任务。

-list[all]-listall显示所有作业。-列表仅显示要完成的作业。

-kill-tasktask-id终止任务。失败的任务不会对失败的尝试有害。

-fail-tasktask-id导致任务失败。失败的任务对失败的尝试是有害的。

Hadoop命令的用法分析就分享到这里了,希望。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/84211.html

(0)

相关推荐

  • 有哪些MySQL源码系列问题

    技术有哪些MySQL源码系列问题本篇内容介绍了“有哪些MySQL源码系列问题”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成

    攻略 2021年10月28日
  • CF1506C Double-ended Strings 题解

    技术CF1506C Double-ended Strings 题解 CF1506C Double-ended Strings 题解CF1506C Double-ended Strings 题解Conte

    礼包 2021年12月16日
  • 如何使用phoenix操作hbase数据)

    技术如何使用phoenix操作hbase数据)这篇文章将为大家详细讲解有关如何使用phoenix操作hbase数据),小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.下载安装phoen

    攻略 2021年12月9日
  • java如何集成小米推送服务

    技术java如何集成小米推送服务这期内容当中小编将会给大家带来有关java如何集成小米推送服务,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。集成小米推送服务这类推送一般官方文档都比较详

    攻略 2021年10月20日
  • 703. 数据流中的第 K 大元素

    技术703. 数据流中的第 K 大元素 703. 数据流中的第 K 大元素设计一个找到数据流中第 k 大元素的类(class)。注意是排序后的第 k 大元素,不是第 k 个不同的元素。
    请实现 KthL

    礼包 2021年12月20日
  • 草房子主要内容50字,草房子第七章主要内容50字

    技术草房子主要内容50字,草房子第七章主要内容50字《草房子》第七章主要内容主要讲的是白雀离开蒋一轮后草房子主要内容50字,蒋一轮的心情和脾气越来越坏,经常批评同学。当班上有一个叫戚小罐的学生不遵守课堂纪律,还不停的听他

    生活 2021年10月24日