Hadoop命令的使用分析

本文介绍了Hadoop命令的用法分析，非常详细。感兴趣的朋友可以参考一下，希望对你有所帮助。

Hadoop命令

的所有hadoop命令都由bin/hadoop脚本触发。在不指定参数的情况下运行hadoop脚本将打印所有命令的描述。

用法：Hadoop[-config confdir][command][generic _ options][command _ options]

Hadoop有一个选项解析框架，用于解析通用选项和运行类。

命令选项描述

– configconfdir覆盖默认配置目录。默认值为${HADOOP_HOME}/conf。

多个命令支持的通用选项。

命令

下面将提到各种命令及其选项。这些命令分为两组用户命令管理命令。

Hadoop命令常规选项

dfsadmin、fs、fsck和job支持以下选项。应用程序应该实现工具来支持一般选项。

通用选项描述

-confcconfigurationfile指定应用程序的配置文件。

-dpproperty=value指定指定属性的值。

-fslocal|namenode:port指定namenode。

-jtlocal|jobtracker:port指定jobtracker。仅适用于工作。

-files逗号分隔文件列表指定要复制到mapreduce集群的逗号分隔文件列表。仅适用于工作。

-libjars逗号分隔jar列表指定要包含在类路径中的jar文件的逗号分隔列表。仅适用于工作。

-archives逗号分隔的归档列表指定要解压缩到计算节点的归档文件的逗号分隔列表。仅适用于工作。

用户命令

hadoop集群用户常用命令。

档案馆

创建一个hadoop归档文件。请参见HadoopArchives。

用法：Hadoop存档-archivenamemesrc * dest

命令选项描述

-要创建的归档的名称-归档名称名称。

src文件系统的路径名，与正则表达式相同。

目标：保存归档文件的目标目录。

distcp

Hadoop distcp命令用于递归复制文件或目录。有关更多信息，请参考DistCp指南。

用法：hadoopdistcpsrcurldesturl

命令选项描述

Srcurl源url

设计目标网址

满量程

用法：Hadoop文件系统[通用选项][命令选项]

运行常规文件系统客户端。

关于各种命令选项，您可以参考HDFSShell指南。

fsck

Hadoop命令主要用于运行HDFS文件系统检查工具。有关更多信息，请参见Fsck。

用法：Hadoop fsck [generic _ options]路径[-move |-delete |-openforwrite][-文件[-数据块[-位置|-机架]]]

命令选项描述

路径检查起始目录。

-移动将损坏的文件移动到/失物招领处。

-delete删除损坏的文件。

-openforwrite打印出打开的文件。

-files打印出正在检查的文件。

-blocks打印块信息报告。

-locations打印出每个块的位置信息。

-racks打印出数据节点的网络拓扑。

冲突

Hadoop命令主要用于运行jar文件。用户可以将他们的MapReduce代码捆绑到jar文件中，并使用该命令来执行。

用法：hadoopjjar [main class]参数.

流式作业由该命令执行。请参见Streamingexamples中的示例。

Wordcount示例也是通过jar命令运行的。请参考单词计数示例。

工作

用于与MapReduce作业的交互和命令。

用法：Hadoop作业[generic _ options][-submit job-file]|[-status job-id]|[-counter job-id-group-name counter-name]|[-kill job-id-event-job-id from-event-# #-of-events]|[-history[all]JobOutputDir]|[-list[all]]|[-kill-task task-id]|[-fail-task task-id]

命令选项描述

-提交作业-文件提交作业

-statusjob-id打印地图和减少完成的百分比以及所有计数器。

-counter job-id-group-name计数器-name打印计数器的值。

-killjob-id杀死指定的作业。

-events job-id from-event-# #-of-events打印jobtracker在给定范围内收到的事件的详细信息。

-history[all]job output dir-history job output dir打印作业的详细信息、失败的详细信息和被终止的原因。通过指定[all]选项，可以查看有关作业的更多详细信息，如成功的任务和尝试的任务。

-list[all]-listall显示所有作业。-列表仅显示要完成的作业。

-kill-tasktask-id终止任务。失败的任务不会对失败的尝试有害。

-fail-tasktask-id导致任务失败。失败的任务对失败的尝试是有害的。

Hadoop命令的用法分析就分享到这里了，希望。