本文向您介绍了DFS以及什么是Shell管理命令。内容非常详细。感兴趣的朋友可以参考一下，希望对你有所帮助。
一、HDFS基本概述
1、HDFS描述
大数据领域一直面临两大核心模块：数据存储和数据计算。作为最重要的大数据存储技术，HDFS具有高容错性、稳定性和可靠性。HDFS(Hadoop-distributed-file-system)，这是一个分布式文件系统，用于存储文件和通过目录树定位文件；设计的初衷是管理数百台服务器和磁盘，让应用程序可以像普通文件系统一样存储大规模文件数据。适合一次写入多次读出的场景，不支持文件修改，适合数据分析。
2、基础架构
HDFS采用主/从架构，有两个核心组件，命名节点和数据节点。
NameNode
负责文件系统的MetaData管理，即文件路径名、数据块ID、存储位置等信息，配置复制策略处理客户端读写请求。
DataNode
执行文件数据的实际存储和读写操作，每个数据节点存储一部分文件数据块，整个文件分布存储在整个HDFS服务器集群中。
Client
客户端，通过文件分段上传HDFS时，客户端将文件逐个划分为Block，然后上传；从名称节点获取文件的位置信息；与数据节点通信以读取或写入数据；客户端通过一些命令访问或管理HDFS。
Secondary-NameNode
它不是NameNode的热备盘，但分担了NameNode的工作负载，比如定期合并Fsimage和Edits，推送到NameNode；在紧急情况下，它可以帮助恢复名称节点。
3、高容错性
数据块、文件/用户/same ERP/数据/part-0、副本备份集为2、存储块id分别为1和3的多副本存储示意图；文件/用户/same ERP/数据/part-1，副本备份设置为3，存储的块id分别为2、4和5；任何一台服务器宕机后，每个数据块中至少存在一个备份服务，不会影响对文件的访问，提高整体容错能力。
HDFS的文件物理存储在块中，块大小可以通过参数dfs.blocksize进行配置，如果块设置太小，寻址时间会增加。如果块太大，从磁盘传输数据的时间会很慢。HDFS块的大小设置主要取决于磁盘传输速率。
二、基础Shell命令
1、基础命令
检查Hadoop下的相关Shell操作命令。
[root @ hop 01 Hadoop 2.7]# bin/Hadoop fs
[root @ hop 01 Hadoop 2.7]# bin/hdfsdfsdfs是fs的实现类。
2、查看命令描述
[root @ hop 01 Hadoop 2.7]# Hadoop-helps3、递归创建目录
[root @ hop 01 Hadoop 2.7]# Hadoop fs-mkdir-p/hopdir/my file4、查看目录
[root @ hop 01 Hadoop 2.7]# Hadoop fs-ls/
[root @ hop 01 Hadoop 2.7]# Hadoop-ls/hopdir5、剪贴文件
Hadoop fs-movefromLocal/opt/hopfile/Java . txt/hopdir/my file
# #查看文件
Hadoop fs-ls/hopdir/my file6、查看文件内容
# #查看全部
Hadoop fs-cat/hopdir/my file/Java . txt
# #查看结尾
7、追加文件内容
8、拷贝文件
copyFromLocal命令与put命令相同
Hadoop fs-copy from LocaL/opt/hopfile/c . txt/hopdir9、HDFS文件拷贝到本地
Hadoop fs-CopyToLocal/hopdir/my file/Java . txt/opt/hopfile/10、HDFS内拷贝文件
Hadoop fs-CP/hopdir/my file/Java . txt/hopdir11、HDFS内移动文件
12、合并下载多个文件
基本命令get与copyToLocal命令具有相同的效果。
13、删除文件
14、查看文件夹信息
Hadoop fs-du-s-h/hopdir/my file15、删除文件夹
bin/hdfsdfs-RM-r/hopdir/file 0703关于dfs，有哪些Shell管理命令？希望如此。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/83271.html