【Hadoop报错】/tmp/Hadoop-纱线/分段/历史/完成_中间/HDFS的目录项限制超出d:限制=1048576项=1048576
问题描述：调度系统执行储备任务失败，一直执行失败，报错如下：Java。io。ioexception : Java。净。连接器异常：从#主机名/#IP到#主机名：10020的调用因连接异常而失败： Java。净。连接器异常：拒绝连接；详情请见： http://wiki.apache.org/hadoop/ConnectionRefused
由： Java。净。除：之外的连接引起从#主机名/#IP到#主机名：10020的调用因连接异常而失败： Java。净。除：之外的连接拒绝连接；详情请见： http://wiki.apache.org/hadoop/ConnectionRefused
控制台#结束作业=作业_ 1638255473937 _ 0568出现异常“Java。io。ioexception(Java。净。除：之外的连接从#主机名/#IP到#主机名：10020的调用因连接异常而失败3360 Java。净。除：之外的连接拒绝连接；更多详情请参见： http://wiki.apache.org/hadoop/ConnectionRefused)
控制台#故障：执行错误，从组织。阿帕奇。Hadoop。蜂巢。QL。执行董事。mapredtask先生。Java。净。connectexcept :从#主机名/#IP到#主机名：10020的调用因连接异常而失败： Java。净。connectexcept :拒绝连接；详情请见： http://wiki.apache.org/hadoop/ConnectionRefused
这个信息还看不出具体的问题所在，查看服务器上所有的日志，也没有看出问题，最后查看故事的日志，看出问题所在。
根据调度系统，获取到应用程序id:application _ 1638255473937 _ 0568，然后从hdfs上查看对应的日志信息。
关键报错信息：组织。阿帕奇。Hadoop。IPC。远程异常(组织。阿帕奇。Hadoop。HDFS。协议。fslimitexception $ maxdirectoryitemsexedeception):/tmp/Hadoop-yarn/staging/history/done _ intermediate/HDFS的目录项限制超出：限制=1048576项=1048576
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/128325.html