这个带个/tmp/文件夹都删除掉过还昰不行

郁闷的是第一次布署没问题，就换了个数据源的密码就不行了

解决方案是：关闭防火墙

5.4 从本地往hdfs文件系统上传文件

5.5 安全模式导致的错误

在分布式文件系统启动的时候开始的时候会有安全模式，当分布式文件系统处于安全模式的情況下文件系统中的内容不允许修改也不允许删除，直到安全模式结束安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块运行期通过命令也可以进入安全模式。在实践过程中系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可

解决方案是：关闭安全模式

程序里面需要打开多个文件，进行分析系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了但是对于程序来讲，就太少了

解决方案是：修改2个文件。

针对第一个问题峩纠正下答案：

这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的上限默认为5。引起此问题的方式可能会有很多种比如網络连接不正常，连接超时带宽较差以及端口阻塞等。通常框架内网络情况较好是不会出现此错误的

出现这个问题主要是结点间的连通不够全面。

要求本机ip 对应服务器名

要求要包含所有的服务器ip +服务器名

要求包含所有服务器（包括其自身）的public key

5.8 处理速度特别的慢

出现这种異常明显是jvm内存不够得原因。

解决方案如下：要修改所有的datanode的jvm内存大小

一般jvm的最大内存使用应该为总内存大小的一半，我们使用的8G内存所以设置为4096m，这一值可能依旧不是最优的值

更多Hadoop相关信息见 专题页面

本文永久更新链接地址：