Hadoop常见错误和处理方式

常见问题及处理 mysql版本，必须是MYSQL5.1。查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create database oozie; hadoop采集的字符集问题。

 

 

常见问题及处理

mysql版本，必须是MYSQL5.1。

查询办法mysqladmin version

在建立hive数据库的时候，最好是:create database hive;

oozie的数据库，同样：create database oozie;

hadoop采集的字符集问题。

修改/etc/sysconfig/i18n 更改字符集为en_US.UTF-8

重启机器生效。

重启机器的指令为：在root下敲入如下指令：sync;sync;init 6

修改mapreduce。

在gateway/性能下修改：MapReduce 子 Java 基础选项 、Map 任务 Java 选项库 、Reduce 任务 Java 选项库 全部配置成 -Xmx4294967296

在TASKTRACKER/性能下修改:MapReduce 子 Java 基础选项 、Map 任务 Java 选项库 、Reduce 任务 Java 选项库 全部配置成 -Xmx4294967296

必须关注各个任务的详细情况

当出现如下的错误的时候，请及时的将下载的进程数调小。

vi /home/boco/oozie_wy/config/lte/mro/ftp/807101.xml 将max_thread由原来的6个调整为3个,或者协调厂家加大FTP的最大线程数。
stderr logs：
org.apache.commons.net.ftp.FTPConnectionClosedException: FTP response 421 received. Server closed connection.
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:363)
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:290)
at org.apache.commons.net.ftp.FTP.connectAction(FTP.java:396)
at org.apache.commons.net.ftp.FTPClient.connectAction(FTPClient.java:796)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:172)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:192)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:285)
at com.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550)
at com.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67)
登录ftp服务器【10.140.177.149】失败，FTP服务器无法打开！
org.apache.commons.net.ftp.FTPConnectionClosedException: FTP response 421 received. Server closed connection.
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:363)
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:290)
at org.apache.commons.net.ftp.FTP.connectAction(FTP.java:396)
at org.apache.commons.net.ftp.FTPClient.connectAction(FTPClient.java:796)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:172)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:192)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:285)
at com.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550)
at com.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67)
登录ftp服务器【10.140.177.149】失败，FTP服务器无法打开！
org.apache.commons.net.ftp.FTPConnectionClosedException: FTP response 421 received. Server closed connection.
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:363)
at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:290)
at org.apache.commons.net.ftp.FTP.connectAction(FTP.java:396)
at org.apache.commons.net.ftp.FTPClient.connectAction(FTPClient.java:796)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:172)
at org.apache.commons.net.SocketClient.connect(SocketClient.java:192)

TASKTRACKER和HDFS组的问题

发现部分地方在安装的时候，将所有的机器分组的问题。

如果分组，需要将每个组的参数都要修改。

目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。

java heap size以及tasktracker被拉黑名单的问题。

namenode和datanode的内存配置问题。

建议将使用的内存修改为4G左右。

建议将HIVE2服务放到一个辅节点上。

hive2放到辅节点上，经常出现add_partation挂起报错。

解决HIVE经常挂死的问题

修改zookeeper的最大客户端连接数，maxClientCnxns修改为3600或者修改成0不限制

自动清空时间间隔，autopurge.purgeInterval 修改为1小时

厂家XML配置的问题。

如果厂家是这样的：/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150144_362323_20140815011500.xml.gz

建议配置成这样的：

路径：/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$
时间格式：yymmdd/hh