Hadoop学习常见问题及解决方法（一）

1、搭建Hadoop单节点集群遇到namenode或datanode启动不起来的问题。

可能原因：多次格式化namenode导致datanode与namenode之间的id不一致

原因分析：执行文件系统格式化时，会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。

解决方法：

(1)搭建单节点hadoop集群遇到namenode启动不起来的解决方法

先关闭集群

查看core-site.xml配置文件中的tmp目录地址，删除以后，重新格式化

(2)搭建单节点hadoop集群遇到datanode启动不起来的解决方法

先关闭集群

查看hdfs-site.xml配置文件，删除data目录下的dfs,然后重建dfs,继续启动集群

或者两者结合起来，直接删除data目录，然后重建data目录和该目录下的dfs和tmp

2、Hadoop单节点集群搭建成功了，几个进程也都成功启动了，但是在web端却看不到?

可能原因：可能是在本地的hosts文件中没有配置主机名和ip之间的对应关系。

解决方法：你可以试一下，用ip：端口号(50070/8088)，如果可以打开，那就是这个问题，所以要在本地找到hosts文件(C:\Windows\System32\drivers\etc)，在里面添加上ip和 主机名的对应关系。

3、虚拟机动态IP的时候可以ping通外网，但是设置为静态IP之后就不能ping通外网?

可能原因：可能是DNS的问题。

解决方法：在网关里配置DNS=网关地址，然后重启网关，再次ping外网，应该就可以了。

详情可参考链接http://blog.csdn.net/zhaolimin6666/article/details/52897198?locationNum=15&fps=1

4、当磁盘快满的时候，需要删除一些文件来清理一下磁盘，但是文件删除了，磁盘空间还是没有变化?

可能原因：这是因为系统把删除的文件放到了回收站。

解决方法：要把回收站里的文件也删除掉，磁盘空间就有变化了。

5、安装VM虚拟机时，出现下面问题

 

 

 

 

可能原因：这是因为虚拟技术没有启动。

解决方法：可参考下面链接启动一下即可

http://jingyan.baidu.com/article/375c8e19bcd24525f3a22943.html