欢迎登陆真网站,您的到来是我们的荣幸。 登陆 注册 忘记密码? ☆设为首页 △加入收藏
欢迎加入真幸福QQ群
电脑知识: 基础知识 网络技术 操作系统 办公软件 电脑维修 电脑安全 windows7 windows8 windows10 服务器教程 平板电脑 视频播放教程 网络应用 互联网 工具软件 浏览器教程 QQ技巧 输入法教程 影视制作 YY教程 wps教程 word教程 Excel教程 PowerPoint
云南西双版纳特产小花糯玉米真空包装


SSH启动失败解决方法
存储空间不足无法处理此命令HTTP SSL
Linux 系统密码破解的几种常用方法
linux/centos rsync安装配置教程
IIS7中Ajax.AjaxMethod无效的原因及解决方法
Win7下VHD文件右键增强实现代码(vbs+注册表)
探讨VPS3.0:用VPS挂VAGEX自动赚money
管理与维护路由器的技巧
谈淘宝网升级图片存储服务
夏季机房,IT经理如何确保安全运维?
Hadoop datanode重新加载失败无法启动解决
【 来源:网络 】【 点击:1 】 【 发布时间:2017_03_03 08:59:59 】

   笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

  本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

  而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

  大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

  解决步骤如下:

  1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

  sh stop-dfs.sh

  sh stop-yarn.sh

  2,切换到hadoop的相应/current目录下将current下的所有文件清除。

  3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

  执行sh start-dfs.sh

  sh start-yarn.sh

  (旧版本的mapre 被新版本的yarn所替代,命令上多少有些不同)

  既可以看到相应的节点成功加载。

  相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

  (由于我们在配置文件中指明的文件夹只有 hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

本网站由川南居提供技术支持,fkzxf版权所有 浙ICP备12031891号
淳安分站 淳安分站