欢迎登陆真网站,您的到来是我们的荣幸。 登陆 注册 忘记密码? ☆设为首页 △加入收藏
欢迎加入真幸福QQ群
电脑知识: 基础知识 网络技术 操作系统 办公软件 电脑维修 电脑安全 windows7 windows8 windows10 服务器教程 平板电脑 视频播放教程 网络应用 互联网 工具软件 浏览器教程 QQ技巧 输入法教程 影视制作 YY教程 wps教程 word教程 Excel教程 PowerPoint
云南西双版纳特产小花糯玉米真空包装


MongoDB 内存使用情况分析
MongoDB学习笔记(五) MongoDB文件存取操作
MongoDB学习笔记(四) 用MongoDB的文档结构描述数据关系
MongoDB学习笔记(三) 在MVC模式下通过Jqgrid表格操作MongoDB数据
MongoDB学习笔记(二) 通过samus驱动实现基本数据操作
64位CentOS 6.0下搭建LAMP环境详细步骤
linux服务器下LNMP安装与配置方法
linux下安装VNC
MongoDB学习笔记(一) MongoDB介绍与安装方法
MongoDB学习笔记(六) MongoDB索引用法和效率分析
安装Hadoop1.0.4伪分布式的方法
【 来源:网络 】【 点击:1 】 【 发布时间:2017_03_03 08:59:59 】

 一、使用环境


操作系统:Ubuntu12.04

Hadoop版本:1.0.4


二、Hadoop官网安装手册 
单机安装分为“standalone”和“pseudo-distributed”两种模式,我使用的是伪分布式模式。

手册的安装步骤很详细,没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。


三、手册缺陷 
手册主要有两个问题没有说清楚:

1.Hadoop安装在哪个目录下好?

选择一般有两种:/usr/local和家目录下。我选择安装在家目录下,因为开始玩hadoop的时候,这样避免了权限的麻烦;如果要部署应用的话,应该安装在/usr/local。

2.配置文件的问题

这是安装hadoop最重要的步骤。所有配置文件均在${HADOOP_HOME}/conf目录下。

如果完全按照手册配置,你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况。配置文件的不同主要在core-site.xml.

手册配置如下:


<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>我的配置如下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
 <property> 
 <name>hadoop.tmp.dir</name> 
 <value>/home/zhengeek/hadoop-tmp</value> 
<description>A base for other temporary directories.</description> 
</property> 
 </configuration>


有两处不同:

1.9000和8020这两个端口都可以,只要没有被占用。

2.最容易出问题的地方就在这里。比如这个哥们遇到的问题。

hadoop运行起来,hdfs和mapreduce有许多数据需要保存。这可以通过dfs.name.dir 和 dfs.data.dir设置。如果没有设置,那么数据就会默认存放在/tmp目录下,如果机器重启,tmp目录下的数据就会丢失,namenode自然启动不起来了。

如果设置了hadoop.tmp.dir,那么这些数据就会默认存放在改目录下。

有关hadoop.tmp.dir设置的讨论。

四、启动hadoop

1.格式化hdfs

$bin/hadoop namenode -format

2.启动hdfs

$bin/start-all.sh

3.检查是否成功

$jps

若成功,会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker五个进程。

本网站由川南居提供技术支持,fkzxf版权所有 浙ICP备12031891号
淳安分站 淳安分站