欢迎登陆真网站,您的到来是我们的荣幸。 登陆 注册 忘记密码? ☆设为首页 △加入收藏
欢迎加入真幸福QQ群
电脑知识: 基础知识 网络技术 操作系统 办公软件 电脑维修 电脑安全 windows7 windows8 windows10 服务器教程 平板电脑 视频播放教程 网络应用 互联网 工具软件 浏览器教程 QQ技巧 输入法教程 影视制作 YY教程 wps教程 word教程 Excel教程 PowerPoint
云南西双版纳特产小花糯玉米真空包装


图图桌面美化软件的添加分组功能介绍
Godaddy主机快速安装Zen Cart程序建立网站教程
ubuntu 看迅雷电影的方法
关闭win7系统休眠功能的具体方法
win7系统主页卫士如何快速删除
利用VirtualBox本地电脑安装虚拟系统设置
Windows Server 2003 R2停止服务.bat
解决命令行的乱码以及编码的问题
IIS应用程序池的设置问题解决IIS 假死状态
win7鼠标指针的速度和样式怎样随性的设置
Hadoop 参数配置优化
【 来源:网络 】【 点击:1 】 【 发布时间:2017_03_03 08:59:59 】

  主要参照官方给出的配置指南进行的。

  hadoop.tmp.dir

  默认值: /tmp

  说明: 尽量手动配置这个选项,否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候,如果服务器是多磁盘的,每个磁盘都设置一个临时文件目录,这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。

  fs.trash.interval

  默认值: 0

  说明: 这个是开启hdfs文件删除自动转移到垃圾箱的选项,值为垃圾箱文件清除时间。一般开启这个会比较好,以防错误删除重要文件。单位是分钟。

  fs.inmemory.size.mb

  默认值:

  说明: reduce阶段用户合并map输出的内存限制。这里设置200,可根据自身硬件设备进行更改测试。

  io.sort.factor

  默认值:10

  说明:排序文件的时候一次同时最多可并流的个数,这里设置100。新版本为mapreduce.task.io.sort.factor。

  io.sort.mb

  默认值:100

  说明: 排序内存使用限制,这里设置200m。新版本看说明貌似改成了这个mapreduce.task.io.sort.mb。

  io.file.buffer.size

  默认值:4096

  说明:SequenceFiles在读写中可以使用的缓存大小,这里设置为131072。貌似这个参数在新版本里变为了:file.stream-buffer-size,单位bytes 。

  dfs.blocksize

  默认值:67108864

  说明: 这个就是hdfs里一个文件块的大小了,默认64M,这里设置134217728,即128M,太大的话会有较少map同时计算,太小的话也浪费可用map个数资源,而且文件太小namenode就浪费内存多。根据需要进行设置。

  dfs.namenode.handler.count

  默认值:10

  说明:hadoop系统里启动的任务线程数,这里改为40,同样可以尝试该值大小对效率的影响变化进行最合适的值的设定。

  mapred.child.java.opts

  默认值:-Xmx200m

  说明:jvms启动的子线程可以使用的最大内存。改为-Xmx1024m,内存再大也可以继续增加。但是如果一般任务文件小,逻辑不复杂用不了那么多的话太大也浪费。

  mapreduce.jobtracker.handler.count

  默认值:10

  说明:JobTracker可以启动的线程数,一般为tasktracker节点的4%。

  mapreduce.reduce.shuffle.parallelcopies

  默认值:5

  说明:reuduce shuffle阶段并行传输数据的数量。这里改为10。集群大可以增大。

  mapreduce.tasktracker.http.threads

  默认值:40

  说明:map和reduce是通过http进行数据传输的,这个是设置传输的并行线程数。

  mapreduce.map.output.compress

  默认值:false

  说明: map输出是否进行压缩,如果压缩就会多耗cpu,但是减少传输时间,如果不压缩,就需要较多的传输带宽。配合mapreduce.map.output.compress.codec使用,默认是org.apache.hadoop.io.compress.DefaultCodec,可以根据需要设定数据压缩方式。

  mapreduce.reduce.shuffle.merge.percent

  默认值: 0.66

  说明:reduce归并接收map的输出数据可占用的内存配置百分比。类似mapreduce.reduce.shuffle.input.buffer.percen属性。

  mapreduce.reduce.shuffle.memory.limit.percent

  默认值: 0.25

  说明:一个单一的shuffle的最大内存使用限制。

本网站由川南居提供技术支持,fkzxf版权所有 浙ICP备12031891号
淳安分站 淳安分站