MapReduc压缩工具对比及配置


在MapReduce的各阶段过程中,根据场景开启不同类型的压缩,可以有效提升Job的处理时间;MR使用压缩的各个阶段: 压缩可以在 MapReduce 作用的任意阶段启用,通过压缩可以有效降低Job的处理时间;从上图可以总结为如下内容:1 香港云主机.从原始数据到Map阶段;需要可切分的Splitable,以便于启动多个线程加速任务2.Map阶段落地过程;因为需要马上进行Reduce,所以讲求的是Speed,所以越快越好3.Reduce阶段是分结果的:归档需求:建议采用高压缩比的工具,归档后节省磁盘空间;作为下一个任务的输入:要采用Splitable,如果不切片的话下一个MapReduce将只有一个task来处理任务压缩工具特点对比:压缩性能比较:通过上图,可以根据不同的阶段,选项不同的压缩工具;在选项压缩工具时,针对不同的阶段,可以从3个方面选择对应压缩工具:压缩比、压缩速度、是否分片关于压缩Hadoop引入的编码器:Hadoop关于压缩参数的配置:
core-site.xml相关的配置:io.compression.codecs -> 配置支持哪些压缩格式,多种压缩格式以逗号区分mapred-site.xml相关的配置:reduce阶段:mapreduce.output.fileoutputformat.compress:是否开启压缩,true表示开启,默认为falsemapreduce.output.fileoutputformat.compress.codec:压缩类型 map阶段:mapreduce.map.output.compress:是否开启压缩,true表示开启,默认为falsemapreduce.map.output.compress.codec:压缩类型

相关推荐: Revit如何创建墙体

本文小编为大家详细介绍“Revit如何创建墙体”,内容详细,步骤清晰,细节处理妥当,希望这篇“Revit如何创建墙体”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。Revit提供的api墙体的创建方法有5个重载,如下所示:1.Crea…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/22 21:25
下一篇 07/22 21:25

相关推荐