认识达内从这里开始

认真做教育专心促就业

数据压缩常用压缩方法的优缺点

发布：太原达内教育官网
来源：互联网
时间：2021-01-19 08:31

我们在上文中给大家简单介绍了数据压缩的一些基本知识等内容，而今天我们就再来了解一下，数据压缩常用压缩方法的优缺点。

数据压缩常用压缩方法的优缺点

gzip压缩

优点：压缩率比较高，而且压缩/解压速度也比较快;hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样;有hadoopnative库;大部分linux系统都自带gzip命令，使用方便。

缺点：不支持split。

应用场景：当每个文件压缩之后在130M以内的(1个块大小内)，都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序，streaming程序，和java写的mapreduce程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。

lzo压缩

优点：压缩/解压速度也比较快，合理的压缩率;支持split，是hadoop中流行的压缩格式;支持hadoopnative库;可以在linux系统下安装lzop命令，使用方便。

缺点：压缩率比gzip要低一些;hadoop本身不支持，需要安装;在应用中对lzo格式的文件需要做一些特殊处理(为了支持split需要建索引，还需要指定inputformat为lzo格式)。

应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越明显。

snappy压缩

优点：高速压缩速度和合理的压缩率;支持hadoopnative库。

缺点：不支持split;压缩率比gzip要低;hadoop本身不支持，需要安装;linux系统下没有对应的命令。

应用场景：当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式;或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。

bzip2压缩

优点：支持split;具有很高的压缩率，比gzip压缩率都高;hadoop本身支持，但不支持native;在linux系统下自带bzip2命令，使用方便。

缺点：压缩/解压速度慢;不支持native。

应用场景：适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式;或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况;或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序(即应用程序不需要修改)的情况。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请在707945861群中学习了解。

< 上一篇：seo优化核心与作用分析

下一篇：常见的编程开发语言都有哪些类型 >