认识达内从这里开始

随着互联网的不断发展，越来越多的人都在学习达内java编程开发等互联网培训课程，而本文我们就通过案例分析来简单了解一下，软件编码压缩都有哪些常用方法。

字典编码：所有数据编码技术中常用、也是有效的方法。字典编码的思想很简单，就是把重复性较高的数据进行去重，把去重后的数据建立字典，而把原来存放数据的地方存成指向特定字典下标的引用。数据的访问逻辑是非常直接的，没有解码过程。特别要注意，字典中的各数据是按类型序排序的，这样做有两个好处：一是有序的数据更有利于压缩;二是有序的数据意味着我们在做谓词计算时，可以将谓词逻辑直接下压到字典，并通过二分逻辑完成快速迭代，这点在我们支持复杂计算时，将发挥非常重要的作用。

RLE编码：适用于连续相等的数据，比如形如1，1，1，2，2，...之类的，我们可以把这些连续相等的数据去重，并只保留其起始行号，RLE编码在数据库中主要用于处理有序的数据(比如索引的前缀)。

常量编码：针对近似常量化的数据，编码识别一个常见的数据作为常量，而只记录所有不等于这个常量的异常值和它们的行号，常量编码在实际业务数据中非常有用，后者往往存在着一些业务增加、但是并不使用的字段，这些字段同样占据了空间，并呈现出常量化(默认值)的数据分布。

差值编码(数值字段)：适用于在一个小值域范围内分布的整数型数据，通过计算区间内的MIN、MAX，将数据减去MIN后，用更小的位宽进行编码。比较常见的数据是时间类型，连续生成的时间类型数据通常有非常好的局部性(比如差值在几秒钟以内)。

差值编码(字符字段)：适用于定长的、有确定业务规则的字符型数据，通过构造公共串，将数据中只记录差异部分。这类数据在业务中非常常见，通常用于主键，比如订单号、用户账号等。

前缀编码：适用于前缀相同的字符型数据，通过构造公共前缀，将数据中只记录差异的后缀。其它一些数据库，比如SQLServer、HBase中也经常使用，这类数据在业务中也很常见，比如部分主键。前面提到的数据编码都是列内编码，即只考虑同一列内各字段的数据相似性，除此之外，OceanBase还实现了一组列间的数据编码，也就是考虑同一行的不同列间数据的相似性。

列间编码(数值字段)：适用于两列近似相等的整数型数据，这样，其中的一列只需要存储和另一列的差异值。这种列间相等的数据编码有它很强的适用场景，比如我们知道业务在数据表中通常都会记录生成和近一次更新的时间戳，如果某些流水数据从不会发生更新，那么这两个字段就存在很强的列间相等关系。

列间编码(字符字段)：适用于两列存在子串关系的字符型数据，也就是一列是另一列的子串(包括前缀、后缀、相等关系)。实际业务中许多长字符型字段并不是由用户随意生成的，而是基于一定的业务规则，将多个基础字段拼接而成，这时候这些基础字段就和前者存在子串关系。

OB所采用的这些编码压缩算法，解码过程非常简单，解码特定一行的数据，并不需要依赖其它行，这种近似O(1)复杂度的设计提高了数据投影的性能，使得其能够被用于在线系统。

虽然这些编码压缩算法解码简单，但是编码过程却并不那么trivial。尽管OB知道每张表每一列数据的属性，但是数据的分布OB却并没那么的了解，如某一列虽然是64位整数，但是OB事前并不一定知道它所有值都是一个有限的枚举类型，只有等到需要Compact压缩一个MicroBlock的时候才能知道。为了减轻DBA的心智负担，OB并不希望把每一列的编码压缩算法都由DBA来指定，而希望是OB自己根据当前数据的分布来智能选择。这就涉及到一个比较大的问题，如何智能的为每一列来选择优的编码压缩算法。

OB的做法是如果上一个MicroBlock某一列通过计算选择了某种编码算法，那么如果数据分布稳定的话，下一个MicroBlock的相同列大概率优的编码算法跟上一个Block一样。OB会优先尝试通过这个编码算法对列进行压缩，如果压缩后的结果(压缩比)证明这个选择正确，那么就会采用这个编码算法来压缩当前列;否则会退回重新选择合适的编码算法。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加抖音太原达内IT培训学习了解。