万字长文揭秘：阿里如何实现海量数据实时分析？(5)

每个列block可开启压缩。 [原文来自：www.11jj.com]

[转载出处：www.11jj.com]

行列混存存储相应的元数据包括：分区元数据，列元数据，列block元数据。其中分区元数据包含该分区总行数，单个block中的列行数等信息；列元数据包括该列值类型、整列的MAX/MIN值、NULL值数目、直方图信息等，用于加速查询；列block元数据包含该列在单个Row Group中对应的MAX/MIN/SUM、总条目数(COUNT)等信息，同样用于加速查询。

全索引计算

用户的复杂查询可能会涉及到各种不同的列，为了保证用户的复杂查询能够得到秒级响应，玄武存储引擎在行列混合存储的基础上，为基线数据（即历史数据）所有列都构建了索引。玄武会根据列的数据特征和空间消耗情况自动选择构建倒排索引、位图索引或区间树索引等，而用的最多的是倒排索引。

如上图所示，在倒排索引中，每列的数值对应索引的key，该数值对应的行号对应索引的value，同时所有索引的key都会进行排序。依靠全列索引，交集、并集、差集等数据库基础操作可以高性能地完成。如下图所示，用户的一个复杂查询包含着对任意列的条件筛选。玄武会根据每个列的条件，去索引中筛选满足条件的行号，然后再将每列筛选出的行号，进行交、并、差操作，筛选出最终满足所有条件的行号。玄武会依据这些行号去访问实际的数据，并返回给用户。通常经过筛选后，满足条件的行数可能只占总行数的万分之一到十万分之一。因此，全列索引帮助玄武在执行查询请求的时候，大大减小需要实际遍历的行数，进而大幅提升查询性能，满足任意复杂查询秒级响应的需求。