认识达内从这里开始

认真做教育专心促就业

太原计算机培训数据仓库搭建分为哪些结构层次

发布：太原达内教育官网
来源：互联网
时间：2021-07-30 08:28

数据仓库搭建随着互联网的不断发展而被各个企业引入，下面我们就一起来了解一下，数据仓库搭建分为哪些结构层次。

太原计算机培训数据仓库搭建分为哪些结构层次

我们将实时数仓的数据模型分为4层，自底向上依次为ODS、DWD、DWS和ADS。通过多层设计可以将处理数据的流程沉淀在各层完成。比如在数据明细层统一完成数据的过滤、清洗、规范、脱敏流程;在数据汇总层加工共性的多维指标汇总数据，提高了代码的复用率和整体生产效率。同时各层级处理的任务类型相似，可以采用统一的技术方案优化性能，使数仓技术架构更简洁。下面对这四层进行简单的介绍：

ODS(OperationalDataStore):贴源层

这一层又叫做贴源层,为接近数据源的一层,需要存储的数据量是大的,存储的数据也是原始。对众多数据源而言，他们的数据格式基本不一致，经过统一规格化后可以得到规整的数据，将数据源中的数据经过抽取、清洗、传输后装入ODS层。

DWD(DataWarehouseDetail)：数据明细层

业务层与数据仓库的隔离层，主要对ODS层做一些数据清洗和规范化的操作，并且可以按照不同的行为维度对数据进行划分，例如本文对数据源就进行了划分，主要分为浏览、曝光、点击、交易等不同的维度，这些不同的维度能够对上层调用方提供更细粒度的数据服务。

DWS(DataWareHouseServce)：数据服务层

对各个域进行了适度汇总，主要以数据域+业务域的理念建设公共汇总层，与离线数仓不同的是，实时数仓的汇总层分为轻度汇总层和高度汇总层，例如将轻度汇总层数据写入ADS，用于前端产品复杂的OLAP查询场景，满足自助分析和产出报表的需求。

ADS(ApplicationDataStore)：应用数据服务层

主要是为了具体需求而构建的应用层，通过RPC框架对外提供服务，例如本文中提到的数据报表分析与展示、监控告警、流量调控、开放平台等应用。

DIM(Dimension)：维表

在实时计算中非常重要，也是重点维护的部分，维表需要实时更新，且下游基于新的维表进行计算，例如闲鱼的实时数仓维表会用到闲鱼商品表、闲鱼用户表、人群表、场景表、分桶表等。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：太原达内培训数据分析工具选择需要关注哪些问题