
课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
数据仓库是许多企业都在使用的一种数据管理方式之一,而本文我们就通过案例分析来简单了解一下,数据仓库管理应用方法分享。
数据仓库(DataWarehouse)
数据仓库是BillInmon在1991年出版的“BuildingtheDataWarehouse”一书中所提出的定义被广泛接受:数据仓库(DataWarehouse)是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合,用于支持管理决策(DecisionMakingSupport)。
数据仓库是企业的统一的数据管理方式,将不同应用中的数据汇聚,然后对这些数据加工和多维度分析,并终展现给用户。它帮助企业将纷繁浩杂的数据整合加工,并终转换为关键流程上的KPI,从而为决策/管理等提供准确的支持,并帮助预测发展趋势。因此,数据仓库是企业IT中非常核心的系统。
根据企业构建数据仓库的主要应用场景不同,我们可以将数据仓库分为以下两种类型,每一种类型的数据仓库系统都有不同的技术指标与要求。
企业数据仓库
企业会把数据分成内部数据和外部数据,内部数据通常分为两类,OLTP交易系统以及OLAP分析系统数据,他们会把这些数据全部集中起来,经过转换放到数据库当中,这些数据库通常是Teradata、Oracle、DB2数据库等。然后在这上面进行数据的加工,建立各种主题模型,再提供报表分析业务。一般来说,数据的处理和加工是通过离线的批处理来完成的,通过各种应用模型实现具体的报表加工。
实时数据仓库
随着业务的发展,一些企业客户需要对一些实时的数据做一些商业分析,譬如零售行业需要根据实时的销售数据来调整库存和生产计划,风电企业需要处理实时的传感器数据来排查故障以保障电力的生产等。这类行业用户对数据的实时性要求很高,传统的离线批处理的方式不能满足需求,因此他们需要构建实时处理的数据仓库。数据可以通过各种方式完成采集,然后数据仓库可以在指定的时间窗口内对数据进行处理,事件触发和统计分析等工作,再将数据存入数据仓库以满足其他一些其他业务的需求。因此,实时数据仓库增强了对实时性数据的处理能力要求,核心的计算引擎需要基于实时计算平台,如开源的Flink或星环科技自研的Slipstream,通过实时引擎来对接机器学习、可视化分析和实时调度类应用。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!请读者仅作参考。更多内容请加抖音太原达内IT培训学习了解。