认识达内从这里开始

认真做教育专心促就业

太原达内培训数据管理系统架构常见问题分析

发布：太原达内教育官网
来源：互联网
时间：2021-10-28 16:01

随着互联网的不断发展，越来越多的企业都开始关注数据管理带来的收益问题，而今天我们就通过案例分析来了解一下，数据管理系统架构常见问题分析。

太原达内培训数据管理系统架构常见问题分析

1、系统分层

采集层：元数据系统中的基础节点，架构体系的底层，维护元数据获取通道和映射管理以及落地存储，并实现结构管理和数据处理过程;在数据源中可能存在多种情况：数仓环境、文件结构等，在特定情况中，还需要一定程度的手动维护进行结构拓补;

管理层：对于元数据核心能力打造，和相应的标准化管理，或者二次加工，数据源层面直接采集的数据通常不具备标准的业务语义，更多偏向技术侧的说明和逻辑，在经过标准化维护之后，在放开给应用层之前，还需要经过质量检测：例如工作城市，如果缺乏相应的枚举字典，显然是不合格的，必须经过必要的处理才能放开;即管理层放开的数据需要标准化和整体维度完善;

应用层：基于元数据能力的应用层开发，对于实际业务场景提供解决方案和功能入口，以及相应的系统中用户权限隔离等基本功能;

从系统分层的角度理解流程并不复杂，但是实际的实现过程简直不堪回，技术栈使用非常复杂，多个版本逻辑重构再重构，并且不断的改进优化，终才能实现相对稳定的服务能力。

2、元数据采集

在采集数据的时候，面对的大问题就是多种类数据源解析适配，以及数据调度任务的抽象，必须开发对应的工具来实现各种场景的元数据解析能力：

解析能力：适配解析各种数据源特点，文件格式，SQL脚本，抽象任务等，完成标准元数据的转换沉淀;

类型识别：十分复杂的一个节点，类型在描述数据的时候至关重要，结构化存储可以直接读取，文件类结构通常需要类型转换标识，任务流程会直接统一管理，依次保证数据在不同环境中的合理存储;

更新消息：业务的发展中，各种数据结构是频繁变动的，这就需要与元数据系统进行同步，通常要向消息服务(总线)发送通知，然后触发元数据更新动作;

核心能力：结构与类型识别解析、获取初始化数据，并且通过消息通知线路，完成动态更新流程的触发。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：太原计算机培训元数据管理的概念与应用方法

下一篇：太原达内培训软件开发测试与维护都有哪些问题 >