认识达内从这里开始

认真做教育专心促就业

太原达内培训大数据技术发展趋势都有哪些

发布：太原达内教育官网
来源：互联网
时间：2021-12-30 09:25

我们在前几期的文章中给大家简单介绍了大数据技术应用的一些常见问题等内容，而本文我们就继续来了解一下，大数据技术发展趋势都有哪些。

太原达内培训大数据技术发展趋势都有哪些

IoT类数据处理成为新热点

目前大数据系统处理的数据主要来源是人的行为的数据日志。比如说人的浏览记录、用户在手机上对App的点击等操作，都会以日志的形式传到系统里，反馈给推荐系统、广告系统。

面向未来，随着通信(5G)技术和硬件设备的智能化，大量硬件设备的数据会接入进来，硬件设备的数量慢慢会超过人的数量，这些数据会超过人产生的数据，形成一个更大数据规模、更低数据密度的新数据来源。

同时，设备产生的数据特性不同，比如大多数时候设备数据并没有太多意义和价值，只有出问题的时候数据才会产生波动，在这种情况下如何有效收集设备产生的数据，如何处理这种海量的无法全量上云、需要在边端做一定处理的数据，就成了新的需求。为了解决这些问题，云边端协同的计算模式会成为热点，统称IoT。

数据安全、共享与隐私保护的矛盾需要新解法

数据本身已经成为一种资产，有非常好的资产变现或产生额外价值的能力和需求。同时数据很可能涉及隐私泄露(前段时间国家发布了数据安全相关的保护法规)，这就形成了有关数据安全、隐私保护和数据共享的矛盾。如何在保证数据安全和隐私的情况下，做到更好的数据共享和数据变现成为新热点。

数据安全不仅仅是一个权限问题，还涉及很复杂的系统架构，包括权限管理、用户隔离、存储加密、异地备份、敏感数据/风险行为的识别等等。数据安全共享这个方向包括两个核心场景：一方数据对外共享，多方数据共同计算。

一方数据共享，场景是企业自己拥有完整的数据产权，同时又希望通过共享获得价值。目前在主流的云数仓产品里，很多平台都开始提供数据共享方案，比如说Snowflake推出的DataSharing功能。

多方数据共同计算，场景是每一方可能都不具备完整数据，但希望跟不同的数据源通过数据求交或共享的形式获得价值，这就是多方的数据交叉计算或者叫联邦计算。这里面包含两项核心技术，一个是基于隐私计算的数据交互，一个是基于联邦学习(FederatedLearning)的数据交互。不论是一方域内多租的安全模式，还是跨域多方的安全共享模式，目前都是领域热点。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：太原达内培训大数据数据湖与数据仓库之间的区别都有哪些

下一篇：太原达内培训微服务架构用户权限策略类型 >