认识达内从这里开始

认真做教育专心促就业

数据库开发架构都会用到那些开发工具

发布：太原达内教育官网
来源：互联网
时间：2020-09-28 08:17

随着互联网的不断发展，软件开发行业也越来越垂直细分化，而今天我们就通过案例分析来了解一下，数据库开发架构都会用到那些开发工具。

数据库开发架构都会用到那些开发工具

HDFS

Hadoop分布式文件处理系统，是Hadoop体系中，数据存储管理的基础。源自于Google的GFS论文，也既GFS的克隆版。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

Mapreduce

分布式计算框架，HadoopMapReduce是GoogleMapreduce克隆版，是一种计算模型，用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果;Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到终结果。Mapreduce这样的功能划分，非常适合在大量计算机组成的分布式并行环境里进行数据处理。

HBase

Hbase是GoogleBigtable的克隆版，是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表(Key/Value)，其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。

Zookeeper

Zookeeper是GoogleChubby克隆版。解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。

Sqoop

Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之间传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。

Pig

基于Hadoop的数据流系统，由yahoo!开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具，定义了一种数据流语言—PigLatin，将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。

Mahout

数据挖掘算法库，Mahout的主要目标是创建一些可扩展的机器学习领域算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、MongoDB或Cassandra)集成等数据挖掘支持架构。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请在707945861群中学习了解。

< 上一篇：数据仓库开发架构基础概念分析

下一篇：c++编程语言的编译原理都包含哪些层次 >