课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认识达内从这里开始
认真做教育 专心促就业
随着互联网的不断发展，越来越多的人都在学习大数据技术，而今天我们就通过案例分析来了解一下，大数据计算需要我们掌握哪些知识。
RDD是Spark的核心概念，是弹性分布式数据集(ResilientDistributedDatasets)的缩写。RDD既是Spark面向开发者的编程模型，又是Spark自身架构的核心元素。
作为Spark编程模型的RDD。我们知道，大数据计算就是在大规模的数据集上进行一系列的数据计算处理。
MapReduce是面向过程的大数据计算，Spark是面向对象的大数据计算
MapReduce针对输入数据，将计算过程分为两个阶段，一个Map阶段，一个Reduce阶段，可以理解成是面向过程的大数据计算。我们在用MapReduce编程的时候，思考的是，如何将计算逻辑用Map和Reduce两个阶段实现，map和reduce函数的输入和输出是什么，MapReduce是面向过程的。
而Spark则直接针对数据进行编程，将大规模数据集合抽象成一个RDD对象，然后在这个RDD上进行各种计算处理，得到一个新的RDD，继续计算处理，直到得到后的结果数据。所以Spark可以理解成是面向对象的大数据计算。我们在进行Spark编程的时候，思考的是一个RDD对象需要经过什么样的操作，转换成另一个RDD对象，思考的重心和落脚点都在RDD上。
跟MapReduce一样，Spark也是对大数据进行分片计算，Spark分布式计算的数据分片、任务调度都是以RDD为单位展开的，每个RDD分片都会分配到一个执行进程去处理。
RDD上的转换操作又分成两种，一种转换操作产生的RDD不会出现新的分片，比如map、filter等，也就是说一个RDD数据分片，经过map或者filter转换操作后，结果还在当前分片。就像你用map函数对每个数据加1，得到的还是这样一组数据，只是值不同。
【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请在707945861群中学习了解。
< 上一篇：Android编程开发需要注意哪些问题
下一篇：常见的数据分析指标类型都有哪些 >
2025-02-12
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 12月30日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 12月30日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 12月30日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 12月30日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 12月30日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 12月30日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 12月30日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 12月30日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 12月30日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 12月30日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 12月30日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 12月30日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 12月30日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 12月30日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 12月30日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 12月30日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 12月30日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 12月30日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 12月30日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 12月30日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 12月30日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 12月30日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 12月30日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 12月30日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 12月30日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 12月30日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 12月30日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 12月30日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 12月30日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 12月30日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 12月30日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 12月30日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 12月30日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 12月30日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 12月30日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 12月30日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 12月30日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 12月30日
- 火热抢座中
- 立即咨询
预约申请试听课
400-111-8989
lihm@tedu.cn
