大数据 Spark - MatNoble 博客 - 生活 · 学习 · 数学 · 算法

Spark on YARN 架构深度剖析：资源管理、计算调度与分布式部署实战

me@matnoble.top (MatNoble) — Fri, 01 Sep 2023 21:30:00 +0800

摘要：本文介绍了 Spark on YARN 架构的基本原理和特点。文章首先介绍了 Hadoop YARN 架构的两个核心组件：资源管理和计算调度，然后介绍了 Spark 架构的主要组成部分和功能。文章最后总结了 Spark on YARN 架构的优势和应用场景。

Spark RDD 分布式数学统计函数实战：求和、计数与均值优化

me@matnoble.top (MatNoble) — Sun, 27 Aug 2023 22:30:00 +0800

RDD（Resilient Distributed Datasets）是 Spark 中最基本的数据结构，是适合做..分布式..计算的。那如何在分布式系统中，对数据求和，计数，求均值呢？

分布式计算基石：MapReduce 模型原理与 Spark 算子（Map/Reduce/Aggregate）实战指南

me@matnoble.top (MatNoble) — Sat, 26 Aug 2023 00:50:30 +0800

MapReduce is a framework for processing parallelizable problems across large datasets using a large number of computers (nodes), collectively referred to as a cluster.

MapReduce

使用下面的示例来简单理解下 MapReduce 的核心思想：

目标：将数据整体乘 2 后，再相加
为了理解 MapReduce 思想，就不要想先加起来，再乘以 2 的方法了~

parallelize 方法将大任务分解成小任务，分发给 3 个工作节点
map 方法将每个节点上的数据进行..相同..的加工（每个数都乘以 2）
reduce 方法将加工后的数据全部加起来返回

MapReduce

对应 Python 代码如下

深度解析 Spark RDD 五大核心特性：分布式存储、计算与依赖链条全图解

me@matnoble.top (MatNoble) — Thu, 24 Aug 2023 00:21:30 +0800

RDD（Resilient Distributed Datasets）是 Spark 中最基本的数据结构，它是一个..不可变的分布式..数据集合，可以在集群中进行..并行处理..。