Spark Cluster Overview

Spark 集群将工作分为 Master 节点（管理）和 Worker 节点（工作），类似于 Hadoop 的 Master/Slave 结构。

Cluster Division (集群划分)

• Master Node: 运行 Master Daemon，管理所有 Worker。
• Worker Node: 运行 Worker Daemon，向 Master 汇报并管理 Executors。

Application Structure

每个 Spark 应用程序由一个 Driver 和多个 Executors 组成。一个 Executor 里的所有 Tasks 属于同一个应用程序。