Mesos 细粒度模式 (Fine-Grained Mode) 演示

细粒度模式是 Spark 在 Mesos 上运行的一种高度动态的资源调度方式,它允许资源在任务级别被快速释放,实现高共享性。

执行步骤

1. 资源报价 (Offer)

Mesos Master 以极小的块(任务级别)向 Spark Driver 提供 Mesos Slave 上的资源。

2. 按需请求资源

Driver 为每个独立任务请求资源,而不是持有固定的 Executor。

3. 启动临时容器

Mesos 直接在 Mesos Slave 上短寿命的 Executor 容器内启动任务。

4. 任务完成,即时释放

每个容器可能只运行一个或少数几个任务,完成后立即将资源释放回 Mesos。

5. 新任务,重新请求

如果需要运行新任务,Driver 必须再次向 Mesos 请求新的资源,Mesos 将启动新容器。

6. 动态共享优势

这使得多个框架可以动态共享集群资源,因为资源在任务一完成就会被释放。

系统交互图

Mesos Master
集群资源管理器
Spark Driver
任务调度器
Mesos Slave 1
Worker Node
Mesos Slave 2
Worker Node
T1
T2
T3
T4
请点击“下一步”开始演示