细粒度模式是 Spark 在 Mesos 上运行的一种高度动态的资源调度方式,它允许资源在任务级别被快速释放,实现高共享性。
Mesos Master 以极小的块(任务级别)向 Spark Driver 提供 Mesos Slave 上的资源。
Driver 为每个独立任务请求资源,而不是持有固定的 Executor。
Mesos 直接在 Mesos Slave 上短寿命的 Executor 容器内启动任务。
每个容器可能只运行一个或少数几个任务,完成后立即将资源释放回 Mesos。
如果需要运行新任务,Driver 必须再次向 Mesos 请求新的资源,Mesos 将启动新容器。
这使得多个框架可以动态共享集群资源,因为资源在任务一完成就会被释放。