3.3 Spark的部署和应用方式 一、Spark的部署 二、Spark的应用方式

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

1.单机Local

2.集群

(1)Standalonc

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

Spark自带的资源管理器,效率不高

(2)YARN

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

如果部署的是Hadoop集群,可以用YARN资源调度

(3)Mesos

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式 

Spark和Mesos是相互优化的,它们之间性能匹配得非常好。

二、Spark的应用方式

Spark优势:

  • 延迟低
  • 批处理快
  • 组件多

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

以前Spark无法满足毫秒级流计算需求,但Spark2.3(2018年)版本出来后,增加了Structured Streaming持续流模式,这意味着它可以和Flink一样,可以满足毫秒级别的流计算需求。

3.3 Spark的部署和应用方式
一、Spark的部署
二、Spark的应用方式

参考文献:

【1】Spark编程基础_中国大学MOOC(慕课)