启动spark集群

分类: IT文章 • 2023-11-06 19:09:03

spark@master $ ./sbin/start-all.sh

也可以一台一台启动，先启动 master

spark@master $ ./sbin/start-master.sh

启动两台 slave，

spark@worker01 $ ./sbin/start-slave.sh 1 spark://master:7077
spark@worker02 $ ./sbin/start-slave.sh 2 spark://master:7077

其中，1, 2 是 worker的编号，可以是任意数字，只要不重复即可，spark://master:7077 是 master 的地址。以后向集群提交作业的时候，也需要这个地址。