spark伪分布式的安装

不依赖hadoop

百度分享安装包地址:http://pan.baidu.com/s/1dD4BcGT 点击打开链接

解压 并重命名:

 spark伪分布式的安装

进入spark100目录:

修改配置:

Cd conf

配置单击节点,故只需要写本机的hostname就可以了。

spark伪分布式的安装

重命名Spark-env.sh.template 为 spark-env.sh

增加配置项: 

  1. export SPARK_MASTER_IP=icity1  
  2. export SPARK_MASTER_PORT=7077  
  3. export SPARK_WORKER_CORES=1  
  4. export SPARK_WORKER_INSTANCES=1  
  5. export SPARK_WORKER_MEMORY=1g 
  6. export JAVA_HOME=/jdk/jdk1.7.0_65(提前配置好java环境)

如图所示:

spark伪分布式的安装

 启动

spark伪分布式的安装

监控页面效果:

 spark伪分布式的安装

进入spark-shell:(运行完后点击回车键就可以写scala代码)

 spark伪分布式的安装

 spark伪分布式的安装

选用了外部文件:

spark伪分布式的安装

区别于hdfs的读取方式:

 spark伪分布式的安装

 spark伪分布式的安装

spark伪分布式的安装

退出spark-shell:exit

 spark伪分布式的安装