【Spark109】Windows上运作spark-shell
【Spark109】Windows上运行spark-shell
如何在Windows上运行spark-shell
1. 下载winutils.exe，加入放置到d:/software/Hadoop/bin/winutils.exe目录下，注意，winutils.exe文件的上级目录一定是bin
2. 开启一个windows命令行窗口，在d:/software/Hadoop/bin目录下执行winutils.exe chmod 777 D:\tmp\hive
3. 打开一个windows命令行窗口，cd到解压的Spark的目录下，比如d:/software/spark-1.6.2/bin/执行如下命令
set HADOOP_HOME=d:/software/Hadoop
然后执行spark-shell，此时spark-shell正常启动，进入scala>命令行
在scala>提示符下输入
sc.parallelize(List(1,2,3)).reduce(_+_)
会提交spark任务，得到结果6