mac下搭建pyspark环境

在mac下搭建pyspark需要安装的有：

1.JAVA JDK
2.Scala
3.apache-spark
4.Hadoop(可选)
5.pyspark

安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式以下介绍brew的安装方式
如果你的电脑上没有安装brew的话，你只需在终端要执行以下步骤：

1. 安装brew

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

2.使用brew安装所需依赖

brew install scala
brew install apache-spark
brew install hadoop

3.安装完毕之后可以选择配置环境变量

使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量

具体如下：


  # HomeBrew
   export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
   export PATH="/usr/local/bin:$PATH"
   export PATH="/usr/local/sbin:$PATH"
  # HomeBrew END
 
  #Scala
  SCALA_HOME=/usr/local/scala
  export PATH=$PATH:$SCALA_HOME/bin
  # Scala END
 
  # Hadoop
  HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin
  # Hadoop END
 
  # spark
  export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0"
  export PATH="$SPARK_PATH/bin:$PATH"
  # Spark End

4.使虚拟环境生效

source ~/.bash_profile```
-5. 最后进行安装pyspark就OK啦，使用:
```shell
pip install pyspark

-6. 然后打开jupyter notebook
在文件的最上面添加以下代码，目的是寻找并创建sparksession对象，以便调用spark进行计算。

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession.builder.getOrCreate()

然后就可以愉快的使用pyspark了

mac下搭建pyspark环境

相关推荐