우분투 16.04 py스파크(2.1.0) 설치

우분투 16.04 py스파크(2.1.0) 설치

1. spark-2.1.0-bin-hadoop2.7.tgz 파일 압축풀기

$ tar -xvzf spark-2.1.0-bin-hadoop2.7.tgz

2. 압축푼 파일 위치 이동

$ mv spark-2.1.0-bin-hadoop2.7 ../Apps/

3. 스파크 환경설정

- spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh.template 파일을 복사해서 spark-env.sh로 만든다.

해당 spark-env.sh 파일 밑에 환경설정 세팅

export HADOOP_CONF_DIR=~/dev/Apps/hadoop-2.7.3/etc/hadoop

#export PYSPARK_PYTHON=~/anaconda3/envs/py35/bin/python3

export PYSPARK_PYTHON=/usr/bin/python2.7

export PYTHONHASHSEED=0

export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

4. bash_profile 환경변수 설정

$ vi .bash_profile

# Spark2

export SPARK_HOME=~/dev/Apps/spark-2.1.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

export SPARK_LOCAL_IP=127.0.0.1

5. 설정 후 bash_profile 적용

$ source .bash_profile

6. 버전확인

$ pyspark --version

7. 실행

$ pyspark