spark 설치

spark 설치하기 (hadoop환경)

설치하고자 하는 hadoop과 spark의 버전을 확인한다. http://spark.apache.org/downloads.html 설치파일 다운하기 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz 압축풀기 tar -zvf spark-3.1.2-bin-hadoop2.7.tgz 디렉토리 이름 변경하기 mv spark-3.1.2-bin-hadoop2.7.tgz/ spark python3와 jupyter로 pyspark를 실행하기 위한 설정 cp conf/spark-env.sh.template conf/spark-env.sh 파이썬에서 pyspark 사용하기 위해 설치 pip install pysp..