Small Asteroid Blog

nohup로 실행하면 hang-up signal이 와도 동작하기 때문에 터미널 연결이 끊어져도 실행을 멈추지 않는다 &는 백그라운드로 실행한다는 의미로 기본적으로 nohup가 아닐 경우 터미널이 끊어지면 실행도 끊어진다. nohup [프로세스] & nohup 를 통해 작업이 실행되는 동안 나타나는 메시지는 nohup.out 파일에 저장된다. rail 명령어로 nohup.out 파일에 저장되고 있는 메시지들을 확인할 수 있다. 종료는 ctrl+c로 할 수 있다. tail -f nohup.out cat nohup.out 프로세스가 잘 실행되고 있는지 jobs 명령어로 확인한다. 프로세스 종료는 kill 명령어를 사용한다 작업번호 앞에 %를 꼭 붙여 사용해야한다 netstat -tnlp #kill -9 %작업..

설치하고자 하는 hadoop과 spark의 버전을 확인한다. http://spark.apache.org/downloads.html 설치파일 다운하기 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz 압축풀기 tar -zvf spark-3.1.2-bin-hadoop2.7.tgz 디렉토리 이름 변경하기 mv spark-3.1.2-bin-hadoop2.7.tgz/ spark python3와 jupyter로 pyspark를 실행하기 위한 설정 cp conf/spark-env.sh.template conf/spark-env.sh 파이썬에서 pyspark 사용하기 위해 설치 pip install pysp..

spark 버전 spark-submit --version 하둡버전 hadoop version 자바 버전 java -verion pip 버전 pip --version pip -V

airflow 설치 후 webserver 를 실행하면 다음과 같은 경고를 만나게 되었다. WARNING: No user yet created, use flask fab command to do it. command창에 다음과 같은 명령어를 입력해주고 username, email, password 를 적어주면 된다. FLASK_APP=airflow.www.app flask fab create-admin user 추가 후 웹서버를 다시 실행하면 접속이 잘되는 것을 확인할 수 있다. airflow webserver -p 8080

ord() : 특정한 한 문자를 아스키코드로 변환해준다. chr() : 아스키 코드를 문자로 변환해준다.(10진수, 16진수 가능) A 는 65 Z 는 90 a 는 97 z 는 122 이다 ord() 에는 한 개의 문자만 사용 가능하다

도커 컨테이너 생성 docker run -it -d --restart always -p 11080:8080 -e LC_ALL=C.UTF-8 -v /home/bsh/docker-temp/airflow:/home/share --name airflow ubuntu:18.04 컨테이너 접속 docker exec -it airflow bash 설치 후 실행 Miniconda3-latest-Linux-x86_64.sh sh Miniconda3-latest-Linux-x86_64.sh docker restart 후 다시 접속한다 gcc를 설치해야한다. apt-get update apt-get install gcc apt-get install nano 그 후 conda를 업데이트하고 airflow를 설치해준다. con..