공부/Bigdata

[hdfs] copyfromlocal permission denied user=root access=write inode=""

로컬에서 하둡으로 파일을 복사 하려고 했는데 권한이 거절되면서 옮겨지지 않았다. 로컬에서 사용하는 권한과 하둡 해당 파일이 가지고 있는 권한이 다르기 때문에 생기는 오류였다. 빨간색으로 표시되어 있는부분이 write권한이 없는것으로 write권한이 없어서 파일 접근이 되지 않았던 것이다. 파일 권한 변경은 파일 소유자나 슈퍼 유저만 가능하다. 폴더에 모든 권한을 부여해주었다. hdfs dfs -chmod 777 [폴더명]

하둡 종료하기 - no datanode to stop, no nodemanager to stop

하둡이 설치된 경로로 가서 sbin 폴더 아래에서 start-yarn.sh, stop-yarn.sh 혹은 stop-all.sh 를 해주면된다. 처음부터 stop-all.sh을 하지 않는 이유는 master server에서 모든 노드의 HDFS/YARN 데몬을 분리하여 기동,중지를 권장하기 때문이다. 나의 경우 설치된 경로는 /home/hadoop/hadoop-2.7.7/sbin stop 을 했는데 no datanode to stop , no nodemanager to stop 이 나오면서 정지할 노드가 없다고 한다 jps를 통해 3가지만 남기고 다 지웁니다. kill 명령어를 통해 pid를 지우면 datanode가 지워진 것을 확인할 수 있습니다. kill -9 PID 나머지도 지워줍니다. 완료하면 ht..

[spark] spylon-kernel 설치 및 확인

pip 커널에 설치 후 python3 커널에 추가한다 pip3 install spylon-kernel python3 -m spylon_kernel install kernelspec 로 커널에 추가가 잘 되었는지 확인한다 jupyter kernelspec list

spark 설치하기 (hadoop환경)

설치하고자 하는 hadoop과 spark의 버전을 확인한다. http://spark.apache.org/downloads.html 설치파일 다운하기 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz 압축풀기 tar -zvf spark-3.1.2-bin-hadoop2.7.tgz 디렉토리 이름 변경하기 mv spark-3.1.2-bin-hadoop2.7.tgz/ spark python3와 jupyter로 pyspark를 실행하기 위한 설정 cp conf/spark-env.sh.template conf/spark-env.sh 파이썬에서 pyspark 사용하기 위해 설치 pip install pysp..

KSB BeeAI, Azure machine learning, kubeflow 특징

KSB BeeAI, Azure machine learning, kubeflow 특징 KSB BeeAI Azure Machine Learning Kubeflow 지속성 SW/Data/Analytics/경험 등 기업의 데이터를 활용한 인공지능 기술력 내재화 가능 On-premise/cloud 제한 없이 배포 지원 재활용성 워크플로우 재활용 및 공유 기능 제공 •모델을 웹 서비스로 배포 •Docker 이미지가 생성되어 Azure Container Registry에 저장 •Git 및 MLFlow 같은 오픈 소스 도구와 통합 kubernetes 오픈소스 생태계에 있는 툴을 가져와 쓸 수 있게 만들어져 있음 확장성 개발자 API를 이용한 Third party 컴퍼넌트 개발 및 등록 인터페이스 제공 •R 및 Pyth..