프로그래밍 언어/Linux
docker 기반 airflow 설치하기
도커 컨테이너 생성 docker run -it -d --restart always -p 11080:8080 -e LC_ALL=C.UTF-8 -v /home/bsh/docker-temp/airflow:/home/share --name airflow ubuntu:18.04 컨테이너 접속 docker exec -it airflow bash 설치 후 실행 Miniconda3-latest-Linux-x86_64.sh sh Miniconda3-latest-Linux-x86_64.sh docker restart 후 다시 접속한다 gcc를 설치해야한다. apt-get update apt-get install gcc apt-get install nano 그 후 conda를 업데이트하고 airflow를 설치해준다. con..
centos 7 에 htop 설치하기
htop 을 설치하기전에 epel-release를 먼저 설치 후 htop을 설치한다 sudo yum -y update sudo yum -y install epel-release sudo yum -y install htop
“E: Unable to locate package python-pip” on Ubuntu 18.04 [duplicate]
sudo apt-get install -y software-properties-common sudo apt-add-repository universe sudo apt-get update sudo apt-get install -y python3-pip
리눅스 top 명령어 옵션 내용
[시스템의 전반적인 상황 실시간 모니터링] * top [옵션] * 옵션 -a : 메모리 사용에 따라 정렬 -b : 배치 모드에서 시작 -c : 명령어 대신 명령어 라인을 보여줌 -d : 업데이트 간격을 조정 -h : 도움말 -H : 모든 개별 쓰레드가 보여짐 -i : 좀비(zombie) 또는 Idle 상태의 것들은 무시됨 -m : VIRT 대신 USED를 보고 -M : 메모리 유닛(K/M/G)을 보여줌 -n : 반복의 최대 수를 지정 -P : 지정된 프로세스 ID들만 보여줌 -s : 보안 모드로 시작 -S : 누적 시간 모드로 시작. 활성화되면 각 프로세스는 CPU를 사용한 시간과 함께 출력 -u : 지정된 유효 사용자에 의한 프로세스만 보여줌 -U : 지정된 사용자에 의한 프로세스만 보여줌. 사용자는 ..
리눅스 재부팅 이유 -> 리눅스 메모리 오류
회사에서 운영하던 서버에서 분석가 분들이 데이터 전처리 작업을 하시다가 서버가 재부팅 되는 현상이 발생되었다. 그로 인해 확인할 수 있는 오류는 cat /var/log/kern.log 명령어로 확인가능하며 다음과 같은 에러메시지가 나온다는 것을 확인할 수 있었다. + 결론 이 오류메시지는 메모리 사용량이 많아 overflow 되어 서버가 재부팅 되는 것이였다. + 해결 명령어 reboot로는 해결되지 않고 서버의 전원을 내렸다 올리면 메모리가 지워지니 그렇게 해야한다고했다.
리눅스 환경변수 설정 env
ENV USER_EMAIL /home/workspace:$PATH ENV docker 수행 시 환경변수 넘겨주기 docker run -e USER_EMAIL=이메일 docker run -e =
centos7 postgresql 설치하기
1. 필요한 파일 검색 https://www.postgresql.org/download/linux/redhat/ 저장소 설치 sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 2. 설치 가능 패키지 검색 sudo yum list postgres* 3. [root@onypoc ~]# yum install postgresql11-libs.x86_64 postgresql11.x86_64 postgresql11-contrib.x86_64 postgresql11-server.x86_64 4. db생성 sudo /usr/pgsql-11/bin/pos..
[centos6] all mirror URLs are not using ftp, http[s] or file. - yum update
yum 을 사용하는데 다음과 같은 오류가 생겼다. all mirror URLs are not using ftp, http[s] or file. centos bit 확인 $ getconf LONG_BIT 32bit 32Bit : echo "https://vault.centos.org/6.10/os/i386/" > /var/cache/yum/i386/6/base/mirrorlist.txt echo "http://vault.centos.org/6.10/extras/i386/" > /var/cache/yum/i386/6/extras/mirrorlist.txt echo "http://vault.centos.org/6.10/updates/i386/" > /var/cache/yum/i386/6/updates/mirr..
리눅스에서 GPU 사용량 확인하기 nvidia-smi
nvidia-smi 다음 명렁어로 GPU 사용량을 확인할 수 있다. NVIDIA 버전이랑 CUDA버전이 호환이 되어야한다. 위 사진의 경우 11019mib 중에 1mib만 사용하고 있음을 알 수 있다
