본문 바로가기

클라우드 및 인프라177

docker 시스템 정리 prune 도커 시스템 정리 사용하지 않는 데이터를 삭제하고자 한다. docker system prune [OPTIONS] -a, --all : 매달린 이미지 뿐만 아니라 사용되지 않은 이미지를 모두 제거 --filter : 필터값 제공 -f, --force : 확인을 요구하지 않음 --volumes 볼륨정리 도커 이미지 정리 사용하지 않는 이미지를 삭제하고자 한다. 이미지와 연결되어있지 않은 도커 이미지를 정리해준다. docker image prune --all 다음 명령어를 사용하면 경고메세지가 나온다. WARNING! This will remove all images without at least one container associated to them. (경고! 이렇게 하면 컨테이너와 한 개 이상 연결되지.. 2021. 8. 12.
[linux] 리눅스 디스크 용량 확인하기 df df : 디스크 남은 용량 확인 (기본 명령어) df -k : 킬로바이트 단위로 남은 용량 확인 df -m : 메가 바이트 단위로 남은 용량 확인 df -h : 깔끔하게 보여줌 df . : 현재 디렉토리가 포함된 파티션의 남은 용량 확인 du : 현재 디렉토리에서 서브 디렉토리까지 용량 확인 du -a : 현재 디렉토리의 사용량 파일단위로 출력 du -s : 총 사용량 du -h : 깔끔하게 보여줌 du -sh * : 한단계 서브 디렉토리 기준으로 보여줌 2021. 8. 12.
[Docker] Error response from daemon: conflict: unable to delete (must be forced) - image is referenced in multiple repositories -f 옵션으로 강제 종료를 한다. docker rmi -f [이미지 이름] 2021. 8. 12.
touch touch 는 시간 정보를 수정하는 명령어지만 0바이트 파일 생성으로 자주 사용되는 명령어이다. 2021. 8. 12.
리눅스 cp: omitting directory 에러 해결 -r 옵션을 붙이고 해결한다. -r 옵션 : 하위 디렉토리와 파일 모두 복사 cp -r [복사원본] [복사할 위치] 2021. 8. 12.
[aws] Glue 사용법 (데이터 카탈로그) Glue 란 완전 관리형 추출, 변환 및 로드 (ETL) 서비스이다. 여러 데이터 스토어 및 데이터 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동한다. S3 -> Glue -> Glue Studio .데이터베이스 데이터베이스를 생성한다. . 테이블 직접 생성할 수도 있고, 크롤러를 사용해 테이블 추가도 가능하다. . 연결 redshift와 postgresql의 경우 연결해줘야지 사용가능하다. . 크롤러 데이터 스토어에 연결해 우선순위가 지정된 분류자의 목록을 기준으로 데이터의 스키마를 결정한 다음 데이터 카탈로그에 메타데이터 테이블을 생성한다 . 워크플로 트리거에 감시되는 이벤트와 작업을 정의해 워크플로우를 구축한다. . 트리거 워크플로에서 생성된 트리거를 확인할 수 있다. 데이터베이스 생성하기.. 2021. 7. 23.