본문 바로가기

백엔드/Python59

[python] python db select 문 출력하기 python과 db 를 연결한 내용은 conn 이다. execute 메서드를 호출해 sql명령어를 입력한다. cur = conn.cursor() cur.execute("select * from ptck.news_save ") cr = cur.fetchall() for x in cr: print(x) 함수로 sql 문을 사용하는 방법이다. cur 은 db connect 에 대한 내용이다. 위의 cur = conn.cursor() 로 보면된다. #함수로 필요한 데이터 호출 def readDB(self,schema,table,colum): sql = "select {colum} from {schema}.{table}".format(colum=colum,schema=schema,table=table) try: .. 2021. 10. 28.
[python] python + postgresql 연동하기 python 프로그래밍 언어용 postgresql 어댑터를 설치해준다. pip install psycopg2-binary postgres와 연결하기 위해서는 psycopg2 패키지의 connect이용하면된다. import psycopg2 conn = psycopg2.connect( host = "localhost", port = 5432, dbname = "test", user="root", password="1234") 2021. 10. 28.
[python] timestamp 값 년월일로 변환 초단위로 되어 있는 숫자를 년월일로 보기좋게 변경하고자 한다. import time now = time.time() now 값이 1633047334.6881318 출력이 되는데 이 값을 년월일로 보기좋게 변환하고 싶다. import datetime print(datetime.datetime.fromtimestamp(int('1633047334')).strftime('%Y-%m-%d %H:%M:%S')) print(datetime.datetime.fromtimestamp(float('1633047334.6881318')).strftime('%Y-%m-%d %H:%M:%S,%f')) datetime 모듈 로드 후 변수 값을 int 나 float 로 변환한다. 숫자 변환 값에 datetime 모듈의 함수를 적.. 2021. 10. 1.
[pyspark] union can only be performed on tables with the same number of columns 기본 Spark 동작 union은 표준 SQL 동작이므로 위치별로 일치한다. 두 DataFrames의 스키마에는 동일한 순서로 동일한 필드가 있는 동일한 필드가 포함되어야 하는데 그러지 않은 경우에 생기는 에러이다. 컬럼의 개수가 다르거나 이름이 다른지 확인해본다. 2021. 9. 16.
[pyspark] Cannot Call methods on a stopped SparkContext zeppelin 에서 pyspark를 실행시켰는데 다음 이미지처럼 sparkContext was shut dow 으로 sparkContext가 종료되었다고 나왔다. 해결방법으로는 인터프리터를 재시작하면된다. 제플린 우측 상단에 유저이름 클릭 Interpreter 클릭 Interpreter 중 spark 나 spark2를 찾아 restart 버튼을 누르면된다. restart 를 누르면 스파크 인터프리터가 재시작되며 zeppelin을 다시 실행시키면 정상적으로 결과가 나온다. 2021. 9. 16.
jupyterlab / jupyter-notebook 비밀번호 설정 주피터 노트북과 주피터 랩 둘다 만들어서 사용해야한다. jupyter notebook --generate-config jupyter notebook password jupyter lab --generate-config jupyter lab password /root/.jupyter/jupyter_notebook_config.py jupyter-lab과 jupyter-notebook 동일하다 c.NotebookApp.ip => jupyter-lab 서버 접속IP c.NotebookApp.port => jupyter-lab 서버 접속포트 c.NotebookApp.open_browser => Notebook 실행 시 Browser 자동실행 c.NotebookApp.notebook_dir => 노트북 파일 생성.. 2021. 6. 22.