Small Asteroid Blog

[pyspark] union can only be performed on tables with the same number of columns 본문

백엔드/Python

[pyspark] union can only be performed on tables with the same number of columns

작은소행성☄️ 2021. 9. 16. 19:54
728x90

 

 

기본 Spark 동작 union은 표준 SQL 동작이므로 위치별로 일치한다. 

두 DataFrames의 스키마에는 동일한 순서로 동일한 필드가 있는 동일한 필드가 포함되어야 하는데 그러지 않은 경우에 생기는 에러이다.

 

 

컬럼의 개수가 다르거나 이름이 다른지 확인해본다.

 

 

 

 

 

 

728x90
반응형

'백엔드 > Python' 카테고리의 다른 글

[python] python + postgresql 연동하기  (0) 2021.10.28
[python] timestamp 값 년월일로 변환  (0) 2021.10.01
[pyspark] Cannot Call methods on a stopped SparkContext  (0) 2021.09.16
jupyterlab / jupyter-notebook 비밀번호 설정  (0) 2021.06.22
아스키코드 변환하기 ord() / chr()  (0) 2021.06.17
'백엔드/Python' Related Articles more