[pyspark] union can only be performed on tables with the same number of columns

 

 

기본 Spark 동작 union은 표준 SQL 동작이므로 위치별로 일치한다. 

두 DataFrames의 스키마에는 동일한 순서로 동일한 필드가 있는 동일한 필드가 포함되어야 하는데 그러지 않은 경우에 생기는 에러이다.

 

 

컬럼의 개수가 다르거나 이름이 다른지 확인해본다.