기본 Spark 동작 union은 표준 SQL 동작이므로 위치별로 일치한다.
두 DataFrames의 스키마에는 동일한 순서로 동일한 필드가 있는 동일한 필드가 포함되어야 하는데 그러지 않은 경우에 생기는 에러이다.
컬럼의 개수가 다르거나 이름이 다른지 확인해본다.
반응형
'백엔드 > Python' 카테고리의 다른 글
| [python] python + postgresql 연동하기 (0) | 2021.10.28 |
|---|---|
| [python] timestamp 값 년월일로 변환 (0) | 2021.10.01 |
| [pyspark] Cannot Call methods on a stopped SparkContext (0) | 2021.09.16 |
| jupyterlab / jupyter-notebook 비밀번호 설정 (0) | 2021.06.22 |
| 아스키코드 변환하기 ord() / chr() (0) | 2021.06.17 |
