spark 1.6+ 부터 spark는 StatciMemoryManager에서 UnifiedMemoryManager로 메모리 관리 모델을 바꾸었다 On - heap memory- jvm에서 관리되는 메모리 영역으로 우리가 spark.executor.memory로 정하는 메모리 크기가 할당된다.- GC가 작동되며 GC에 의해 메모리관리가 이루어진다.Spark executor의 메모리 구조보통 스파크의 executor의 메모리는 spark.executor.memory 옵션을 통해 정한다.spark.executor.memory옵션은 executor의 java heap memory의 양을 결정한다. 그럼 이 memory는 어떻게 관리 될까? spark의 oom 그리고 spill data를 막기 위해서 mem..
