코드창고

  • 홈
  • 태그
  • 방명록
코드창고

TIP 1

자주사용되는 spark config

spark.executorEnv.[EnvironmentVariableName] -> 각 executor의 환경 변수를 지정한다. 더보기 주로 사용되는 환경변수 spark.executorEnv.JAVA_HOME -> 자바 홈 디렉토리 설정 spark.executorEnv.PYSPARK_PYTHON -> 파이썬 환경 디렉토리 설정 spark.pyspark.python -> driver와 executor의 Python binary를 설정 (Pyspark용) -> python binary란 python 실행파일이라 생각하면 쉽다. spark.archives -> driver와 executor노드에 공통으로 사용될 파일을 만든다. (archiving) (사용되는 형식은 .jar, .tar.gz, .tgz and ..

spark 2024.02.13
이전
1
다음
더보기
프로필사진

코드창고

  • 분류 전체보기 (22)
    • python (7)
    • spark (6)
    • pandas (0)
    • celery (0)
    • ubuntu (1)
    • docker (2)
    • architecture (3)
    • DB (1)
    • CS (2)

Tag

memory, 외부api, fastapi, off-heap, deap learning, restapi, spark, 스타로배우는 코딩, stable diffusion, Clean Architecture, shard, Python, on-heap, Linux, django, project-tree, ubuntu, image generate, 스타로배우는 oop, docker,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바