코드창고

  • 홈
  • 태그
  • 방명록
코드창고

2025/01/22 1

spark 와 db연동 하기

data base에서 바로 spark로 데이터를 불러오자df2 = spark.read.format("jdbc")\ # jdbc는 maria/ mysql 계열 .option("url", db_url)\ .option("user", "db접근 아이디")\ .option("password", "db패스워드")\ .option("dbtable", "mysql에서는 db이름 psql일때는 스키마의 이름을 쓴다")\ .load() 위의 방식으로 읽거나 혹은 .format 메소드 말고 바로 jdbc 명령어를 사용해서도 읽어 올수 있다.df = spark.read.jdbc(url=db_url, table="테이블 이름", properties=db_properties) 단 이때 mariadb의..

spark 2025.01.22
이전
1
다음
더보기
프로필사진

코드창고

  • 분류 전체보기 (26)
    • python (7)
    • spark (6)
    • pandas (0)
    • celery (0)
    • ubuntu (1)
    • docker (2)
    • architecture (3)
    • DB (1)
    • CS (2)
    • AI (2)
    • 트랜드 (1)

Tag

Python, 개발자탈출, kpop데몬헌터스, off-heap, django, memory, 스타로배우는 코딩, fastapi, restapi, AI, ubuntu, deap learning, image generate, Linux, Clean Architecture, docker, spark, on-heap, stable diffusion, project-tree,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바