코드창고

분산처리 프레임워크 Spark를 설치하는 법을 알아보자 과정 1. Spark 다운받기 2. linux 환경 변수 및 설정 3. spark 테스트 1. Spark 다운받기 linux에서 스파크를 다운 받기 위해서는 다양한 방법이있다. 1. gui를 사용가능하다면 https://spark.apache.org/downloads.html스파크 공식홈페이지에 접속하여 다운받으면 된다. 2. terminal을 이용하고자 한다면 wget https://dlcdn.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz 명령어를 이용하여 자신의 홈폴더에 다운받도록 하자. 압축풀기 tar -xvf {spark-tgz file} tar 커멘드를 통해 압축을 풀어주자. spark..

sync와 async의 차이는 무엇일까 동기적 코드 (Synchronous code)란? 일반적으로 작성하는 코드는 동기적인 코드다. 그럼 동기적인 코드는 무엇인가 순차적인 실행 Blocking 기반 실행 이렇게 2가지 특징을 가진 코드라 볼수있다. 순차적 실행이란 코드작성 순서대로 위에서 아래로 실행 된다는 의미이며 위의 코드가 실행이 완료되어야 밑에 코드가 실행된단 의미다. blocking이란 코드에서 함수가 작업에 들어갈 때 기존 코드의 흐름(thread)은 정지되고 함수내부의 흐름(thread)으로 진행되게 끔하는 방식이다. 예시 코드1) 동기적 코드이자 blocking 코드 def world(): print("hellow world") if __name__ == "__main__": world(..