코드창고

linux 터미널을 처음 접할때 너무 심심한 경향이 있다. 아래의 코드를 자신의 home directory의 .bashrc혹은 bash_history에 넣으면 터미널의 color와 command를 실행 했으때마다 "--------" 점선으로 block을 구분해주고 실행 시간을 표기해 준다! # Fill with minuses # (this is recalculated every time the prompt is shown in function prompt_command): fill="--- " reset_style='\[\033[00m\]' status_style=$reset_style'\[\033[0;90m\]' # gray color; use 0;37m for lighter color prompt_s..

분산처리 프레임워크 Spark를 설치하는 법을 알아보자 과정 1. Spark 다운받기 2. linux 환경 변수 및 설정 3. spark 테스트 1. Spark 다운받기 linux에서 스파크를 다운 받기 위해서는 다양한 방법이있다. 1. gui를 사용가능하다면 https://spark.apache.org/downloads.html스파크 공식홈페이지에 접속하여 다운받으면 된다. 2. terminal을 이용하고자 한다면 wget https://dlcdn.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz 명령어를 이용하여 자신의 홈폴더에 다운받도록 하자. 압축풀기 tar -xvf {spark-tgz file} tar 커멘드를 통해 압축을 풀어주자. spark..

sync와 async의 차이는 무엇일까 동기적 코드 (Synchronous code)란? 일반적으로 작성하는 코드는 동기적인 코드다. 그럼 동기적인 코드는 무엇인가 순차적인 실행 Blocking 기반 실행 이렇게 2가지 특징을 가진 코드라 볼수있다. 순차적 실행이란 코드작성 순서대로 위에서 아래로 실행 된다는 의미이며 위의 코드가 실행이 완료되어야 밑에 코드가 실행된단 의미다. blocking이란 코드에서 함수가 작업에 들어갈 때 기존 코드의 흐름(thread)은 정지되고 함수내부의 흐름(thread)으로 진행되게 끔하는 방식이다. 예시 코드1) 동기적 코드이자 blocking 코드 def world(): print("hellow world") if __name__ == "__main__": world(..