작삼심일의 블로그

"한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 현대 사회에서 데이터 분석은 빼놓을 수 없다. 일상생활에서도 같은 물건을 구매하기 위해서 수많은 오픈 마켓을 돌아다니거나, 주식 차트를 보며 기영이를 찾는 과정 등 많은 활동들이 데이터 분석 과정 들이다. 물론 본격적인 데이터 분석은 눈으로 훑어보는 수준을 넘어서 아주 많은 정보들을 통해 합리적인 판단을 내릴 수 있도록 정제하고 종합하는 과정이다. 간단한 데이터들은 메모장에 정리할 수 도 있지만, 복잡하거나 아주 많은 양의 데이터를 손쉽게 다루기 위해서는 도구가 필요하다. 데이터 분석을 위한 도구들은 다양하게 존재하는데 대표적으로는 프로그래밍 언어인 파이썬과 R이 많이 사용되고, 상용 프로그램으로는 엑셀 등 이 있다. 이 중에서 파이썬의 경우..

"한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 지금 우리는 그야말로 데이터가 넘치는 시대에 살고 있다. 핸드폰이나 태블릿, 스마트 워치와 같은 전자기기들은 우리의 정보를 실시간으로 기록하고 있고, 인터넷은 우리가 선택한 모든 것을 '로그'로 수집하고 있다. 대체로 이런 데이터들은 매우 단순한 몇 가지 정보만 담고 있어 하나의 데이터는 전혀 가치가 없어 보인다. 하지만, 이런 기록들이 쌓여가기 시작해 통계적인 의미를 갖기 시작한다면 쓸모없어 보이던 데이터 저장소는 그야말로 금광이 되어 버린다. 최신 아이폰에선 실시간으로 관측되는 데이터를 통해 차량 사고를 감지하기도 하고, 수 많은 온라인 쇼핑몰은 몇 번 클릭을 하지도 않은 것 같은데 나의 취향에 맞는 수많은 상품들을 진열해 놓기도 한다. ..

Jupyter notebook에서 multiprocessing 하기!¶주피터 노트북(Jupyter notebook)상에서 멀티 프로세싱(multiprocessing)을 활용하기 위해서는 실제 작업할 함수를 외부 모듈(즉, *.py)로 만들어야 한다. 아래 예제의 경우 1.1은 노트북 상에 함수를 선언하고, 해당 함수를 통해 pool에 넣어주면 더 이상 실행되지 않고 멈춰있게 된다. 하지만 1.2의 경우처럼 사용하고자 하는 함수를 외부에 만들어 놓고 불러오면(import하면) 제대로 작동하게 된다. In [9]: from IPython.display import Image Image("./file_tree.png") Out[9]: 잘 안되는 경우¶ In [2]: from multiprocessing imp..