빅데이터를 지탱하는 기술

  한국 데이터 엔지니어 모임 줄여서 '한데모'라는 오픈카톡 채팅방이 존재한다. 현업에서 뛰시는 훌륭하신 분들(테스팅님, 통계마당님, 리만님, 소소데엔님, 23-parquet님, 개발새발님 등등..)이 굉장히 많이 계시고 서로 지식이나 이슈 혹은 자료들을 공유하며 진로나 이직에 대해서도 물어보면 조언해주는 아주 좋은 곳이다. 학생 신분으로 데이터 엔지니어링을 독학하는 사람으로써 가뭄의 단비같은 곳이기도 하지만 신입으로 데엔에 취직하기는 하늘에서 별따기라고 하시는 분들이 많아 자신감도 굉장히 떨어지기 때문에 양날의 검 같은 곳이기도 하다..

 

  한데모에서 다들 입을 모아 칭찬하는 또 읽어야 하는 필독서가 3권정도 있는데 그 중 한 권이 바로 빅지기 즉, 빅데이터를 지탱하는 기술이라는 책이다. 전문적으로 한 툴이나 개념에 대해서 파고드는 책은 아니지만 하둡과 같은 데이터 처리 툴 등에 댜한 컨셉을 대략적으로 이해할 수 있고 빅데이터 탐색, 축적, 파이프라인, 분산 처리 등 다양한 개념과 용어를 익힐 수 있는 책이다. 책이야 한번 읽으면 무조건 까먹기 때문에 해당 책을 읽고 내용을 대략적으로 정리해 블로그에 내용을 기술하기로 하였다.

 

나는 통계학과에 재학중인 비전공자로(물론 융합데이터공학을 복수전공 하고 있긴 하지만) 전체적으로 용어에 대한 생소함을 아직 떨쳐내지 못했고 cs지식도 부족한 편이다. 때문에 프로젝트나 소스코드 공부도 중요하지만 cs 기초지식 컴퓨터 구조나 네트워크 지식 등을 쌓아야만 한다. 이 책을 통해 조금이라도 그런 지식을 보충해 보고자 한다.