사전 기본 개념 데이터웨어하우스 정확한 데이터가 모여있는 곳 레포트 분석용 데이터 레이크 상대적으로 Raw한 데이터들이 모여있는 곳 분석에 쓰일 수 있는 데이터면 모두 모아놓음 당장 필요하지 않아도 됨 데이터 마트 데이터레이크와 데이터 웨어하우스에서 목적에 필요한 데이터들을 가져와 구축한 분석용 데이터 1-1 빅데이터의 정착 분산 시스템에 의한 데이터 처리의 고속화 빅데이터의 기술로 가장 먼저 예를 들 수 있는 것은 'Hadoop'과 'Nosql'이다. 전통적인 RDB로는 너무 대량의 데이터는 취급이 불가능하기 때문에 생겨났다. Hadoop '다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템' 즉, 방대한 데이터를 저장하기 위해서 필요한 수많은 컴퓨터들을 관리하는 시스템이다. 분석에 필요한 많은 시..

한국 데이터 엔지니어 모임 줄여서 '한데모'라는 오픈카톡 채팅방이 존재한다. 현업에서 뛰시는 훌륭하신 분들(테스팅님, 통계마당님, 리만님, 소소데엔님, 23-parquet님, 개발새발님 등등..)이 굉장히 많이 계시고 서로 지식이나 이슈 혹은 자료들을 공유하며 진로나 이직에 대해서도 물어보면 조언해주는 아주 좋은 곳이다. 학생 신분으로 데이터 엔지니어링을 독학하는 사람으로써 가뭄의 단비같은 곳이기도 하지만 신입으로 데엔에 취직하기는 하늘에서 별따기라고 하시는 분들이 많아 자신감도 굉장히 떨어지기 때문에 양날의 검 같은 곳이기도 하다.. 한데모에서 다들 입을 모아 칭찬하는 또 읽어야 하는 필독서가 3권정도 있는데 그 중 한 권이 바로 빅지기 즉, 빅데이터를 지탱하는 기술이라는 책이다. 전문적으로 한 툴이나..