분류 전체보기
-
Udemy로 부터 두 개의 강의를 제공 받았다. 이게 2번째 강의인데 사실 처음에는 AWS SAA-003 자격증을 따고자 대차게 신청했으나 결국 시험조차 치지 못했다..(한이음 ICT 멘토링 2개랑 같이 하기 너무 빡세요ㅠㅠ) 그래도 이번에 Infra와 DE 역할을 맡게 되면서(물론 Azure를 쓰긴하지만) 전체적으로 클라우드의 기능을 알아볼 수 있는 좋은 기회라 생각해서 속성으로 들었다. 다들 이 아저씨를 아마 알 거다 사실 이 강의는 내가 후기 좋게 쓸 필요가 없는 명실상부 최고의 강의 중 하나다. 정말 쉽게 잘 알려주시고 강의 퀄리티도 굉장히 높다. 특히 기초적인 부분을 단계단계로 정말 잘 알려주셔서 공부를 하면서 머리에 스토리라인을 그리기 좋다. 실습 안하고 그냥 듣기만 해도 머리 속에서 아키텍..
⌜글또 x Udemy 강의 후기⌟ 【한글자막】 AWS Certified Solutions Architect Associate 시험합격!Udemy로 부터 두 개의 강의를 제공 받았다. 이게 2번째 강의인데 사실 처음에는 AWS SAA-003 자격증을 따고자 대차게 신청했으나 결국 시험조차 치지 못했다..(한이음 ICT 멘토링 2개랑 같이 하기 너무 빡세요ㅠㅠ) 그래도 이번에 Infra와 DE 역할을 맡게 되면서(물론 Azure를 쓰긴하지만) 전체적으로 클라우드의 기능을 알아볼 수 있는 좋은 기회라 생각해서 속성으로 들었다. 다들 이 아저씨를 아마 알 거다 사실 이 강의는 내가 후기 좋게 쓸 필요가 없는 명실상부 최고의 강의 중 하나다. 정말 쉽게 잘 알려주시고 강의 퀄리티도 굉장히 높다. 특히 기초적인 부분을 단계단계로 정말 잘 알려주셔서 공부를 하면서 머리에 스토리라인을 그리기 좋다. 실습 안하고 그냥 듣기만 해도 머리 속에서 아키텍..
2024.04.30 -
이번에 글또 9기에 참여 하먄서 Udemy로부터 강의 쿠폰을 받았다. 강의를 고를 수 있었는데 나는 당시 학교에서 배웠던 Jenkins 수업을 좀 더 고도화하고 싶어 파이프라인 및 Docker를 이용한 Jenkins 와의 CI/CD강의를 골랐다. 커리큘럼내가 이 강의를 고른 이유가 강의 시간이다. Jenkins의 다양한 사용법을 4시간 40분이면 배울 수 있다. 물론 강의를 보며 실습하는것까지 합치면 더 많겠지만 대부분 강의의 러닝 타임이 짧다는 것은 Udemy 최고의 장점이라고 생각한다. 패스트 캠퍼스에서 근무 경력이 있는 사람으로써 강의가 길면 솔직히 부담감으로 다가오는 경향이 있고 그때그때 필요한 부분을 찾아서 듣는 경우도 있다.(그런 경우 설명이 이어지지 않아 충분한 이해를 하지 못하는 경우도 ..
⌜글또 x Udemy 강의 후기⌟ 【한글자막】 DevOps 학습: 파이프라인 및 Docker를 이용한 Jenkins 와의 CI/CD이번에 글또 9기에 참여 하먄서 Udemy로부터 강의 쿠폰을 받았다. 강의를 고를 수 있었는데 나는 당시 학교에서 배웠던 Jenkins 수업을 좀 더 고도화하고 싶어 파이프라인 및 Docker를 이용한 Jenkins 와의 CI/CD강의를 골랐다. 커리큘럼내가 이 강의를 고른 이유가 강의 시간이다. Jenkins의 다양한 사용법을 4시간 40분이면 배울 수 있다. 물론 강의를 보며 실습하는것까지 합치면 더 많겠지만 대부분 강의의 러닝 타임이 짧다는 것은 Udemy 최고의 장점이라고 생각한다. 패스트 캠퍼스에서 근무 경력이 있는 사람으로써 강의가 길면 솔직히 부담감으로 다가오는 경향이 있고 그때그때 필요한 부분을 찾아서 듣는 경우도 있다.(그런 경우 설명이 이어지지 않아 충분한 이해를 하지 못하는 경우도 ..
2024.04.30 -
제목을 보면 이게 무슨 소리인가 싶을 수 있다. 나도 처음 듣고 띠요옹? 했었다. 내가 알고 있는 MongoDB는 BASE(BA: Basically Avaliable) 즉, 가용성과 성능을 중시한 분산 시스템의 특성을 가지고 있고 또한 이 점이 기존에 ACID 특성을 가진 RDBMS와의 차이점이라고 알고 있었다. 더군다나 Mongo DB가 탄생하게 된 배경이 아래와 같은 고민 끝에 탄생한 것을 알았기에 더욱 의아했었다. 대규모 데이터를 처리해야 하는데 RDBMS는 성장 한계가 있구나 일관성과 무결성을 버리고 더 빠른 읽기 성능과 수평확장이 가능한 DB가 필요해! 그럼 어쩌다 제목과 같이 눈이 크게 떠지는 질문을 스스로에서 던졌을까 이번에 대규모 시스템 설계 기초 도서를 공부하면서 CAP이론이라는 것을 처..
뭐? Mongo DB가 가용성을 보장하지 않는다고?제목을 보면 이게 무슨 소리인가 싶을 수 있다. 나도 처음 듣고 띠요옹? 했었다. 내가 알고 있는 MongoDB는 BASE(BA: Basically Avaliable) 즉, 가용성과 성능을 중시한 분산 시스템의 특성을 가지고 있고 또한 이 점이 기존에 ACID 특성을 가진 RDBMS와의 차이점이라고 알고 있었다. 더군다나 Mongo DB가 탄생하게 된 배경이 아래와 같은 고민 끝에 탄생한 것을 알았기에 더욱 의아했었다. 대규모 데이터를 처리해야 하는데 RDBMS는 성장 한계가 있구나 일관성과 무결성을 버리고 더 빠른 읽기 성능과 수평확장이 가능한 DB가 필요해! 그럼 어쩌다 제목과 같이 눈이 크게 떠지는 질문을 스스로에서 던졌을까 이번에 대규모 시스템 설계 기초 도서를 공부하면서 CAP이론이라는 것을 처..
2024.02.18 -
Crawling과 Scraping! 데이터 분야에 발을 담근 사람이라면 안 들어볼 수가 없는 영역이다. 사실 이 두 가지는 '원하는 데이터를 추출한다.'라는 공통 목적을 가진다. 때문에 기술적으로 같이 사용되기도 하고 일반적으로 혼용되지만 엄밀히 말하면 차이가 존재한다. Crawling: 웹상을 돌아다니며 방대한 양의 데이터를 수집한다. 웹 페이지의 링크를 타고 계속해서 탐색하여 html 페이지 및 링크 정보 등을 수집한다. - ex) 파이썬에 대해 알아보고 싶어 -> 파이썬 공식문서 전체 크롤링 Scraping: 정확한 정보를 요구할 때 사용되기에 필요한 데이터만 수집한다. 흩어져있는 데이터를 다양한 패키지를 통해 자동으로 추출하여 전달할 수 있다. - ex) daily 환율가를 수집하고 싶어 -> 증..
다양한 Web Crawling 및 Web Scraping 방법Crawling과 Scraping! 데이터 분야에 발을 담근 사람이라면 안 들어볼 수가 없는 영역이다. 사실 이 두 가지는 '원하는 데이터를 추출한다.'라는 공통 목적을 가진다. 때문에 기술적으로 같이 사용되기도 하고 일반적으로 혼용되지만 엄밀히 말하면 차이가 존재한다. Crawling: 웹상을 돌아다니며 방대한 양의 데이터를 수집한다. 웹 페이지의 링크를 타고 계속해서 탐색하여 html 페이지 및 링크 정보 등을 수집한다. - ex) 파이썬에 대해 알아보고 싶어 -> 파이썬 공식문서 전체 크롤링 Scraping: 정확한 정보를 요구할 때 사용되기에 필요한 데이터만 수집한다. 흩어져있는 데이터를 다양한 패키지를 통해 자동으로 추출하여 전달할 수 있다. - ex) daily 환율가를 수집하고 싶어 -> 증..
2024.01.21 -
아래 글은 옵시디언으로 작성되었습니다. Xcom이란? Cross Communication의 약자로 Airflow DAG 안 ==Task 간 데이터 공유를 위해 사용되는 기술==이다.(Task1의 수행 중 내용이나 결과를 Task2에서 사용 또는 입력으로 주고 싶은 경우) ==주로 작은 규모의 데이터 공유를 위해 사용==되며 Xcom의 내용은 메타 DB의 Xcom 테이블에 값이 저장된다. 만약, 1GB 이상의 대용량 데이터 공유를 위해서는 외부 솔루션을 사용해야 한다.(AWS S3, HDEF 등) Python 오퍼레이터에서 Xcom사용하기 크게 두 가지 방법으로 Xcom 사용이 가능하다. 1) **kwargs에 존재하는 ti(task_instance) 객체 활용 Xcom에 데이터 push @task(tas..
[airflow] - 오퍼레이터 with Xcom아래 글은 옵시디언으로 작성되었습니다. Xcom이란? Cross Communication의 약자로 Airflow DAG 안 ==Task 간 데이터 공유를 위해 사용되는 기술==이다.(Task1의 수행 중 내용이나 결과를 Task2에서 사용 또는 입력으로 주고 싶은 경우) ==주로 작은 규모의 데이터 공유를 위해 사용==되며 Xcom의 내용은 메타 DB의 Xcom 테이블에 값이 저장된다. 만약, 1GB 이상의 대용량 데이터 공유를 위해서는 외부 솔루션을 사용해야 한다.(AWS S3, HDEF 등) Python 오퍼레이터에서 Xcom사용하기 크게 두 가지 방법으로 Xcom 사용이 가능하다. 1) **kwargs에 존재하는 ti(task_instance) 객체 활용 Xcom에 데이터 push @task(tas..
2024.01.01 -
이번에는 macro 변수에 대해서 알아보자 jinja 템플릿 내에서 날짜 연산을 가능하게끔 해주는 기능이다. macro가 있다면 만들지 못하는 날짜가 없다고 한다. 스케쥴러를 잘 다루지 못하면 airflow를 잘 다룬다고 할 수 없는 만큼 날짜 연산은 중요하므로 이번 기회에 잘 포스팅 해보고자 한다. airflow에서 macro란? airflow dags를 구성할때 jinja 템플릿 내에서 날짜 연산을 가능하게끔 해주는 기능이다. macro 변수의 필요성 Dag 스케줄이 매월 말 일에 도는 스케줄인데 Between 값을 전월 마지막일부터 어제 날짜까지 주고 싶을 경우가 있다고 하자 이때 어제 날짜는 스케쥴러가 끝나는 오늘 날부터 하루 전 날짜이므로 아래처럼 식을 구성해야 하는데 그것을 macro가 해준다..
[Airflow] - Macro 변수이번에는 macro 변수에 대해서 알아보자 jinja 템플릿 내에서 날짜 연산을 가능하게끔 해주는 기능이다. macro가 있다면 만들지 못하는 날짜가 없다고 한다. 스케쥴러를 잘 다루지 못하면 airflow를 잘 다룬다고 할 수 없는 만큼 날짜 연산은 중요하므로 이번 기회에 잘 포스팅 해보고자 한다. airflow에서 macro란? airflow dags를 구성할때 jinja 템플릿 내에서 날짜 연산을 가능하게끔 해주는 기능이다. macro 변수의 필요성 Dag 스케줄이 매월 말 일에 도는 스케줄인데 Between 값을 전월 마지막일부터 어제 날짜까지 주고 싶을 경우가 있다고 하자 이때 어제 날짜는 스케쥴러가 끝나는 오늘 날부터 하루 전 날짜이므로 아래처럼 식을 구성해야 하는데 그것을 macro가 해준다..
2023.12.31 -
https://school.programmers.co.kr/learn/courses/30/lessons/42586 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 흠 이번에는 문제를 조금은 빠르게 풀었다. 리스트 컴프리핸션은 분석 때 많이 쓰던 거라 쉬웠는데 문제를 다 풀고 테스트 케이스 11번이 계속 통과가 안 돼서 보니 D를 만들어 주는 과정에서 math.ceil()을 안쓰고 그냥 나눠준 것이 문제였다... 뭔가 계산 방식이 다른 것 같다. ceil을 안 쓰고 푼 다른 사람 풀이를 보니 너무 복잡해서 도무지 이해가 가지 않았다. 또한 이 문제는 내가 푼..
기능 개발https://school.programmers.co.kr/learn/courses/30/lessons/42586 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 흠 이번에는 문제를 조금은 빠르게 풀었다. 리스트 컴프리핸션은 분석 때 많이 쓰던 거라 쉬웠는데 문제를 다 풀고 테스트 케이스 11번이 계속 통과가 안 돼서 보니 D를 만들어 주는 과정에서 math.ceil()을 안쓰고 그냥 나눠준 것이 문제였다... 뭔가 계산 방식이 다른 것 같다. ceil을 안 쓰고 푼 다른 사람 풀이를 보니 너무 복잡해서 도무지 이해가 가지 않았다. 또한 이 문제는 내가 푼..
2023.12.23 -
원래는 ipynb 파일을 html로 바꾸고 html의 소스를 붙여넣어 포스팅을 하려 했으나 생각보다 눈에 잘 들어오지도 않고 왜인지 모르겠지만 코드 출력 결과가 엄청 깨져서 나욌다. 때문에 git Gist를 활용하여 nbviewer을 만들어 링크를 공유하는 방식으로 포스팅을 하려고 한다. 자료구조는 가장 기본적인 것으로 한번 공부할 때 딱 정리하고 나중에는 블라인드 공부법으로 다시 공부하면서 면접 준비처럼 할 생각이다. https://nbviewer.org/gist/StatisticsFox/45145e49b9f3e403412d33262a67c444 Jupyter Notebook Viewer nbviewer.org
자료구조 #1 Array원래는 ipynb 파일을 html로 바꾸고 html의 소스를 붙여넣어 포스팅을 하려 했으나 생각보다 눈에 잘 들어오지도 않고 왜인지 모르겠지만 코드 출력 결과가 엄청 깨져서 나욌다. 때문에 git Gist를 활용하여 nbviewer을 만들어 링크를 공유하는 방식으로 포스팅을 하려고 한다. 자료구조는 가장 기본적인 것으로 한번 공부할 때 딱 정리하고 나중에는 블라인드 공부법으로 다시 공부하면서 면접 준비처럼 할 생각이다. https://nbviewer.org/gist/StatisticsFox/45145e49b9f3e403412d33262a67c444 Jupyter Notebook Viewer nbviewer.org
2023.12.21