$N$ 개의 하이퍼 파라미터를 가진 머신러닝 알고리즘을 $\mathcal{A}$ 이라고 하겠습니다. 여러 개의 하이퍼파라미터 중 $n$ 번째의 하이퍼 파라미터를 $\Lambda_n$ 라고 한다면, 전체 하이퍼 파라미터 환경 공간 (hyperparameter configuration space) 는 다음과 같이 정의할 수 있습니다. [\boldsymb...

검증을 스케줄링하여 자동화했지만 해당 작업이 종료했다는 알림을 받는 것도 매우 중요합니다. Great Expectations에서는 이런 알림 푸시를 다양한 방법으로 제공합니다. 본 챕터에서는 작업 완료 알림을 MS Teams 채널로 받는 방법에 대해 알아봅니다. 가장 먼저 MS Teams에서 Great Expectations 알림을 받을 채널을 생성...

이전 포스트에서 알아본 데이터 파이프라인 검증 프로세스를 수동으로 한다면 굳이 Great Expectations를 사용하는 의미가 없습니다. 그래서 스케줄링을 통해 검증 프로세스를 자동화하는데, Cron을 이용하거나 Airflow에 DAG를 만들어서 추가하는 식으로 자동화할 수 있습니다. 본 포스트에서는 가장 간단한 Cron을 이용한 방법을 소개하려고...

Great Expectations 분석 프로젝트를 수행하게 되면 여러 문제를 직면하게 됩니다. 모델을 학습하기 위한 자원이 충분하지 않다거나 결과가 생각처럼 좋지 않다거나 말이죠. 하지만 이런 문제들은 데이터에 대한 충분한 이해와 충분한 시간을 들여서 모델을 운영 환경에 이관하기 전에 해결이 가능합니다. 하지만 운영 이관 후에 발생하는 문제...

Python에서 MySQL 데이터베이스에 연결할 때 일반적으로 pymysql이나 SQLAlchemy를 많이 사용합니다. 편의성과 기능성을 따져보면 SQLAlchemy가 압도적이긴 하지만, 여전히 pymysql도 많이 사용하곤 합니다. 이번에 진행 중인 프로젝트에서도 두 라이브러리를 많이 사용하고 있는데, 데이터베이스 내의 테이블을 쿼리로 조회하는 레거...