📄 Li, Lisha, et al. “Hyperband: A novel bandit-based approach to hyperparameter optimization.” The Journal of Machine Learning Research 18.1 (2017): 6765-6816. 들어가며 Successive Halving Algorithm...

📄 Jamieson, Kevin, and Ameet Talwalkar. “Non-stochastic best arm identification and hyperparameter optimization.” Artificial intelligence and statistics. PMLR, 2016. Non-stochastic Best Arm Iden...

들어가며 HPO 문제 정의 $N$ 개의 하이퍼 파라미터를 가진 머신러닝 알고리즘을 $\mathcal{A}$ 이라고 하겠습니다. 여러 개의 하이퍼파라미터 중 $n$ 번째의 하이퍼 파라미터를 $\Lambda_n$ 라고 한다면, 전체 하이퍼 파라미터 환경 공간 (hyperparameter configuration space) 는 다음과 같이 정의할 수 ...

검증을 스케줄링하여 자동화했지만 해당 작업이 종료했다는 알림을 받는 것도 매우 중요합니다. Great Expectations에서는 이런 알림 푸시를 다양한 방법으로 제공합니다. 본 챕터에서는 작업 완료 알림을 MS Teams 채널로 받는 방법에 대해 알아봅니다. 가장 먼저 MS Teams에서 Great Expectations 알림을 받을 채널을 생성...

들어가며 이전 포스트에서 알아본 데이터 파이프라인 검증 프로세스를 수동으로 한다면 굳이 Great Expectations를 사용하는 의미가 없습니다. 그래서 스케줄링을 통해 검증 프로세스를 자동화하는데, Cron을 이용하거나 Airflow에 DAG를 만들어서 추가하는 식으로 자동화할 수 있습니다. 본 포스트에서는 가장 간단한 Cron을 이용한 방법을...