검증을 스케줄링하여 자동화했지만 해당 작업이 종료했다는 알림을 받는 것도 매우 중요합니다. Great Expectations에서는 이런 알림 푸시를 다양한 방법으로 제공합니다. 본 챕터에서는 작업 완료 알림을 MS Teams 채널로 받는 방법에 대해 알아봅니다. 가장 먼저 MS Teams에서 Great Expectations 알림을 받을 채널을 생성...

들어가며 이전 포스트에서 알아본 데이터 파이프라인 검증 프로세스를 수동으로 한다면 굳이 Great Expectations를 사용하는 의미가 없습니다. 그래서 스케줄링을 통해 검증 프로세스를 자동화하는데, Cron을 이용하거나 Airflow에 DAG를 만들어서 추가하는 식으로 자동화할 수 있습니다. 본 포스트에서는 가장 간단한 Cron을 이용한 방법을...

0. 들어가며 0.1 Motivation Great Expectations 분석 프로젝트를 수행하게 되면 여러 문제를 직면하게 됩니다. 모델을 학습하기 위한 자원이 충분하지 않다거나 결과가 생각처럼 좋지 않다거나 말이죠. 하지만 이런 문제들은 데이터에 대한 충분한 이해와 충분한 시간을 들여서 모델을 운영 환경에 이관...

들어가며 Python에서 MySQL 데이터베이스에 연결할 때 일반적으로 pymysql이나 SQLAlchemy를 많이 사용합니다. 편의성과 기능성을 따져보면 SQLAlchemy가 압도적이긴 하지만, 여전히 pymysql도 많이 사용하곤 합니다. 이번에 진행 중인 프로젝트에서도 두 라이브러리를 많이 사용하고 있는데, 데이터베이스 내의 테이블을 쿼리로 조...

본 포스트의 내용은 Christoph Molnar의 Interpretable Machine Learning (IML)에 수록된 내용을 요약/정리한 것입니다. 더 자세한 내용은 해당 책을 참고하시기 바랍니다. Definition 2017년에 발표된 SHAP(SHapley Additive exPlanations)은 게임 이론적으로 최적화한 Shaple...