유스케이스 모델-인-이미지(Model-in-image) 패턴은 추론 모듈의 이미지에 모델 파일을 포함해서 빌드하는 방식입니다. 일반적으로 서버 이미지와 추론 모델의 버전을 일치시키고 싶을 때, 또는 추론 모델에 개별 서버 이미지를 준비하는 경우에 사용합니다. 추론 모듈을 실행하기 위해서는 서버로 모델을 불러와서 추론이 가능한 상태로 만들어야 합니다...

상황 ML 모델을 운영 환경에 이관할 때 학습 환경과 추론 환경 사이에 차이가 발생하지 않도록 하는 것이 중요합니다. 같은 라이브러리를 사용하더라도 버전에 따라 사용 가능한 클래스나 함수에 차이가 발생하기 때문입니다. 버전 불일치 패턴은 다음과 같은 상황에서 발생합니다. 학습 환경과 추론 환경에서 같은 라이브러리를 사용하고 있으나 라이브러리의...

본 포스트는 How ML Breaks: A Decade of Outages for One Large ML Pipeline의 내용을 요약/정리한 내용을 담고 있습니다. 발표자 정보 Daniel Papasian 2023년 기준 13+년차 ML 시스템 엔지니어 Todd Underwood 2...

유스케이스 ML 모델은 일반적으로 학습한 직후에 추론을 수행하였을 때 그 성능이 가장 좋습니다. 하지만 시간이 흐름에 따라 그 성능이 낮아지는 경우가 잦기 때문에 최신 데이터를 사용하여 모델을 재학습하는 경우가 많습니다. 이때 모델을 재학습하는 주기를 정하는 것도 중요한데 배치 학습 패턴은 ML 모델의 학습을 정기적으로 실행하고 싶은 경우에 사용하게...

시부이 유우스케의 머신러닝 시스템 디자인 패턴 책을 읽으면서 제 업무에 도움이 될만한 디자인 패턴을 정리하여 포스팅합니다. 상황 ML 모델을 개발할 때 주로 하는 일은 데이터 분석과 실험, 그리고 개발입니다. 그리고 ML 모델 개발에서 가장 중요한 요소는 재현성(reproducibility) 입니다. 하지만 ML 엔지니어가 개인 환경에서 개발...