유스케이스 웹 싱글 패턴은 한 대의 웹 API 서비스에 머신러닝 추론 모델을 포함하는 패턴입니다. 즉 API에 데이터와 함께 요청을 보내면 추론 결과를 얻을 수 있는 단순한 구조를 지향합니다. 따라서 가장 간단한 구성을 통해 추론 모듈을 신속하게 배포해 모델의 성능을 검증하고 싶은 경우에 자주 사용합니다. 아키텍처 웹 싱글 패턴의 아키텍처는 ...

유스케이스 모델 로드 패턴은 모델을 서버 이미지에 빌트인하지 않고 추론 모듈을 기동할 때 다운로드 받는 방식입니다. 서버 이미지 버전보다 추론 모델의 버전을 더 빈번하게 갱신하는 경우나 동일한 서버 이미지로 여러 종류의 추론 모델 가동이 가능한 경우에 사용합니다. 추론 모델을 자주 빌드하게 된다면 앞선 포스트에서 다룬 모델-인-이미지 패턴을 사...

유스케이스 모델-인-이미지(Model-in-image) 패턴은 추론 모듈의 이미지에 모델 파일을 포함해서 빌드하는 방식입니다. 일반적으로 서버 이미지와 추론 모델의 버전을 일치시키고 싶을 때, 또는 추론 모델에 개별 서버 이미지를 준비하는 경우에 사용합니다. 추론 모듈을 실행하기 위해서는 서버로 모델을 불러와서 추론이 가능한 상태로 만들어야 합...

상황 ML 모델을 운영 환경에 이관할 때 학습 환경과 추론 환경 사이에 차이가 발생하지 않도록 하는 것이 중요합니다. 같은 라이브러리를 사용하더라도 버전에 따라 사용 가능한 클래스나 함수에 차이가 발생하기 때문입니다. 버전 불일치 패턴은 다음과 같은 상황에서 발생합니다. 학습 환경과 추론 환경에서 같은 라이브러리를 사용하고 있으나 라이브러리의...

본 포스트는 How ML Breaks: A Decade of Outages for One Large ML Pipeline의 내용을 요약/정리한 내용을 담고 있습니다. 발표자 정보 Daniel Papasian 2023년 기준 13+년차 ML 시스템 엔지니어 Todd Underwood 2...