클라이언트 애플리케이션에서 추론 요청 직후의 처리가 추론 결과에 의존하지 않는 워크플로우인 경우에 비동기 추론 패턴를 사용합니다. 또한 클라이언트와 추론 결과의 출력 위치를 분리하고 싶은 경우나 추론에 시간이 오래 걸려 클라이언트를 오래 기다리게 하고 싶지 않은 경우에 사용합니다. 이전 포스트에서 다루었던 동기 추론 패턴에서는 추론 결과를 기다리는 ...

외부 클라이언트에서 웹 API로 추론 요청이 있을 때 처리하는 방법은 크게 동기 처리와 비동기 처리로 나뉩니다. 시스템의 워크플로우에서 추론 결과가 나올 때까지 다음 단계로 진행이 되지 않는 경우나 워크플로우가 추론 결과에 의존하는 경우 동기 추론 패턴을 사용합니다. 가령 공장의 생산라인에서 제품의 이상을 검출하는 시스템을 생각해보면 조금 쉬운데요....

웹 싱글 패턴은 한 대의 웹 API 서비스에 머신러닝 추론 모델을 포함하는 패턴입니다. 즉 API에 데이터와 함께 요청을 보내면 추론 결과를 얻을 수 있는 단순한 구조를 지향합니다. 따라서 가장 간단한 구성을 통해 추론 모듈을 신속하게 배포해 모델의 성능을 검증하고 싶은 경우에 자주 사용합니다. 웹 싱글 패턴의 아키텍처는 한 대의 서버에서 ...

모델 로드 패턴은 모델을 서버 이미지에 빌트인하지 않고 추론 모듈을 기동할 때 다운로드 받는 방식입니다. 서버 이미지 버전보다 추론 모델의 버전을 더 빈번하게 갱신하는 경우나 동일한 서버 이미지로 여러 종류의 추론 모델 가동이 가능한 경우에 사용합니다. 추론 모델을 자주 빌드하게 된다면 앞선 포스트에서 다룬 모델-인-이미지 패턴을 사용했을 때 서버 ...

모델-인-이미지(Model-in-image) 패턴은 추론 모듈의 이미지에 모델 파일을 포함해서 빌드하는 방식입니다. 일반적으로 서버 이미지와 추론 모델의 버전을 일치시키고 싶을 때, 또는 추론 모델에 개별 서버 이미지를 준비하는 경우에 사용합니다. 추론 모듈을 실행하기 위해서는 서버로 모델을 불러와서 추론이 가능한 상태로 만들어야 합니다. 그런데 추...