모델 서빙

학습이 끝난 머신러닝 모델을 실제 서비스 환경에 배포하여, 들어오는 요청을 받아 추론 결과를 반환할 수 있도록 운영하는 과정을 말한다.

학습된 모델은 그 자체로는 파일에 불과하며, 애플리케이션이 이를 실제로 활용하려면 안정적으로 요청을 받아 처리하고 결과를 돌려주는 시스템이 별도로 필요하다. 모델 서빙 시스템은 모델을 메모리나 가속기에 올린 뒤 API 형태로 노출하고, 여러 요청을 묶어 한 번에 처리하는 배치 처리, 여러 인스턴스로 부하를 나누는 분산 처리, 트래픽 변화에 따라 인스턴스 수를 늘리고 줄이는 오토스케일링 등의 기능을 포함한다. 예를 들어 챗봇 서비스가 트래픽이 몰릴 때도 지연 없이 응답하도록 여러 GPU 인스턴스에 로드 밸런서를 두거나, 새로 학습한 모델을 일부 사용자에게만 먼저 노출하는 카나리 배포를 구성할 때 모델 서빙 인프라를 설계하게 된다. 모델을 교체하거나 롤백할 때 서비스 중단 없이 무중단으로 전환하는 것도 이 영역에서 다루는 문제다. 모델을 API 뒤에 두기만 하면 끝이라고 여기기 쉽지만, 실제로는 지연시간·처리량·비용 사이의 균형을 맞추기 위해 배치 크기, 하드웨어 선택, 캐싱 전략을 계속 조정해야 한다.