처리량

처리량은 시스템이 일정 시간 동안 처리할 수 있는 요청 수나 생성 토큰 수를 나타내는 지표를 말한다.

AI 서비스는 동시에 여러 사용자의 요청을 받아 처리해야 하므로, 주어진 자원으로 얼마나 많은 작업을 감당할 수 있는지 알아야 서버 규모와 비용을 계획할 수 있다. 처리량은 보통 초당 요청 수나 초당 생성 토큰 수로 측정하며, 여러 요청을 묶어 한 번에 연산하는 배치 처리나 동시 실행 수를 늘리는 방식으로 끌어올린다. 서비스 용량을 산정하거나 배치 파이프라인의 성능을 튜닝할 때, 또는 서로 다른 배포 방식이 같은 자원으로 얼마나 많은 트래픽을 감당하는지 비교할 때 이 지표를 확인하게 된다. 다만 처리량을 높이려고 배치 크기를 키우면 개별 요청이 처리를 기다리는 시간이 길어져 지연 시간이 늘어날 수 있으므로, 두 지표는 흔히 맞바꿈 관계에 있다는 점에 주의해야 한다.