레이트 리밋

레이트 리밋은 일정 시간 동안 API나 서비스에 보낼 수 있는 요청 수를 제한하는 장치를 말한다.

서버 자원은 한정되어 있어 한 사용자나 프로그램이 짧은 시간에 너무 많은 요청을 보내면 다른 이용자의 서비스 품질이 떨어지거나 시스템 전체가 과부하로 멈출 수 있다. 이를 막기 위해 분당, 시간당 등 일정 주기마다 허용되는 요청 수나 토큰 양에 상한선을 두고, 이를 넘기면 요청을 거부하거나 지연시킨다. 실무에서는 AI 모델 API를 호출하는 애플리케이션을 개발할 때 호출이 몰리면 오류 응답을 받게 되는데, 이때 응답 코드와 에러 메시지를 확인하면 레이트 리밋에 걸렸다는 사실을 알 수 있다. 이런 상황을 대비해 개발자는 요청 간격을 조절하거나, 실패 시 잠시 기다렸다가 다시 시도하는 로직을 코드에 넣어 안정적으로 서비스를 운영한다. 흔히 오해하는 점은 레이트 리밋이 단순히 악의적인 공격을 막기 위한 것만이 아니라, 정상적인 과다 사용으로부터 시스템을 보호하고 여러 사용자에게 자원을 공평하게 나누기 위한 목적도 크다는 것이다.