자체 호스팅
Self-hosting · 입문
AI 모델이나 소프트웨어를 외부 클라우드 업체의 관리형 서비스 대신 사용자가 직접 소유하거나 통제하는 서버·인프라에 설치해 운영하는 방식을 말한다.
민감한 데이터를 외부로 내보낼 수 없는 보안·규제 요구사항이나, 비용 구조와 커스터마이징을 직접 통제하려는 필요성 때문에 클라우드 API 호출 대신 모델을 직접 운영하려는 수요가 생겨났다. 실제로는 오픈소스로 공개된 모델 가중치를 내려받아 사내 서버나 사설 클라우드의 GPU 자원에 올리고, 추론 서버 설정부터 스케일링, 장애 대응, 보안 패치까지 운영 전반을 직접 맡는 방식으로 이루어진다. 금융·의료 분야처럼 데이터 반출이 제한된 기업이 사내망 안에서만 LLM을 돌리려 하거나, 특정 모델을 자사 데이터로 미세조정해 서비스에 녹이려 할 때 이 선택지를 마주하게 된다. 흔히 자체 호스팅이 곧 비용 절감이라고 오해하지만, 하드웨어 구매와 전력, 운영 인력, 장애 대응까지 합치면 관리형 서비스 이용 비용을 넘어서는 경우가 많다.