고위험 AI

고위험 AI란 사람의 안전, 건강, 기본권에 중대한 영향을 미칠 수 있어 법규상 위험관리, 문서화, 인적 감독 등 별도의 의무를 부과받는 AI 시스템 분류를 말한다.

AI가 채용, 신용평가, 의료진단, 법집행처럼 사람의 삶에 직접 영향을 주는 영역에 쓰이면서, 오류나 편향이 개인에게 되돌리기 어려운 피해로 이어질 수 있어 위험 수준에 따라 규제를 달리할 필요가 생겼다. 이에 규제기관은 AI 시스템의 용도와 적용 분야를 기준으로 위험 등급을 나누고, 고위험으로 분류된 시스템에는 위험관리체계 구축, 데이터 품질 검증, 기술문서 작성, 인간의 감독, 투명성 확보 같은 의무를 부과한다. 실무에서는 채용 스크리닝 도구, 신용평가 모델, 의료기기용 AI 등을 유럽 시장에 출시하려는 팀이 EU AI Act 기준으로 자사 시스템이 고위험에 해당하는지부터 검토하고, 그에 맞는 적합성 평가와 문서화 절차를 준비하는 상황에서 이 개념을 마주하게 된다. 흔한 오해는 고위험 AI가 곧 사용 금지를 뜻한다고 생각하는 것인데, 실제로 금지되는 것은 별도의 '수용 불가능한 위험' 등급이며 고위험 등급은 규정된 의무를 충족하면 계속 사용할 수 있다.