모델 846건 · 국산 132 · 가격 685 추적 중
AI 안전·정렬·평가

AAII 평가 대폭 개편, 구글 1위·오픈AI 약진

AI타임스·2026-10-29

요약

아티피셜 애널리시스가 AI 모델 종합 성능 평가 기준을 대폭 개편하면서 주요 모델의 순위가 바뀌었다. 구글의 '제미나이 4 카본'이 앤트로픽의 '클로드 오퍼스 5.5'를 제치고 1위에 올랐고, 오픈AI의 'GPT-6 아스트라'와 'GPT-6.1 솔'도 상위권으로 올라섰다. 새 평가는 기존 지식·추론 문제 비중을 조정하고 실제 코딩과 과학 연구 수행 능력을 강화했으며, 비공개 데이터 활용 비중을 60%로 높여 모델이 공개 문제를 미리 학습해 점수를 높이는 것을 방지했다.

큐레이터 노트

원문에 없는 맥락입니다

평가 기준 자체를 바꾸면 기존 모델 간 순위도 함께 흔들린다는 점을 보여주는 사례로, 벤치마크 결과는 아티피셜 애널리시스 발표 기준이다.

깊이 읽기

이 기사 한 건이 아니라, 같은 사안을 다룬 이 사이트의 기록을 근거로 정리했습니다

이 일이 어디서 왔나

구글은 10월 28일 '제미나이 4 카본'을 출시하며 아티피셜 애널리시스 평가(v5.0)에서 이미 1위를 기록했다고 자체 발표했는데, 이번 기사는 그 평가 기준 자체가 대폭 바뀌었다는 점을 다룬다. 앞서 10월 23일에는 문샷의 '키미 K3.1 프로'가 같은 평가에서 전체 4위·오픈웨이트 1위에 올랐다고 보도된 바 있고, 10월 20일에는 발스AI가 과학 연구 능력만 따로 측정하는 지수를 내놓아 오픈AI의 'GPT-6 아스트라'를 1위로 꼽는 등 평가 기관과 기준에 따라 순위가 갈리는 흐름이 이어지고 있다.

짚어야 할 점

  • 같은 모델이라도 평가 기준(지식·추론 비중, 코딩·과학 연구 비중, 비공개 데이터 비율)을 바꾸면 순위가 뒤바뀐다는 점이 이번 개편으로 드러났다.
  • 이번 1위 발표는 아티피셜 애널리시스 자체 기준에 따른 것으로, 구글이 10월 28일 자사 발표에서 내세운 '1위' 주장과 같은 근거를 공유한다.
  • 발스AI는 과학 연구 능력만 따로 평가해 GPT-6 아스트라를 1위로 꼽았는데, 이는 일반 업무 수행 능력 평가 순위와 다른 양상을 보였다고 보도된 바 있어, 평가 영역에 따라 선두가 달라질 수 있음을 보여준다.
  • 비공개 데이터 비중을 60%로 높인 것은 모델이 공개 문제를 미리 학습해 점수를 높이는 것을 막기 위한 조치라고 설명됐는데, 이는 평가 체계 자체의 신뢰성 문제가 꾸준히 제기돼 온 맥락과 맞닿아 있다.

아직 확인되지 않은 것

  • 비공개 데이터 비중 확대가 실제로 모델의 사전 학습·오버피팅을 얼마나 줄였는지에 대한 검증 자료는 제시되지 않았다.
  • 새 평가 기준에서 10월 23일 4위로 보도된 '키미 K3.1 프로'나 오픈웨이트 모델들의 순위가 어떻게 바뀌었는지는 확인되지 않았다.
  • 허깅페이스 정책총괄이 지적한 '벤치마크 방법론 자체의 미성숙함' 문제를 이번 개편이 얼마나 해소했는지는 제3자 검증 없이 아티피셜 애널리시스 측 설명에만 의존하고 있어 확인되지 않았다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

구글, 사이버보안 강화한 Gemini 4 Carbon 출시
The Verge AI · 2026-10-28

구글이 프런티어 모델 Gemini 4 Carbon을 공개했다. 코딩, 에이전트형 작업, 사이버보안에서 개선을 이뤘다고 발표했다. Artificial Analysis Intelligence Index(v5.0) 벤치마크에서 1위를 기록했으며 Claude Opus 5.5와 GPT-6 Ast…

셀렉트스타, 디시전 AI '다비' 공개
전자신문 SW · 2026-10-26

AI 스타트업 셀렉트스타가 상황을 분석해 적절한 답을 제시하는 판단 특화 AI 모델 '다비(DAVI)'를 공개했다. 다비는 질문의 난이도를 분석해 적합한 AI 모델을 선택하거나 AI 답변의 적절성을 평가하는 역할을 한다. 또 AI 에이전트의 작업 성공 가능성을 예측하는 데도 활용할 수 …

앵커노드·업스테이지, AI 게임 에셋 벤치마크 공동개발
ZDNet Korea · 2026-10-20

게임 특화 생성형 AI 기업 앵커노드가 업스테이지와 손잡고 AI의 게임 에셋 제작 규격 이해 및 검수 능력을 평가하는 벤치마크를 공동 개발한다. 이번 프로젝트는 서울경제진흥원이 주관하는 'DIP-Spot 오픈이노베이션 in 동작' 협업과제로 진행되며, 업스테이지가 수요기업으로 앵커노드를…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.
학습
학습은 모델이 데이터를 반복적으로 살펴보며 예측 오차를 줄이는 방향으로 내부 파라미터를 조정해 나가는 과정을 말한다.
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →