모델 819건 · 국산 131 · 가격 656 추적 중
파운데이션 모델·LLM

프린스턴대, '순환 루프 변환기(RLT)' 아키텍처 공개

AI타임스·2026-09-14

요약

프린스턴대학 연구진이 대형언어모델의 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처 '순환 루프 변환기(RLT)'를 알파카이브를 통해 공개했다. 이 아키텍처는 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계의 첫 입력으로 전달하도록 설계됐다. 기존 디코더 전용 LLM은 이전 토큰 정보를 KV 캐시에 저장해 어텐션으로 재참조할 뿐, 마지막 계산 결과를 다음 단계에 직결하지는 않았다.

큐레이터 노트

원문에 없는 맥락입니다

기존 어텐션 방식이 과거 토큰을 '참조'하는 데 그쳤다면, 이번 제안은 직전 계산 결과 자체를 다음 단계의 입력으로 넘긴다는 점에서 구조적 차이가 있다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

카카오, LLM 학습·경량화 연구 성과 COLM서 발표
전자신문 SW · 2026-10-08

카카오가 언어모델링 국제 학회 'COLM 2026'에서 대규모 전문가 혼합(MoE) 모델의 학습 효율을 높이는 기술과, 모델 크기를 줄이면서도 성능을 개선하는 경량화 기술을 발표했다고 8일 밝혔다. 이는 고성능 언어모델 개발에 필요한 자원을 효율적으로 활용하기 위한 연구 결과다. COL…

미스트랄, 1조 매개변수 모델 '르 총크' 공개
바이라인네트워크 · 2026-10-07

유럽 AI 기업 미스트랄이 매개변수 1조개, 활성 매개변수 490억개를 가진 네이티브 멀티모달 모델을 공개했다. 공식 명칭은 '르 총크(Le Chonk)'이며 모델명은 미스트랄 라지4(ML4)다. 오랜만에 나온 유럽계 오픈웨이트 대형언어모델이라는 점에서 주목받았다. 다만 중국계 오픈웨이…

SK엠앤서비스, 복지몰에 자체 개발 AI 리뷰 요약 적용
전자신문 SW · 2026-10-02

SK엠앤서비스가 운영하는 임직원 복지몰 베네피아에 자체 개발한 'AI 요약 서비스'가 처음으로 적용됐다. 이 서비스는 대규모 언어모델(LLM)로 축적된 리뷰 데이터를 분석해 새로운 리뷰 탐색 경험을 제공한다. 핵심 기능인 'AI 자연어 문단 요약'은 단순 문장 발췌가 아니라 10건 이상…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
트랜스포머
트랜스포머는 입력 시퀀스의 모든 토큰 쌍 사이의 관계를 어텐션 메커니즘으로 직접 계산하여 문맥을 파악하는 신경망 아키텍처를 말한다.
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
어텐션
입력의 각 요소가 출력을 생성하는 데 얼마나 중요한지를 계산해 가중치를 부여하는 신경망 메커니즘을 말한다.
토큰
언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →