AWS, SageMaker서 llama.cpp 기반 의사결정 모델 배포법 공개
요약
AWS가 Amazon SageMaker AI에서 llama.cpp 전용 딥러닝 컨테이너로 텍스트 생성 모델과 의사결정 모델을 배포하는 방법을 블로그로 소개했다. 표준 경로는 OpenAI 호환 채팅 완성 API로 llama-server를 통해 응답을 생성하고, SemIf(이전 명칭 OpenJev) 확장은 답변 토큰을 디코딩하지 않고 선언된 선택지들에 대한 확률을 직접 반환한다. SemIf는 AWS CodeBuild로 빌드한 자식 이미지를 Amazon ECR에 저장해 실행한다. AWS는 공개된 JevBench 231개 과제를 CPU(ml.c6i.8xlarge)와 GPU(ml.g6e.xlarge) 엔드포인트에 각각 보내 비교했으며, GPU가 CPU보다 응답 속도(p50)에서 4.9배, p95에서 32.2배 빠르고 정확도는 두 방식이 비슷했다고 밝혔다.
큐레이터 노트
원문에 없는 맥락입니다
다른 매체는 이렇게 썼다
같은 사안을 다룬 다른 곳의 보도입니다
마이크로소프트가 9일(현지시간) 에이전트의 구조화된 의사결정 작업에 특화한 모델 '마이크로소프트 디시전-1'을 공개했다. 초기 버전은 큐원3.5 모델을 기반으로 구축됐으며, 앞으로 마이크로소프트의 MAI와 오픈AI의 다른 모델로도 확장할 계획이다. 이 모델은 모델 선택, 요청 분류, 작…
리퀴드 AI가 10월 7일(현지시간) 의사결정 모델 'd1' 제품군의 새 모델 'd1-3B'와 'd1-옴니-600M'을 공개했다. 두 모델은 생성 AI처럼 답변을 토큰 단위로 순차 생성하는 대신 입력 상태를 한 번에 연산해 즉각 판단 점수를 반환하는 방식으로 설계됐다. 리퀴드 AI는 '…
리퀴드 AI가 9월 29일(현지시간) 텍스트를 생성하는 대신 미리 정해진 선택지별 확률을 계산하는 AI 모델 'd1'을 출시했다. 일반 LLM처럼 문장으로 답을 만드는 대신, 한 번의 요청으로 각 선택지의 가능성을 산출해 기업의 반복적인 판단 업무 자동화를 목표로 한다. 리퀴드 AI는 …
이 사안의 흐름
같은 주제를 다룬 이 사이트의 기록 — 최신순
- 2026-10-05AWS, SageMaker 추론 최적화하는 코딩 에이전트 스킬 공개AWS ML Blog
- 2026-10-02AWS, SageMaker AI 멀티턴 RL로 검색 에이전트 파인튜닝 소개AWS ML Blog
- 2026-10-01아마존 페이먼츠, 컨텍스추얼 밴딧으로 가입 퍼널 전환율 개선AWS ML Blog
- 2026-09-25AWS, SageMaker서 Qwen3-TTS 음성 복제 모델 배포 지원AWS ML Blog
- 2026-09-22AWS, SageMaker '동시성 스윕'으로 AI 엔드포인트 용량 산정AWS ML Blog
이 글에 나온 말
이 분야 브리핑
여러 매체가 함께 다룬 사안을 한 번에
- AI 운영·관리 도구 잇따라 출시기사 8건
- 국내 기업들, AI 전환·협력 잇따라기사 10건
이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.
같은 분야의 다른 소식
- AWS Bedrock, 동남아 5개국서 GPT-6 크로스리전 지원AWS ML Blog · 2026-10-12
- AWS, 멀티노드 Ray LLM 컨테이너로 추론 단계 분리 지원AWS ML Blog · 2026-10-12
- 래블업, 한국어 LLM 추론 가속 드래프트 모델 공개전자신문 SW · 2026-10-12
- 클로드 코드용 오픈소스 스킬 '아나토미' 공개AI타임스 · 2026-10-12
- Ai2, MoE 학습 효율 높인 오픈소스 프레임워크 공개AI타임스 · 2026-10-12
- 팀뷰어, 'IT 장애 대응 자동화' 기능 추가ZDNet Korea · 2026-10-12