모델 837건 · 국산 131 · 가격 674 추적 중
학습

최적화 용어

궁금한 것부터 시작해도 되고, 실무 용어를 찾아봐도 됩니다. 생활 질문에는 정의가 아니라 답을 먼저 씁니다. 모델별 수치는 여기 쓰지 않고 카탈로그에서 확인된 값만 보여줍니다.

게시 용어82
분야19
게시 용어82
중급2
고급4
분야19

최적화 6개 · 전체 보기

중급

2개

양자화최적화Quantization모델의 가중치와 활성값을 32비트나 16비트 부동소수점 대신 더 적은 비트 수의 정수나 저정밀도 형식으로 표현해 모델 크기와 연산량을 줄이는 최적화 기법을 말한다.지식 증류최적화Knowledge Distillation지식 증류는 크고 성능이 뛰어난 교사 모델의 지식을 작고 가벼운 학생 모델에 전달하여, 적은 비용으로 비슷한 성능을 내도록 학습시키는 모델 압축 기법을 말한다.

고급

4개

KV 캐시최적화KV Cache트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.연속 배칭최적화Continuous BatchingLLM 추론 서빙에서 요청이 끝날 때까지 기다리지 않고 매 디코딩 스텝마다 완료된 요청은 배치에서 제거하고 대기 중인 새 요청을 즉시 채워 넣어 GPU 활용률을 극대화하는 배칭 기법을 말한다.추측 디코딩최적화Speculative Decoding작은 초안 모델이 다음에 올 토큰 여러 개를 먼저 예측하면, 크고 정확한 목표 모델이 이를 한 번의 순전파로 검증해 채택하거나 기각함으로써 생성 속도를 높이는 디코딩 기법을 말한다.플래시 어텐션최적화FlashAttention어텐션 연산 시 GPU의 고속 메모리를 최대한 활용하도록 계산 순서를 재구성해, 큰 어텐션 행렬을 저장하지 않고도 정확히 동일한 결과를 더 빠르고 적은 메모리로 얻는 알고리즘을 말한다.