학습
학습 용어
궁금한 것부터 시작해도 되고, 실무 용어를 찾아봐도 됩니다. 생활 질문에는 정의가 아니라 답을 먼저 씁니다. 모델별 수치는 여기 쓰지 않고 카탈로그에서 확인된 값만 보여줍니다.
게시 용어82
분야19
게시 용어82
중급1
고급5
분야19
학습 6개 · 전체 보기
중급
1개
고급
5개
LoRA학습LoRA (Low-Rank Adaptation)LoRA(Low-Rank Adaptation)는 대형 신경망의 원래 가중치는 고정한 채, 작은 저랭크 행렬 쌍을 추가로 학습시켜 모델을 특정 작업에 맞게 미세조정하는 기법을 말한다.모델 붕괴학습Model Collapse모델이 생성한 데이터를 다음 세대 모델의 학습 데이터로 반복 사용할 때, 데이터의 다양성과 희귀한 패턴이 세대를 거듭할수록 소실되어 모델 성능이 점진적으로 저하되는 현상을 말한다.사전학습학습Pretraining사전학습은 특정 작업에 맞춰 조정되기 전에, 대량의 텍스트나 데이터로부터 언어와 세계에 대한 일반적인 패턴을 모델이 스스로 학습하는 과정을 말한다.스케일링 법칙학습Scaling Law모델 파라미터 수, 학습 데이터 양, 연산량(컴퓨트)을 늘릴수록 손실(loss)이 일정한 규칙, 주로 멱법칙(power law)을 따라 예측 가능하게 줄어드는 경험적 관계를 말한다.합성 데이터학습Synthetic Data실제 세계에서 수집한 데이터 대신 알고리즘, 시뮬레이션, 또는 다른 모델을 이용해 인공적으로 생성한 데이터로, 모델 학습이나 평가에 실제 데이터를 대체하거나 보완하는 용도로 쓰인다.