파라미터

모델이 학습 과정에서 값을 스스로 조정해 나가는 내부 수치로, 입력을 출력으로 변환하는 계산 방식을 결정하는 요소를 말한다.

신경망은 입력과 출력 사이의 관계를 수많은 가중치와 편향으로 표현하는데, 이 값들이 무작위 상태로는 쓸모 있는 결과를 내지 못하므로 학습을 통해 적절한 값을 찾아야 한다. 학습 과정에서는 모델의 예측과 정답 사이의 오차를 계산하고, 이 오차를 줄이는 방향으로 파라미터 값을 반복적으로 조금씩 갱신한다. 학습이 끝나면 파라미터 값은 고정되며, 이후 추론 단계에서는 이 고정된 값을 그대로 사용해 새로운 입력을 처리한다. 실무에서는 모델 소개 자료나 모델 카드에서 규모를 나타내는 지표로 파라미터 수가 언급될 때, 또는 파인튜닝을 진행하며 전체 파라미터를 학습할지 LoRA처럼 일부 파라미터만 조정할지 결정할 때 이 용어를 접하게 된다. 다만 파라미터는 학습을 통해 자동으로 정해지는 값이고, 학습률이나 배치 크기처럼 사람이 학습 전에 미리 설정하는 하이퍼파라미터와는 다른 개념이므로 혼동하지 않아야 한다.