기계학습에서 자주 사용하는 정규화 기법 - 가중치 감쇠(Weight decay)

 

 

가중치 감쇠(Weight decay)는 머신 러닝에서 과적합을 예방하기 위해 손실 함수에 페널티 항을 추가하는 기술입니다. 이 페널티 항은 가중치의 제곱의 합에 비례하는 값으로 계산됩니다. 이 페널티 항은 모델이 큰 가중치 값을 피하도록 유도하여 과적합과 새로운 데이터에 대한 부정확한 일반화를 방지합니다.

L2 정규화 또는 L2 규제라고도 알려진 가중치 감쇠에서는 손실 함수에 추가되는 페널티 항을 정의합니다. 이 페널티 항은 정규화 매개변수(람다 또는 알파)와 가중치의 제곱의 합의 곱으로 계산됩니다. 이 항은 원래의 손실 함수에 더해집니다. 정규화 매개변수는 정규화 효과의 강도를 결정하며 일반적으로 실험이나 교차 검증을 통해 결정됩니다.

가중치 감쇠 페널티 항의 효과는 모델이 학습 중에 손실 함수와 정규화 항을 모두 최소화하도록 유도하는 것입니다. 이를 통해 모델은 학습 데이터에 잘 맞으면서도 가중치 값을 작게 유지하는 균형을 찾도록 됩니다. 결과적으로, 모델은 학습 데이터에 대해 과적합되지 않으며 새로운 데이터에 대해 더 좋은 일반화 성능을 발휘합니다.

예를 들어보겠습니다. 하나의 입력 특성 x와 가중치 파라미터 w로 구성된 간단한 선형 회귀 모델이 있다고 가정해봅시다. 목표는 x에 기반하여 y라는 대상 변수를 예측하는 것입니다. 이 모델은 학습 중에 평균 제곱 오차(MSE) 손실 함수를 최소화하려고 시도합니다.

가중치 감쇠가 없는 경우, 손실 함수는 다음과 같습니다:
손실 = MSE(실제 y, 예측 y)

가중치 감쇠가 있는 경우, 손실 함수에는 정규화 매개변수와 가중치의 제곱의 합을 곱한 항이 더해집니다:
손실 = MSE(실제 y, 예측 y) + 람다 * 합(w^2)

학습 과정에서 모델은 손실 함수를 최소화하기 위해 가중치를 조정합니다. 가중치 감쇠 페널티 항의 존재로 인해 모델은 학습 데이터에 대해 손실을 최소화하는 가중치 값을 찾기만 하는 것이 아니라 가중치 값이 크게 되는 것을 피하도록 유도됩니다.

가중치 감쇠를 사용함으로써 모델은 더 단순하고 매끄러운 가중치 구성을 사용하도록 장려받습니다. 이는 가중치의 제곱의 합이 작아지게 됩니다. 이를 통해 과적합을 방지할 수 있으며 학습 데이터에 덜 의존하며 안정적이고 정확한 예측을 할 수 있게 됩니다.