가중치 감쇠(Weight decay)1 기계학습에서 자주 사용하는 정규화 기법 - 가중치 감쇠(Weight decay) 가중치 감쇠(Weight decay)는 머신 러닝에서 과적합을 예방하기 위해 손실 함수에 페널티 항을 추가하는 기술입니다. 이 페널티 항은 가중치의 제곱의 합에 비례하는 값으로 계산됩니다. 이 페널티 항은 모델이 큰 가중치 값을 피하도록 유도하여 과적합과 새로운 데이터에 대한 부정확한 일반화를 방지합니다. L2 정규화 또는 L2 규제라고도 알려진 가중치 감쇠에서는 손실 함수에 추가되는 페널티 항을 정의합니다. 이 페널티 항은 정규화 매개변수(람다 또는 알파)와 가중치의 제곱의 합의 곱으로 계산됩니다. 이 항은 원래의 손실 함수에 더해집니다. 정규화 매개변수는 정규화 효과의 강도를 결정하며 일반적으로 실험이나 교차 검증을 통해 결정됩니다. 가중치 감쇠 페널티 항의 효과는 모델이 학습 중에 손실 함수와 정규.. 2023. 8. 2. 이전 1 다음