Regularization vs. Normalization

개념	Regularization (규제)	Normalization (정규화)
목적	과적합(Overfitting) 방지	학습 속도 향상 및 안정화
적용 대상	모델의 가중치(Weight)	입력 데이터(Feature)
사용 기법	L1, L2 정규화(Weight Decay), Dropout	Min-Max Scaling, Z-score Scaling
효과	모델이 복잡해지는 것을 방지하여 일반화 성능 향상	입력값의 범위를 일정하게 조정하여 학습을 빠르고 안정적으로 만듦

 

Regularization (규제)

"모델이 너무 복잡해지는 걸 방지하는 기법"
과적합(Overfitting)을 막기 위해 모델의 가중치를 제한하는 방식.

예제:

1. L1 정규화 (Lasso, 가중치 절댓값 패널티)
2. L2 정규화 (Ridge, Weight Decay, 가중치 제곱 패널티)
3. Dropout (랜덤하게 뉴런 비활성화)

 모델이 훈련 데이터에 너무 잘 맞아서 테스트 성능이 떨어질 때 사용.

 

 

 

Normalization (정규화)

"데이터를 일정한 범위로 조정하여 학습을 원활하게 만드는 기법"
데이터의 크기(scale)가 너무 크거나 차이가 심하면 학습이 어려워지기 때문에, 입력값을 정리해 주는 과정.

예제:

1. Min-Max Scaling (0~1 범위로 변환)
2. Z-score Normalization (Standardization) (평균 0, 표준편차 1로 변환)
3. Batch Normalization (딥러닝에서 각 층의 출력을 정규화)

입력값이 서로 다른 범위를 가지거나 너무 크면 학습이 불안정해질 때 사용.

 

 

 

정리 

Regularization → 모델의 가중치를 조정하여 과적합 방지
Normalization → 입력 데이터를 조정하여 학습 속도 및 안정성 향상
Regularization은 모델의 복잡도를 줄이고, Normalization은 데이터 분포를 정리하는 역할