정규화: Ridge·Lasso·Elastic Net

예측변수 100개로 고객 매출을 회귀하면 학습자료에는 거의 완벽히 맞을 수 있습니다. 그러나 표본의 우연한 잡음까지 계수에 담기면 새 고객에서는 오차가 커집니다.

정규화는 예측오차에 계수 크기의 비용을 더해, 자료 적합과 모형 단순성 사이의 균형을 선택합니다.

보통 OLS는 잔차제곱합만 최소화합니다. 정규화 회귀는 RSS+λ×벌점을 최소화해 큰 계수를 축소합니다. 절편은 보통 벌점에서 제외합니다.

Ridge는 λΣβⱼ²를 사용합니다. 큰 계수에 강한 비용을 주고 상관된 변수의 계수를 함께 나누어 축소하는 경향이 있습니다. 대개 정확히 0으로 만들지는 않습니다.

Lasso는 λΣ|βⱼ|를 사용합니다. 절댓값 벌점은 0에서 뾰족하므로 최적해가 정확히 0에 놓일 수 있어 축소와 변수선택을 동시에 수행합니다.

Elastic Net은 α로 L1과 L2의 비율을 정합니다. Lasso의 희소성과 Ridge의 상관 변수 그룹 안정성을 절충합니다.

λ=0이면 벌점 없는 회귀이고 λ가 커질수록 계수가 작아집니다. 최적 λ는 훈련자료 내부의 k-fold 교차검증으로 새 자료 오차가 작은 값을 선택합니다.

λ에 따른 계수 경로는 어떤 변수가 언제 축소·제거되는지 보여줍니다. 최종 평가는 학습 R²보다 검증 RMSE·MAE·R²와 선택 안정성으로 합니다.

훈련·검증을 나눈 뒤 훈련 fold 안에서 결측처리와 표준화를 학습해야 합니다. 전처리를 전체 자료에서 먼저 하면 검증정보가 새어 나갑니다.

고객 1,000명, 예측변수 50개 자료에서 OLS와 세 정규화 모형을 같은 5-fold CV로 비교했습니다.

정규화 계수는 편향을 의도적으로 도입하며 일반 OLS p값을 그대로 붙일 수 없습니다. 변수선택 후 추론과 인과해석에는 별도 절차가 필요합니다.

λ를 키우면 계수 전체가 작아지고 L1 비율을 높이면 더 많은 계수가 정확히 0이 되는 경향을 관찰합니다.

요약은 아래 핵심 정리에서 확인합니다.

• •
  정규화는 예측오차와 계수 크기의 비용을 함께 최소화한다.
• •
  Ridge는 L2로 모든 계수를 안정적으로 축소한다.
• •
  Lasso는 L1로 일부 계수를 정확히 0으로 만든다.
• •
  Elastic Net은 희소성과 상관 변수 안정성을 절충한다.
• •
  변수 표준화와 fold 내부 전처리가 필수적이다.
• •
  λ와 α는 교차검증 및 미사용 자료 성능으로 선택한다.