Elastic Net 회귀

고객 매출을 예측하려고 최근 구매액, 월평균 구매액, 주문횟수, 방문횟수처럼 서로 비슷한 변수 수십 개를 넣었다고 합시다. OLS는 계수가 흔들리고, Lasso는 상관된 변수 중 하나만 남겨 표본이 바뀔 때 선택이 달라질 수 있습니다. Ridge는 안정적이지만 모든 변수를 남깁니다.

Elastic Net은 Lasso의 L1 벌점과 Ridge의 L2 벌점을 함께 사용합니다. 일부 계수를 정확히 0으로 만들 가능성을 유지하면서, 상관된 변수들의 신호를 지나치게 한 변수에 몰지 않도록 조절합니다.

선형회귀의 한 표기는 RSS+λ[αΣ|βⱼ|+(1−α)/2 Σβⱼ²]를 최소화하는 것입니다. RSS는 자료 적합, λ는 전체 벌점 강도, α는 L1과 L2의 혼합 비율입니다.

절편은 보통 벌점에서 제외합니다. 소프트웨어마다 표본 수로 나누는 방식이나 L2의 1/2 계수가 달라 같은 숫자의 λ를 직접 비교할 수 없으므로, 사용한 구현과 매개변수 정의를 보고합니다.

α=0이면 L2만 남아 Ridge와 같고, α=1이면 L1만 남아 Lasso와 같습니다. 0<α<1인 경우가 좁은 의미의 Elastic Net이며 두 성질을 동시에 가집니다.

α가 1에 가까울수록 더 많은 계수가 0이 되는 경향이 있고, 0에 가까울수록 상관된 변수들이 함께 남는 경향이 있습니다. 그러나 실제 희소성은 α뿐 아니라 λ, 자료의 스케일과 상관구조에도 좌우됩니다.

Lasso는 예측정보가 거의 같은 변수 여러 개가 있으면 그중 하나를 선택하고 나머지를 0으로 만들 수 있습니다. 어느 변수가 선택되는지는 표본의 작은 변화에도 달라질 수 있습니다.

Elastic Net의 L2 부분은 상관된 계수들이 비슷하게 움직이도록 돕는 그룹화 경향을 만듭니다. 동시에 L1 부분은 불필요한 변수군이나 약한 변수를 0으로 보낼 수 있습니다. 다만 상관된 변수가 항상 한 그룹으로 함께 선택된다는 보장은 없습니다.

λ=0이면 벌점 없는 회귀이고 λ가 커질수록 계수는 0 쪽으로 이동합니다. 너무 작은 λ는 학습자료의 잡음까지 따라가고, 너무 큰 λ는 실제 신호까지 줄여 과소적합할 수 있습니다.

λ의 후보는 보통 로그 간격의 경로로 만들고, 각 α마다 교차검증 오차가 낮은 λ를 찾습니다. 최적점 하나만 보지 말고 오차곡선이 평평한지와 계수경로가 안정적인지도 봅니다.

연소득은 만 단위, 클릭률은 0~1 범위라면 같은 예측기여를 가진 계수도 숫자 크기가 크게 다릅니다. 표준화 없이 벌점을 주면 단위 때문에 어떤 변수는 더 강하게 축소됩니다.

평균과 표준편차는 전체 자료가 아니라 각 훈련 fold 안에서 계산하고 검증 fold에 적용합니다. 더미변수의 표준화 여부와 절편 처리 방식은 구현에 따라 다르므로 파이프라인 설정을 확인합니다.

먼저 α 후보를 예를 들어 0.1, 0.3, 0.5, 0.7, 0.9로 정하고, 각 α에서 λ 경로를 탐색합니다. k-fold 교차검증의 평균 RMSE·MAE·로그손실 등 목적 지표가 좋은 조합을 선택합니다.

최소오차 조합은 예측성능을 우선합니다. 1-SE 규칙은 최소오차에서 표준오차 하나 이내인 조합 중 더 강한 정규화나 더 단순한 모형을 택하지만, α와 λ가 함께 움직일 때 “더 단순함”의 기준을 사전에 정해야 합니다.

외부 fold는 새 자료 성능을 평가하고, 각 외부 훈련자료 안의 내부 fold에서 α·λ를 선택합니다. 이 중첩 구조는 튜닝 과정까지 포함한 전체 파이프라인의 성능을 평가합니다.

결측 대치, 범주 인코딩, 표준화, 저분산 변수 제거, 특성선택은 모두 fold 안에서 학습해야 합니다. 전체 자료로 전처리한 뒤 교차검증하면 검증 fold의 정보가 훈련에 새어 들어갑니다.

최종 α와 λ만 제시하면 왜 그 모형이 선택되었는지 알기 어렵습니다. 교차검증 오차곡선, 비영 계수 수, 계수경로, 미사용 자료 성능을 함께 보고합니다.

재표본이나 fold마다 선택된 변수가 달라지는지 선택 빈도를 확인합니다. 예측성능이 비슷한 모형 여러 개가 있다면 더 단순하고 측정비용이 낮으며 선택이 안정적인 모형을 선호할 수 있습니다.

결과변수, 예측시점, 후보변수와 평가 지표를 먼저 정의합니다. 시간 자료라면 무작위 fold 대신 과거로 미래를 예측하는 시간분할을 사용하고, 같은 사람의 반복자료가 fold를 넘지 않게 합니다.

선택된 모형은 전체 훈련자료에 다시 적합한 뒤 테스트 자료에서 평가합니다. 배포 후에는 변수 분포 변화, 결측률, 예측오차와 계수 안정성을 모니터링합니다.

고객 1,000명과 예측변수 50개로 OLS, Ridge, Lasso, Elastic Net을 같은 외부 5-fold 평가에서 비교했습니다. 내부 CV에서 Elastic Net은 α=.35와 λ=.18을 선택했습니다.

예측변수가 많고 서로 강하게 상관되며, 완전한 Ridge보다 변수 수를 줄이고 싶을 때 유용합니다. 반대로 변수 수가 적고 계수가 안정적이거나, 명확한 추론이 주목적이라면 복잡한 튜닝의 이득이 작을 수 있습니다.

α를 포함한 추가 튜닝은 계산비용과 선택 불확실성을 늘립니다. Ridge나 Lasso와 성능 차이가 거의 없다면 더 단순한 선택도 합리적입니다. 최종 결정은 예측성능, 변수 측정비용, 설명 가능성, 배포 안정성을 함께 반영합니다.

정규화 계수는 분산을 줄이기 위해 편향을 의도적으로 도입합니다. 선택된 모형에 일반 OLS 표준오차와 p값을 그대로 붙이면 선택과 튜닝의 불확실성을 무시합니다.

한 변수의 계수가 0이라는 것은 현재 표본·전처리·α·λ·상관구조에서 예측상 제외되었다는 뜻입니다. 효과가 존재하지 않거나 중요하지 않다는 증거가 아니며, 상관된 대체변수가 그 신호를 담았을 수 있습니다.

λ를 키우면 전체 축소가 강해지고, 같은 λ에서 α를 높이면 L1 성격과 희소성이 커지는 경향을 확인해 보세요. 실제 계수 변화는 변수 상관과 스케일에 따라 달라지므로 이 실습값은 원리를 보여주는 개념적 지표입니다.

요약은 아래 핵심 정리에서 확인합니다.

• •
  Elastic Net은 L1의 희소성과 L2의 안정성을 하나의 목적함수에서 결합한다.
• •
  λ는 전체 벌점 강도, α는 L1과 L2의 혼합 비율이다.
• •
  상관된 예측변수가 많고 변수 축소도 필요할 때 특히 유용하다.
• •
  표준화와 모든 전처리는 교차검증 fold 안에서 수행한다.
• •
  α와 λ는 함께 튜닝하고 독립 테스트나 중첩 교차검증으로 평가한다.
• •
  검증성능·계수경로·선택 안정성을 함께 보며 선택 변수를 인과원인으로 해석하지 않는다.