규제회귀분석

고객의 구매 금액을 예측하기 위해 연령, 소득, 방문 횟수, 구매 빈도, 할인 쿠폰 사용 여부 등 여러 변수를 사용한다고 가정해 보겠습니다. 분석에 사용하는 변수가 많아질수록 더 정확한 예측이 가능할까요?

반드시 그렇지는 않습니다. 실제로는 중요하지 않은 변수까지 모형에 포함되거나 서로 비슷한 정보를 가진 변수들이 많아지면서 새로운 데이터에 대한 예측 성능이 떨어질 수 있습니다. 이처럼 모형이 학습 데이터에 지나치게 맞춰지는 문제를 과적합(Overfitting)이라고 합니다.

과적합을 줄이고 모형의 복잡도를 조절하기 위해 사용하는 대표적인 방법이 규제회귀분석(Regularized Regression)입니다.

규제회귀분석은 일반적인 회귀분석에 회귀계수의 크기를 제한하는 규제(Regularization)를 추가하여 모형이 지나치게 복잡해지는 것을 방지하는 방법입니다. 대표적으로 릿지 회귀(Ridge Regression), 라쏘 회귀(Lasso Regression), 엘라스틱넷 회귀(Elastic Net Regression)가 있습니다.

이번 글에서는 규제회귀분석의 기본 개념부터 과적합과 다중공선성, 세 가지 주요 분석 방법, 실제 분석 사례, 규제 강도 설정, 결과를 해석할 때 주의해야 할 점까지 살펴보겠습니다.

일반적인 선형회귀분석은 관측값과 예측값 사이의 오차를 최소화하도록 회귀계수를 추정합니다. 하지만 독립변수가 많거나 서로 높은 상관관계를 가지고 있다면 회귀계수가 불안정해지고 새로운 데이터에서 예측 성능이 낮아질 수 있습니다.

규제회귀분석은 이러한 문제를 줄이기 위해 회귀계수가 지나치게 커지는 것을 제한합니다.

예를 들어 고객의 구매 금액을 예측하기 위해 30개의 변수를 사용하는 상황을 생각해 보겠습니다. 일부 변수는 구매 금액과 밀접한 관계가 있지만, 다른 변수들은 거의 관련이 없거나 서로 중복된 정보를 담고 있을 수 있습니다.

일반적인 회귀분석에서는 이러한 변수들을 모두 포함한 상태에서 회귀계수를 추정합니다. 반면 규제회귀분석은 계수의 크기를 줄이거나 일부 계수를 0으로 만들어 모형을 단순화할 수 있습니다. 이를 통해 학습 데이터에 지나치게 맞춰지는 문제를 줄이고 새로운 데이터에서의 예측 성능을 개선할 수 있습니다.

다만 규제회귀분석을 사용한다고 해서 모든 경우에 예측 성능이 향상되는 것은 아닙니다. 규제 강도와 데이터의 특성에 따라 결과가 달라집니다.

규제회귀분석은 왜 필요한가요?

규제회귀분석이 필요한 대표적인 이유는 과적합과 다중공선성 문제입니다.

과적합(Overfitting)

과적합은 모형이 학습 데이터의 일반적인 패턴뿐 아니라 우연한 변동이나 잡음까지 학습하는 현상입니다.

예를 들어 고객 100명의 구매 데이터를 이용하여 50개의 변수를 포함한 회귀모형을 만들었다고 가정해 보겠습니다. 이 모형은 학습 데이터에서는 매우 높은 설명력을 보일 수 있지만, 새로운 고객의 구매 금액을 예측할 때는 성능이 크게 떨어질 수 있습니다.

규제회귀분석은 회귀계수의 크기를 제한하여 모형이 불필요하게 복잡해지는 것을 줄이는 데 도움이 됩니다.

다중공선성(Multicollinearity)

다중공선성은 독립변수들 사이에 높은 상관관계가 존재하는 문제입니다. 예를 들어 고객의 월 구매 금액, 연간 구매 금액, 총 구매 횟수처럼 서로 밀접하게 관련된 변수들을 동시에 포함했다고 가정해 보겠습니다.

이러한 변수들이 비슷한 정보를 가지고 있다면 일반적인 회귀분석에서는 개별 회귀계수를 안정적으로 추정하기 어려울 수 있습니다. 규제회귀분석은 계수를 축소하여 추정의 변동성을 줄이고 모형을 더 안정적으로 만드는 데 도움이 될 수 있습니다.

다만 규제회귀가 다중공선성의 원인을 제거하거나 독립변수 사이의 실제 관계를 바꾸는 것은 아닙니다.

규제회귀분석은 여기에 회귀계수의 크기에 따른 페널티를 추가합니다.

규제회귀분석에서는 모형의 오차를 줄이는 것과 계수의 크기를 제한하는 것 사이에서 균형을 찾습니다. 이 과정에서 일부 편향(Bias)을 허용하는 대신 추정의 분산(Variance)을 줄일 수 있습니다. 이러한 균형을 편향-분산 절충(Bias-Variance Tradeoff)이라고 합니다.

규제를 지나치게 약하게 적용하면 과적합 문제가 충분히 해결되지 않을 수 있습니다. 반대로 규제를 너무 강하게 적용하면 중요한 관계까지 지나치게 축소되어 과소적합(Underfitting)이 발생할 수 있습니다.

규제회귀분석에는 어떤 종류가 있나요?

대표적인 규제회귀분석 방법은 릿지, 라쏘, 엘라스틱넷입니다.

세 방법 모두 회귀계수에 페널티를 부여한다는 공통점이 있지만, 계수를 제한하는 방식에는 차이가 있습니다.

릿지는 여러 변수를 유지하면서 계수의 크기를 줄이는 데 중점을 둡니다. 라쏘는 일부 변수를 모형에서 제외하는 변수 선택 기능을 가지고 있으며, 엘라스틱넷은 두 방식의 특징을 결합합니다. 어떤 방법이 더 적절한지는 변수 수, 변수 간 상관관계, 연구 목적에 따라 달라집니다.

계수가 지나치게 커지는 것을 제한하여 모형의 복잡도를 조절합니다. 릿지 회귀의 목적함수는 일반적으로 다음과 같이 표현할 수 있습니다.

여기서 λ(람다)는 규제 강도를 결정하는 값입니다. λ가 커질수록 회귀계수에 더 강한 페널티가 적용되어 계수의 절댓값이 작아지는 경향이 있습니다. 릿지는 회귀계수를 0에 가깝게 축소하지만, 일반적으로 계수를 정확히 0으로 만들지는 않습니다.

실제 사례

고객의 구매 금액을 예측하기 위해 다음 변수를 사용한다고 가정해 보겠습니다.

• 월평균 방문 횟수
• 총 구매 횟수
• 월평균 구매 금액
• 할인 쿠폰 사용 횟수
• 회원 가입 기간

이 중 방문 횟수와 구매 횟수처럼 서로 관련성이 높은 변수가 존재하면 일반적인 회귀분석에서는 계수 추정이 불안정할 수 있습니다. 릿지 회귀를 사용하면 각 변수의 계수를 축소하여 특정 변수에 과도하게 큰 가중치가 부여되는 것을 줄일 수 있습니다.

릿지 회귀의 특징

릿지 회귀는 여러 변수가 결과 예측에 기여하고, 변수 사이에 높은 상관관계가 존재하는 상황에서 유용할 수 있습니다. 다만 모든 변수를 유지하는 경향이 있으므로 중요한 변수만 선택하여 단순한 모형을 만들고 싶은 경우에는 라쏘나 엘라스틱넷이 더 적절할 수 있습니다.

릿지 회귀와 마찬가지로 계수의 크기를 줄이지만, 중요한 차이가 있습니다.

계수가 0이 된 변수는 예측식에서 제외되므로 라쏘는 규제와 변수 선택을 동시에 수행하는 방법으로 활용됩니다. 라쏘 회귀의 목적함수는 일반적으로 다음과 같이 표현할 수 있습니다.

λ가 커질수록 더 강한 페널티가 적용되어 일부 계수가 0이 될 가능성이 높아집니다.

실제 사례

고객의 재구매 금액을 예측하기 위해 20개의 변수를 사용한다고 가정해 보겠습니다. 이 중 일부 변수는 재구매 금액과 관련성이 있지만 다른 변수들은 예측에 크게 기여하지 않을 수 있습니다. 라쏘 회귀를 적용하면 일부 변수의 계수가 0이 되어 더 적은 변수로 구성된 모형을 얻을 수 있습니다.

예를 들어 초기 20개 변수 중 7개만 0이 아닌 계수로 남을 수 있습니다. 다만 라쏘가 선택한 변수가 반드시 통계적으로 가장 중요하거나 인과적인 영향을 가진 변수라는 의미는 아닙니다. 변수 간 상관관계와 규제 강도, 표본의 구성에 따라 선택 결과가 달라질 수 있기 때문입니다.

두 규제를 함께 사용하여 계수의 크기를 줄이면서 일부 변수의 계수를 0으로 만들 수도 있습니다. 엘라스틱넷의 목적함수는 일반적으로 다음과 같은 구조를 가집니다.

엘라스틱넷에서는 전체 규제 강도와 L1·L2 규제의 혼합 비율을 조절합니다. 많은 구현에서는 규제 강도를 alpha 또는 λ로, 혼합 비율을 l1_ratio 또는 다른 기호로 표현합니다. 소프트웨어마다 매개변수 이름과 목적함수의 스케일이 다를 수 있으므로 확인이 필요합니다.

실제 사례

고객의 구매 행동을 예측하기 위해 다음과 같은 변수를 사용한다고 가정해 보겠습니다.

• 최근 30일 방문 횟수
• 최근 90일 방문 횟수
• 최근 30일 구매 횟수
• 최근 90일 구매 횟수
• 할인 쿠폰 사용 횟수
• 회원 가입 기간

최근 30일과 90일의 방문 횟수처럼 서로 관련성이 높은 변수들이 포함되어 있습니다. 라쏘는 상관관계가 높은 변수 중 일부만 선택할 수 있지만, 엘라스틱넷은 설정에 따라 관련된 변수들이 함께 남도록 하면서 일부 불필요한 변수는 제외할 수 있습니다.

따라서 상관관계가 높은 변수가 많은 데이터에서 유용한 선택지가 될 수 있습니다.

분석에 사용한 변수는 다음과 같습니다.

• 최근 방문 횟수
• 총 구매 횟수
• 평균 구매 금액
• 회원 가입 기간
• 할인 쿠폰 사용 횟수
• 고객센터 문의 횟수

일반적인 선형회귀, 릿지, 라쏘, 엘라스틱넷을 각각 학습한 뒤 별도의 평가 데이터에서 예측 성능을 비교했다고 가정하겠습니다.

모형별 예측 성능

RMSE의 단위는 동일한 구매 금액 단위라고 가정합니다.

RMSE(Root Mean Squared Error)는 실제값과 예측값의 차이를 평가하는 지표로, 값이 작을수록 평균적으로 예측 오차가 작다는 의미입니다. 일반 선형회귀는 학습 데이터에서 RMSE가 가장 낮았지만 평가 데이터에서는 오차가 가장 크게 나타났습니다.

반면 규제회귀모형들은 학습 데이터에서 오차가 조금 더 컸지만 평가 데이터에서 더 좋은 예측 성능을 보였습니다. 이 예시는 일반 선형회귀가 학습 데이터의 변동에 지나치게 맞춰졌을 가능성을 보여줍니다. 특히 엘라스틱넷은 평가 데이터 RMSE가 20.9로 가장 낮게 나타났습니다.

다만 실제 데이터에서는 일반 선형회귀나 릿지, 라쏘가 더 좋은 성능을 보일 수도 있습니다. 따라서 어떤 알고리즘이 항상 우수하다고 판단하기보다 동일한 평가 조건에서 성능을 비교해야 합니다.

릿지·라쏘·엘라스틱넷의 계수는 어떻게 달라지나요?

세 방법의 차이는 회귀계수에서도 확인할 수 있습니다.

다음은 동일한 데이터에 서로 다른 규제회귀모형을 적용했다고 가정한 예시입니다.

동일한 표준화 기준을 사용했다고 가정합니다.

릿지 회귀에서는 모든 변수의 계수가 0에 가까워졌지만 완전히 0이 된 변수는 없습니다. 라쏘 회귀에서는 가입 기간과 쿠폰 사용 횟수의 계수가 0이 되어 해당 변수들이 모형에서 제외되었습니다. 엘라스틱넷에서는 계수를 축소하면서 쿠폰 사용 횟수의 계수를 0으로 만들었습니다.

이처럼 규제 방식에 따라 회귀계수의 크기와 최종적으로 사용되는 변수가 달라질 수 있습니다. 다만 계수가 0이 되었다고 해서 해당 변수가 현실에서 아무런 영향을 미치지 않는다는 뜻은 아닙니다. 주어진 데이터와 다른 변수들, 규제 강도를 고려했을 때 해당 변수가 예측모형에 남지 않았다는 의미입니다.

규제 강도는 회귀계수에 부여하는 페널티의 크기를 결정합니다. 일반적으로 규제 강도가 작으면 계수에 가해지는 제한이 약해지고, 규제 강도가 커지면 계수가 더 강하게 축소됩니다.

규제 강도를 너무 작게 설정하면 과적합을 충분히 줄이지 못할 수 있습니다. 반대로 지나치게 크게 설정하면 실제로 중요한 관계까지 축소되어 예측 성능이 떨어질 수 있습니다. 이러한 이유로 규제 강도는 교차검증(Cross-Validation)을 통해 선택하는 경우가 많습니다.

예를 들어 여러 후보 λ값을 설정한 뒤 각 값에 대해 교차검증 오차를 계산하고, 평균 검증 오차가 가장 낮은 값을 선택할 수 있습니다. 다만 선택한 규제 강도의 성능을 객관적으로 평가하려면 모형 선택에 사용하지 않은 평가 데이터가 필요합니다.

예를 들어 고객의 연령은 20~70세 범위이고, 연간 구매 금액은 수십만 원에서 수백만 원까지 나타날 수 있습니다. 이러한 변수를 원래 단위 그대로 사용하면 회귀계수의 크기가 단위에 따라 달라지므로 동일한 규제 페널티를 적용하더라도 변수별 영향이 달라질 수 있습니다.

따라서 릿지, 라쏘, 엘라스틱넷에서는 일반적으로 독립변수를 표준화한 뒤 분석하는 것이 좋습니다. 대표적인 방법이 Z점수 표준화(Standardization)입니다.

표준화를 적용하면 변수의 평균이 0, 표준편차가 1이 되도록 변환할 수 있습니다. 이를 통해 측정 단위가 다른 변수들에 규제를 보다 일관되게 적용할 수 있습니다.

따라서 표준화와 회귀모형을 하나의 파이프라인으로 구성하고 학습 데이터 안에서만 전처리 기준을 추정하는 것이 좋습니다.

변수 선택(Feature Selection)은 모형에 사용할 변수를 고르는 과정입니다. 반면 규제회귀분석은 회귀계수에 페널티를 적용하여 모형의 복잡도를 조절하는 방법입니다. 릿지 회귀는 일반적으로 모든 변수를 유지하므로 직접적인 변수 선택보다는 계수 축소에 중점을 둡니다.

라쏘와 엘라스틱넷은 일부 계수를 0으로 만들 수 있으므로 변수 선택 기능을 함께 수행할 수 있습니다. 하지만 라쏘가 선택한 변수 집합이 항상 안정적으로 유지되는 것은 아닙니다. 특히 서로 높은 상관관계를 가진 변수들이 존재하면 데이터 표본이나 규제 강도의 작은 변화에 따라 선택된 변수가 달라질 수 있습니다.

따라서 변수 선택의 안정성이 중요한 연구에서는 반복 표본추출이나 교차검증 등을 통해 선택 결과가 얼마나 일관되게 나타나는지 확인하는 것이 좋습니다.

하지만 릿지, 라쏘, 엘라스틱넷은 회귀계수 추정 과정에서 페널티를 사용하기 때문에 일반적인 최소제곱 회귀분석의 p값과 신뢰구간을 그대로 적용하기 어렵습니다. 특히 라쏘는 데이터에 따라 변수를 선택하므로 변수 선택 과정을 고려하지 않고 일반적인 통계적 검정을 수행하면 잘못된 결론에 도달할 수 있습니다.

규제회귀의 주된 목적은 일반적으로 예측 성능 개선과 모형의 복잡도 조절입니다. 따라서 결과를 평가할 때는 교차검증 성능, 별도 평가 데이터의 예측 오차, 계수의 안정성 등을 중요하게 확인합니다.

물론 규제회귀계수에 대한 통계적 추론을 수행하기 위한 별도의 방법들도 존재합니다. 다만 이러한 방법은 일반적인 회귀분석의 p값 계산과는 구분해야 합니다.

연속형 종속변수를 예측하는 회귀모형에서는 다음과 같은 지표를 사용할 수 있습니다.

예를 들어 고객의 다음 달 구매 금액을 예측한다면 MAE나 RMSE를 통해 실제 구매 금액과 예측 금액의 차이를 평가할 수 있습니다. 규제 강도를 선택할 때는 교차검증을 활용할 수 있으며, 최종 성능은 모형 선택 과정에 사용하지 않은 홀드아웃 데이터에서 확인하는 것이 좋습니다.

여러 규제 강도와 알고리즘을 비교했다면 그 비교에 사용한 검증 데이터만으로 최종 일반화 성능을 판단하는 것은 주의해야 합니다. 또한 규제회귀는 연속형 결과뿐 아니라 로지스틱 회귀 등 다른 모형에도 적용할 수 있으므로, 실제 평가 지표는 종속변수와 분석 목적에 맞게 선택해야 합니다.

규제가 강할수록 좋은 것은 아닙니다.

규제 강도가 높아지면 계수의 크기가 작아지지만, 중요한 관계까지 지나치게 축소될 수 있습니다. 이러한 경우 예측 성능이 오히려 떨어질 수 있으므로 교차검증 등을 통해 적절한 규제 강도를 선택해야 합니다.

선택된 변수가 원인이라는 뜻은 아닙니다.

라쏘가 특정 변수를 선택했다고 해서 그 변수가 결과에 인과적인 영향을 미친다고 단정할 수 없습니다. 규제회귀는 관찰된 데이터를 바탕으로 예측에 유용한 변수 조합을 찾는 방법입니다. 인과관계를 주장하려면 별도의 연구 설계와 인과추론이 필요합니다.

다중공선성이 완전히 사라지는 것은 아닙니다.

규제회귀는 높은 상관관계를 가진 변수들의 계수 추정을 안정화하는 데 도움이 될 수 있지만 변수 사이의 실제 상관관계 자체를 제거하지는 않습니다. 특히 개별 변수의 효과를 해석하려는 연구에서는 변수 사이의 관계를 별도로 검토해야 합니다.

데이터 누수를 방지해야 합니다.

표준화, 결측값 대체, 변수 선택 등을 전체 데이터에 먼저 적용하면 평가 데이터의 정보가 학습 과정에 반영될 수 있습니다. 따라서 전처리와 규제회귀모형을 하나의 파이프라인으로 구성하고, 교차검증 과정에서도 각 학습 폴드에 대해서만 전처리 기준을 추정해야 합니다.

규제회귀가 모든 비선형관계를 해결하지는 않습니다.

기본적인 릿지, 라쏘, 엘라스틱넷은 일반적으로 선형 예측식을 기반으로 합니다. 실제 변수 사이의 관계가 복잡한 비선형 형태라면 다항항이나 상호작용항을 추가하거나 다른 모형을 고려해야 할 수 있습니다.

릿지·라쏘·엘라스틱넷은 언제 선택하나요?

세 방법 중 어느 것이 항상 더 우수하다고 말하기는 어렵습니다.

데이터의 특성과 분석 목적에 따라 적절한 방법이 달라질 수 있습니다.

예를 들어 수백 개의 변수를 가지고 있고 그중 일부만 실제 예측에 유용할 것으로 예상한다면 라쏘를 고려할 수 있습니다. 반면 대부분의 변수가 조금씩 예측에 기여하고 서로 높은 상관관계를 가지고 있다면 릿지가 더 적합할 수 있습니다.

상관관계가 높은 변수들이 많으면서 일부 변수를 제외하고 싶다면 엘라스틱넷을 고려할 수 있습니다. 그러나 이러한 기준은 일반적인 참고사항이며, 실제로는 동일한 데이터 분할과 평가 지표를 사용하여 성능을 비교하는 것이 가장 좋습니다.

앞서 살펴본 고객 구매 금액 예측 사례를 이용하면 다음과 같이 작성할 수 있습니다.

실제 분석에서는 데이터 분할 비율과 교차검증 방법, 선택된 규제 강도, 엘라스틱넷의 혼합 비율 등을 함께 보고하는 것이 좋습니다. 또한 변수 선택이 주요 목적이라면 어떤 변수가 최종 모형에 포함되었는지와 선택 결과의 안정성도 확인할 필요가 있습니다.

마케팅 및 고객 분석

고객의 구매 금액, 재구매 금액, 서비스 이용량 등을 예측하거나 여러 고객 행동 변수 중 예측에 유용한 변수를 선택할 수 있습니다.

금융 및 경제

기업의 재무성과, 자산 수익률, 소비 지출 등 여러 경제 변수와 관련된 예측모형을 구성할 수 있습니다.

보건 및 의료 연구

여러 검사 지표나 측정 변수를 이용하여 연속형 건강 지표를 예측하거나 많은 후보 변수 중 유용한 변수를 탐색할 수 있습니다.

교육 연구

학생의 학업 성취도를 여러 학습 행동 및 교육 환경 변수로 예측하는 모형을 구성할 수 있습니다.

사회과학 연구

여러 설문 문항이나 사회경제적 변수를 이용하여 결과변수를 예측하고 과적합을 줄이는 데 활용할 수 있습니다.

제조업 및 품질관리

다수의 센서 측정값이나 생산 조건을 이용하여 제품 품질과 성능을 예측할 수 있습니다. 이처럼 규제회귀분석은 설명변수가 많거나 서로 중복되는 정보가 존재하는 데이터에서 예측모형의 복잡도를 조절하는 데 유용합니다.

대표적으로 릿지 회귀, 라쏘 회귀, 엘라스틱넷이 있으며, 각각 계수를 축소하거나 일부 변수를 제외하는 방식에서 차이가 있습니다. 릿지는 여러 변수의 계수를 함께 축소하는 데, 라쏘는 변수 선택과 계수 축소를 동시에 수행하는 데, 엘라스틱넷은 두 방식의 특징을 결합하는 데 유용할 수 있습니다.

하지만 규제 강도가 높다고 해서 항상 좋은 모형이 만들어지는 것은 아닙니다. 교차검증과 별도의 평가 데이터를 활용하여 적절한 규제 강도를 선택하고 실제 예측 성능을 확인해야 합니다. 또한 규제회귀에서 선택된 변수를 곧바로 인과적인 영향 요인으로 해석하지 않도록 주의해야 합니다.