회귀분석

공부 시간이 길어지면 시험 점수는 얼마나 높아질까요? 고객의 만족도와 서비스 이용 기간은 재구매 의향과 어떤 관계가 있을까요? 광고비를 늘리면 매출은 어느 정도 달라질까요?

이처럼 하나 이상의 변수를 이용하여 특정 결과가 어떻게 달라지는지 분석할 때 사용하는 대표적인 통계분석 방법이 회귀분석(Regression Analysis)입니다.

회귀분석은 변수 사이의 관계를 수학적 모형으로 표현하고, 설명변수가 달라질 때 결과변수가 평균적으로 어떻게 변화하는지 추정하는 방법입니다. 이를 통해 변수 간 관계의 방향과 크기를 확인하거나 새로운 데이터에 대한 결과를 예측할 수 있습니다.

특히 경영학, 경제학, 교육학, 사회과학, 보건학 등 다양한 분야에서 연구 가설을 검정하거나 데이터에 나타난 관계를 이해하는 데 활용됩니다. 이번 글에서는 회귀분석의 기본 개념부터 회귀계수와 결정계수의 의미, 실제 분석 사례, 주요 회귀분석 방법, 결과를 해석할 때 주의해야 할 점까지 살펴보겠습니다.

독립변수(Independent Variable)는 결과를 설명하거나 예측하는 데 사용하는 변수이며, 종속변수(Dependent Variable)는 분석을 통해 설명하거나 예측하려는 결과변수입니다.

예를 들어 학생 100명의 하루 평균 공부 시간과 시험 점수를 조사했다고 가정해 보겠습니다. 이때 공부 시간을 독립변수로, 시험 점수를 종속변수로 설정할 수 있습니다.

회귀분석을 이용하면 공부 시간이 긴 학생일수록 시험 점수가 높은 경향이 나타나는지 확인할 수 있습니다. 더 나아가 공부 시간이 1시간 증가할 때 예상 시험 점수가 평균적으로 몇 점 달라지는지도 추정할 수 있습니다.

다만 회귀분석에서 독립변수라는 용어를 사용한다고 해서 해당 변수가 종속변수의 원인이라는 뜻은 아닙니다. 인과관계를 주장하려면 연구 설계와 교란변수, 시간적 선후관계 등 추가적인 조건을 고려해야 합니다.

회귀분석은 어떤 원리로 작동하나요?

가장 기본적인 회귀분석은 단순선형회귀분석(Simple Linear Regression)입니다.

단순선형회귀분석은 하나의 독립변수와 하나의 연속형 종속변수 사이의 선형관계를 분석합니다. 일반적인 회귀식은 다음과 같습니다.

각 기호의 의미는 다음과 같습니다.

예를 들어 공부 시간과 시험 점수 사이의 회귀식이 다음과 같이 추정되었다고 가정해 보겠습니다.

이 식에서 절편은 55이고, 공부 시간의 회귀계수는 5입니다. 공부 시간이 1시간 증가할 때 예상 시험 점수가 평균적으로 5점 높아지는 선형관계가 나타났다는 의미입니다. 공부 시간이 4시간인 학생의 예상 시험 점수는 55 + 5 × 4 = 75점입니다.

다만 이 값은 회귀모형을 이용한 예측값입니다. 공부 시간이 4시간인 모든 학생이 실제로 75점을 받는다는 뜻은 아닙니다. 개별 학생의 시험 점수에는 학습 능력, 학습 환경, 사전 지식 등 회귀모형에 포함되지 않은 다양한 요인이 영향을 줄 수 있습니다.

회귀계수(B)

회귀계수는 독립변수와 종속변수 사이의 관계를 나타내는 핵심 지표입니다. 예를 들어 공부 시간의 회귀계수가 5라면 공부 시간이 1시간 증가할 때 예상 시험 점수가 평균적으로 5점 증가한다는 의미입니다.

반대로 회귀계수가 -3이라면 독립변수가 1단위 증가할 때 예상 종속변수가 평균적으로 3단위 감소하는 관계를 의미합니다. 다중회귀분석에서는 다른 독립변수들을 일정하게 유지한 상태에서 해당 변수의 회귀계수를 해석합니다.

p값

p값은 회귀계수가 0이라는 귀무가설 아래에서 관찰된 검정통계량만큼 또는 그보다 극단적인 결과가 나타날 확률입니다. 일반적으로 유의수준 0.05를 사용한다면 p값이 0.05보다 작을 때 통계적으로 유의한 관계가 있다고 판단합니다.

그러나 p값이 작다고 해서 관계가 강하거나 실제로 중요하다는 뜻은 아닙니다. 회귀계수의 크기와 신뢰구간, 연구 맥락을 함께 고려해야 합니다.

결정계수(R²)

결정계수는 회귀모형이 종속변수의 변동을 어느 정도 설명하는지 나타냅니다. 예를 들어 R² = 0.64라면 일반적인 절편이 포함된 최소제곱 선형회귀모형에서 종속변수의 표본 변동 중 약 64%가 모형으로 설명된다는 의미입니다.

다만 결정계수가 높다고 해서 모형의 인과적 설명력이 높거나 새로운 데이터에서도 예측 성능이 우수하다는 뜻은 아닙니다.

연구 질문은 다음과 같습니다.

분석에 사용한 변수는 하루 평균 공부 시간과 최종 시험 점수입니다.

회귀분석 결과

모형의 결정계수는 R² = 0.376으로 나타났다고 가정하겠습니다.

결과는 어떻게 해석할까요?

공부 시간의 회귀계수는 5.00으로 나타났습니다. 이는 공부 시간이 1시간 증가할 때 예상 시험 점수가 평균적으로 5점 높아지는 관계를 의미합니다. 또한 공부 시간의 p값은 0.001보다 작아 통계적으로 유의한 양의 선형관계가 나타났다고 해석할 수 있습니다.

결정계수 R²는 약 0.376이므로 공부 시간을 이용한 회귀모형이 시험 점수의 표본 변동 중 약 37.6%를 설명한다고 볼 수 있습니다.

단순선형회귀분석(Simple Linear Regression)

단순선형회귀분석은 하나의 독립변수를 이용하여 종속변수와의 선형관계를 분석하는 방법입니다. 예를 들어 공부 시간만을 이용하여 시험 점수를 설명하는 경우입니다. 단순선형회귀는 두 변수 사이의 기본적인 관계를 파악하거나 간단한 예측모형을 만들 때 유용합니다.

다중선형회귀분석(Multiple Linear Regression)

다중선형회귀분석은 두 개 이상의 독립변수를 함께 사용하여 종속변수를 설명하는 방법입니다. 예를 들어 시험 점수에 영향을 줄 수 있는 변수로 공부 시간, 출석률, 사전 시험 점수를 함께 고려할 수 있습니다. 이때 회귀식은 Y = β₀ + β₁X₁ + β₂X₂ + β₃X₃ + ε와 같이 표현할 수 있습니다.

다중회귀분석은 여러 변수와 결과 사이의 관계를 동시에 분석할 수 있다는 장점이 있습니다. 특히 다른 독립변수들을 통계적으로 조정한 상태에서 특정 변수의 관계를 추정할 수 있습니다.

다만 통제변수를 포함했다고 해서 모든 교란요인이 제거되는 것은 아닙니다. 측정하지 못한 변수가 존재하거나 모형이 잘못 설정되었다면 결과에 편향이 발생할 수 있습니다.

다중회귀분석에서는 결과를 어떻게 해석하나요?

고객 300명을 대상으로 서비스 만족도에 영향을 주는 요인을 분석한다고 가정해 보겠습니다.

종속변수는 전반적인 서비스 만족도이며, 독립변수는 서비스 품질, 가격 만족도, 이용 편의성입니다. 분석 결과는 다음과 같다고 가정하겠습니다.

분석 결과 세 변수 모두 전반적인 서비스 만족도와 통계적으로 유의한 양의 관계를 보였습니다. 예를 들어 서비스 품질의 회귀계수가 0.42라면 가격 만족도와 이용 편의성을 일정하게 유지했을 때 서비스 품질 점수가 1점 높아질수록 예상 전반적 만족도가 평균적으로 0.42점 높아지는 관계가 있다는 의미입니다.

다만 회귀계수의 크기만으로 어떤 변수가 가장 중요하다고 단정하는 것은 주의해야 합니다. 변수별 측정 단위와 분산이 다르면 비표준화 회귀계수를 직접 비교하기 어려울 수 있기 때문입니다. 이러한 경우 표준화 회귀계수, 신뢰구간, 변수의 이론적 중요성 등을 함께 검토할 수 있습니다.

데이터 구조와 연구 목적에 따라 다양한 회귀모형을 사용할 수 있습니다.

각 방법은 모두 회귀분석의 범주에 속하지만 분석하려는 관계와 데이터 구조가 다릅니다.

예를 들어 나이가 증가할수록 소득이 계속 증가하는 것이 아니라 일정 연령까지 증가하다가 이후 감소하는 패턴이 나타난다고 가정해 보겠습니다. 이러한 관계는 직선 하나로 충분히 표현하기 어려울 수 있습니다. 다항회귀에서는 독립변수의 제곱항이나 세제곱항 등을 추가하여 곡선 형태의 관계를 표현합니다.

대표적인 이차 다항회귀식은 Y = β₀ + β₁X + β₂X² + ε입니다. 여기서 X²은 독립변수의 제곱항입니다. 다항회귀는 곡선 관계를 표현하지만 회귀계수에 대해서는 선형인 모형으로 볼 수 있습니다.

다만 다항식의 차수를 지나치게 높이면 학습 데이터에 과도하게 맞춰지는 과적합(Overfitting)이 발생할 수 있으므로 모형의 복잡도를 적절하게 조절해야 합니다.

하지만 평균적인 관계가 모든 관측값에 동일하게 적용되는 것은 아닙니다. 예를 들어 교육 수준과 임금 사이의 관계를 분석한다고 가정해 보겠습니다. 교육 수준이 1년 증가할 때 임금이 평균적으로 얼마나 달라지는지도 중요하지만, 저임금 근로자와 고임금 근로자에서 관계가 다르게 나타나는지도 궁금할 수 있습니다.

이러한 경우 분위회귀분석(Quantile Regression)을 활용할 수 있습니다. 분위회귀는 종속변수의 조건부 중앙값이나 특정 분위수에 대한 관계를 추정하는 방법입니다. 예를 들어 다음과 같은 분위수를 분석할 수 있습니다.

분위회귀를 사용하면 교육 수준과 임금의 관계가 낮은 조건부 임금 분위수와 높은 조건부 임금 분위수에서 어떻게 다른지 살펴볼 수 있습니다. 다만 특정 분위수의 회귀계수가 다르다는 사실만으로 개인이 소득분포의 한 분위수에서 다른 분위수로 이동할 때 동일한 변화가 나타난다고 해석해서는 안 됩니다.

하지만 실제 연구에서는 데이터가 집단으로 묶여 있거나 동일한 대상을 여러 번 측정하는 경우가 많습니다.

예를 들어 여러 학교의 학생들을 대상으로 학업 성취도를 조사한다고 가정해 보겠습니다. 같은 학교의 학생들은 비슷한 교육 환경과 교사의 영향을 받을 수 있으므로 서로 완전히 독립적이라고 보기 어려울 수 있습니다. 이러한 자료에서는 혼합효과모형(Mixed Effects Model)을 고려할 수 있습니다.

혼합효과모형은 고정효과(Fixed Effects)와 확률효과(Random Effects)를 함께 포함하여 집단별 차이나 반복측정에 따른 상관 구조를 분석하는 방법입니다. 예를 들어 학생의 공부 시간과 시험 점수의 관계를 분석하면서 학교별 평균 수준이 다르다는 점을 모형에 반영할 수 있습니다.

또한 필요에 따라 공부 시간과 시험 점수의 관계가 학교마다 다르게 나타나는지도 분석할 수 있습니다.

일반적인 회귀분석과 혼합효과모형의 차이

혼합효과모형은 다층모형(Multilevel Model) 또는 계층적 선형모형(HLM)과 밀접하게 관련된 방법입니다. 다만 모든 혼합효과모형이 동일한 형태의 다층모형인 것은 아니며, 데이터 구조에 따라 모형의 구성 방식이 달라질 수 있습니다.

예를 들어 공부 시간과 시험 점수의 상관계수가 0.6이라면 두 변수 사이에 양의 선형관계가 있다는 사실을 확인할 수 있습니다. 반면 회귀분석에서는 공부 시간이 1시간 증가할 때 예상 시험 점수가 평균적으로 몇 점 달라지는지 추정할 수 있습니다.

또한 다중회귀분석에서는 여러 독립변수를 동시에 포함하여 특정 변수와 결과변수 사이의 조건부 관계를 분석할 수 있습니다. 두 방법은 서로 대체하는 관계라기보다 연구 목적에 따라 함께 활용할 수 있는 방법입니다.

선형성(Linearity)

설명변수와 종속변수의 조건부 평균 사이의 관계가 설정한 회귀식으로 적절하게 표현되는지 확인해야 합니다. 예를 들어 실제 관계가 곡선 형태인데 직선 모형을 사용한다면 중요한 패턴을 놓칠 수 있습니다. 이러한 경우 다항항이나 다른 비선형 구조를 고려할 수 있습니다.

오차의 독립성

오차가 서로 독립적인지 검토해야 합니다. 특히 시계열 데이터나 반복측정 자료에서는 오차 사이에 상관관계가 발생할 수 있습니다. 이러한 구조를 무시하면 표준오차와 통계적 검정 결과가 부정확해질 수 있습니다.

등분산성(Homoscedasticity)

오차의 분산이 설명변수의 값에 따라 일정한지 확인하는 가정입니다. 예를 들어 소득 수준이 높아질수록 소비 금액의 변동성이 커진다면 이분산성(Heteroscedasticity)이 나타날 수 있습니다. 이분산성이 존재하는 경우에는 강건표준오차(Robust Standard Errors) 등을 고려할 수 있습니다.

잔차의 정규성

일반적인 선형회귀에서 소표본의 t검정이나 F검정을 정확한 분포에 근거해 수행하려면 오차의 정규성 가정이 중요할 수 있습니다. 다만 잔차가 정규분포를 따르지 않는다는 이유만으로 회귀계수 추정이 항상 잘못되는 것은 아닙니다.

표본 수와 분석 목적, 오차 구조에 따라 영향이 달라지므로 잔차 그래프와 통계적 진단 결과를 함께 확인해야 합니다.

다중공선성(Multicollinearity)

다중회귀분석에서는 독립변수들 사이의 관계가 지나치게 강한지 확인해야 합니다. 예를 들어 서비스 품질과 전반적인 서비스 평가가 거의 동일한 정보를 담고 있다면 각각의 회귀계수를 안정적으로 추정하기 어려울 수 있습니다. 이러한 문제는 분산팽창계수(VIF) 등을 이용해 점검할 수 있습니다.

다중공선성이 높으면 회귀계수의 표준오차가 커져 개별 변수의 관계를 해석하기 어려워질 수 있습니다.

특히 일부 관측값은 회귀계수를 크게 변화시키거나 회귀선의 위치를 바꿀 수 있습니다. 대표적으로 다음과 같은 진단 지표를 사용합니다.

예를 들어 한 고객의 구매 금액이 다른 고객보다 지나치게 크다면 해당 관측값이 회귀분석 결과에 큰 영향을 줄 수 있습니다. 하지만 이상치가 발견되었다고 해서 무조건 삭제하는 것은 적절하지 않습니다. 먼저 데이터 입력 오류인지, 실제로 가능한 관측값인지, 연구 목적과 관련된 중요한 사례인지 확인해야 합니다.

필요하다면 해당 관측값을 포함했을 때와 제외했을 때 분석 결과가 얼마나 달라지는지 민감도 분석을 수행할 수 있습니다.

통계적 유의성이 인과관계를 의미하지는 않습니다.

광고비와 매출 사이에 양의 관계가 나타났다고 해서 광고비를 늘리면 반드시 매출이 증가한다고 결론 내릴 수는 없습니다. 매출이 높을 것으로 예상되는 시기에 기업이 광고비를 늘렸을 가능성도 있으며, 계절성이나 경기 상황 등 다른 요인이 영향을 주었을 수도 있습니다.

인과관계를 분석하려면 실험 설계나 적절한 인과추론 방법을 추가로 고려해야 합니다.

회귀계수가 크다고 반드시 중요한 변수는 아닙니다.

독립변수의 측정 단위가 서로 다르면 비표준화 회귀계수의 크기를 직접 비교하기 어렵습니다. 예를 들어 소득을 원 단위로 측정한 경우와 만 원 단위로 측정한 경우에는 회귀계수의 숫자가 달라집니다. 따라서 변수의 중요성을 판단할 때는 측정 단위와 표준화 효과크기, 연구 목적 등을 함께 고려해야 합니다.

결정계수가 높다고 좋은 모형은 아닙니다.

결정계수가 높더라도 모형이 과적합되었거나 새로운 데이터에서 예측 성능이 낮을 수 있습니다. 예측이 목적이라면 학습에 사용하지 않은 데이터에서 예측 성능을 평가하는 과정이 필요합니다. 또한 결정계수가 낮더라도 연구 목적에 따라 중요한 관계를 발견한 결과일 수 있습니다.

설명변수를 많이 넣는 것이 항상 좋은 것은 아닙니다.

설명변수를 무조건 많이 추가하면 모형이 복잡해지고 다중공선성이나 과적합 문제가 발생할 수 있습니다. 따라서 변수는 연구 가설과 이론적 근거, 데이터의 특성을 바탕으로 선택하는 것이 좋습니다.

회귀선 그래프(Regression Line Plot)

단순선형회귀에서는 산점도 위에 추정된 회귀선을 표시할 수 있습니다. 이를 통해 독립변수가 증가할 때 종속변수가 어떤 방향으로 변화하는지 직관적으로 확인할 수 있습니다.

회귀계수 그래프(Coefficient Plot)

다중회귀분석에서는 각 독립변수의 회귀계수와 신뢰구간을 그래프로 표시할 수 있습니다. 어떤 변수에서 양의 관계나 음의 관계가 나타나는지, 추정의 불확실성이 어느 정도인지 쉽게 비교할 수 있습니다. 다만 서로 다른 측정 단위를 가진 변수들의 비표준화 회귀계수를 하나의 축에서 비교할 때는 주의해야 합니다.

잔차 그래프(Residual Plot)

잔차 그래프는 모형의 예측값과 실제 관측값의 차이를 시각화합니다. 이를 통해 비선형 패턴, 이분산성, 이상치 등 모형에 문제가 있을 가능성을 살펴볼 수 있습니다.

앞서 살펴본 공부 시간과 시험 점수 사례를 이용하면 다음과 같이 작성할 수 있습니다.

다중회귀분석에서는 각 독립변수의 회귀계수와 신뢰구간, 모형 전체의 적합도 등을 함께 보고하는 것이 좋습니다. 또한 연구 목적에 따라 표준화 회귀계수, 수정 결정계수, 다중공선성 진단 결과 등을 추가로 제시할 수 있습니다.

경영 및 마케팅

광고비와 매출의 관계, 서비스 품질과 고객 만족도, 가격과 구매 금액 사이의 관계를 분석할 수 있습니다.

교육 연구

공부 시간, 출석률, 사전 학업 성취도 등이 시험 점수와 어떤 관계를 가지는지 확인할 수 있습니다.

사회과학 연구

소득과 삶의 만족도, 직무 환경과 조직 몰입도, 사회적 지지와 심리적 안녕감 사이의 관계를 분석할 수 있습니다.

보건 및 의료 연구

운동 시간과 건강 지표, 생활 습관과 신체 측정값, 치료 관련 요인과 연속형 결과변수 사이의 관계를 분석할 수 있습니다.

금융 및 경제

소득과 소비, 금리와 투자, 기업 특성과 재무성과 등 여러 경제 변수 사이의 관계를 분석할 수 있습니다.

인사 및 조직 연구

근무 환경, 교육 시간, 업무 경험 등이 직무 성과나 만족도와 어떤 관계를 가지는지 확인할 수 있습니다. 이처럼 회귀분석은 여러 변수와 결과 사이의 관계를 수치로 표현하고, 연구 가설을 검정하거나 예측모형을 구성하는 데 폭넓게 활용됩니다.

단순선형회귀와 다중선형회귀를 비롯해 다항회귀, 분위회귀, 혼합효과모형 등 다양한 방법이 있으며, 데이터의 구조와 연구 목적에 따라 적절한 모형을 선택해야 합니다. 회귀분석 결과를 해석할 때는 회귀계수와 p값뿐 아니라 신뢰구간, 결정계수, 잔차 진단 결과 등을 함께 확인하는 것이 중요합니다.

또한 통계적으로 유의한 관계가 나타났다고 해서 반드시 인과관계가 존재한다고 판단해서는 안 됩니다.