회귀분석의 이해

회귀분석은 변수 사이의 관계를 파악하고, 한 변수의 값으로 다른 변수의 값을 설명하거나 예측하는 통계분석 방법입니다. 예를 들어 광고비를 늘리면 매출이 얼마나 증가할까요? 공부 시간이 길어지면 시험 점수는 어떻게 달라질까요? 회귀분석은 이러한 질문에 데이터로 답할 수 있도록 도와줍니다.

다음과 같은 상황을 생각해 보겠습니다.

• 한 매장의 광고비와 매출을 기록합니다.
• 광고비가 적을 때와 많을 때 매출이 어떻게 달라지는지 살펴봅니다.
• 두 변수의 관계를 수식으로 나타내고, 광고비에 따른 예상 매출을 계산합니다.

여기서 광고비는 매출을 설명하는 변수이고, 매출은 설명하거나 예측하려는 변수입니다. 그림 1은 매장 10곳의 광고비와 매출을 점으로 찍고, 그 관계를 직선 하나로 나타낸 것입니다(가상 데이터, 단위는 백만 원).

점들은 직선 위에 정확히 놓이지 않지만, 대체로 광고비가 많을수록 매출도 높습니다. 이 직선은 “매출 = 20 + 3 × 광고비”라는 식으로 표현되고, 이 식을 이용하면 광고비가 5일 때 예상 매출이 35라고 계산할 수 있습니다.

이처럼 회귀분석은 단순히 두 변수가 함께 움직이는지 확인하는 데 그치지 않습니다. 관계를 수학적 모형으로 표현해 변화의 방향과 크기를 추정하고, 주어진 조건에서의 결과를 예측할 수 있습니다. 두 변수가 얼마나 함께 움직이는지를 하나의 숫자로 요약하는 상관분석과 달리, 회귀분석은 “X가 1 늘면 Y가 얼마나 달라지는가”를 알려 줍니다.

회귀분석에서는 분석하려는 변수의 역할을 구분합니다.

• 설명변수 (Independent / Explanatory Variable): 다른 변수의 변화를 설명하는 데 사용하는 변수입니다. 예: 광고비, 공부 시간, 제품 가격
• 종속변수 (Dependent Variable): 설명하거나 예측하려는 결과 변수입니다. 예: 매출, 시험 점수, 구매량

설명변수는 흔히 X, 종속변수는 Y로 나타냅니다. 예를 들어 공부 시간으로 시험 점수를 설명한다면 공부 시간이 X, 시험 점수가 Y입니다. 어느 쪽을 X로 둘지는 데이터가 아니라 연구 질문이 정합니다.

다만 회귀분석에서 X와 Y의 관계가 발견되었다고 해서 X가 반드시 Y의 원인이라는 뜻은 아닙니다.

그림 2처럼 학습 의욕이 높은 학생은 공부도 오래 하고 점수도 높을 수 있습니다. 그러면 공부 시간과 점수 사이에 뚜렷한 관계가 나타나지만, 그 관계의 일부는 공부 시간 자체가 아니라 학습 의욕 때문입니다. 인과관계를 주장하려면 이런 다른 요인들의 영향과 연구 설계를 함께 검토해야 합니다. 여러 요인을 함께 넣어 통제하는 방법은 04 다중선형회귀에서 다룹니다.

공부 시간과 시험 점수 사이에 대체로 양의 관계가 있다고 가정해 보겠습니다. 공부 시간이 늘어날수록 시험 점수도 높아지는 경향이 나타날 수 있습니다. 회귀분석은 관측된 데이터에 가장 잘 맞는 직선을 찾아 이러한 관계를 수식으로 표현할 수 있습니다.

그래프에서 점 하나는 관측된 데이터 하나를 나타내고, 직선은 데이터의 전반적인 관계를 나타냅니다. 점과 직선 사이의 주황색 세로 간격은 실제 관측값과 모형이 예측한 값의 차이이며, 이를 잔차(residual)라고 합니다. 예제 데이터의 회귀선은 “점수 = 50 + 5 × 공부 시간”입니다. 6시간 공부한 학생의 예측 점수는 80점인데 실제 점수는 84점이므로, 이 학생의 잔차는 +4점입니다.

점 하나를 위로 끌어 올리면 직선도 그쪽으로 조금 기울고, 잔차제곱합과 R²가 함께 바뀝니다. 특히 맨 끝에 있는 점을 움직이면 가운데 점을 움직일 때보다 기울기가 훨씬 크게 변합니다. 회귀선은 모든 점의 잔차를 함께 고려해 정해지기 때문입니다. “가장 잘 맞는 직선”을 정하는 정확한 기준은 다음 장 02 최소제곱법에서 살펴봅니다.

관측값들이 직선에 가까이 모여 있다면 직선이 데이터를 비교적 잘 설명할 수 있습니다. 반대로 점들이 직선에서 크게 벗어나 있다면 다른 설명변수를 추가하거나 비선형 관계를 검토할 필요가 있을 수 있습니다.

설명변수 하나와 종속변수 하나 사이의 선형 관계를 분석하는 대표적인 방법이 단순선형회귀입니다.

여기서 회귀계수 β₁은 설명변수 X가 한 단위 증가할 때 종속변수 Y의 평균적인 값이 얼마나 달라지는지를 나타냅니다.

β₀, β₁, ε은 모집단의 “진짜” 관계를 나타내는 기호이고, 우리는 그 값을 알 수 없습니다. 그래서 표본 데이터로 추정한 값은 b₀, b₁처럼 다른 기호로 쓰고, 추정된 식으로 계산한 예측값에는 Ŷ(와이 햇)처럼 모자를 씌웁니다. 오차 ε과 잔차 e의 관계도 같습니다. ε은 진짜 직선에서 벗어난 정도라 관측할 수 없고, 잔차는 추정한 직선에서 벗어난 정도라 데이터로 계산할 수 있습니다.

예를 들어 그림 1의 데이터에서 다음과 같은 회귀식이 추정되었습니다.

광고비와 매출의 단위가 각각 백만 원이라고 하면 다음과 같이 해석할 수 있습니다.

• 절편 20: 광고비가 0일 때 예상 매출은 2,000만 원입니다.
• 기울기 3: 광고비가 100만 원 증가할 때 예상 매출은 평균적으로 300만 원 증가합니다.
• 예측: 광고비가 5백만 원이면 예상 매출은 20 + 3 × 5 = 35, 즉 3,500만 원입니다.

기울기 해석의 “평균적으로”가 중요합니다. 광고비를 100만 원 늘린 모든 매장의 매출이 정확히 300만 원 오른다는 뜻이 아니라, 광고비가 비슷한 매장들의 평균 매출이 그만큼 높다는 뜻입니다. 또 절편은 X = 0이 데이터 범위 안에 있을 때만 의미 있게 해석할 수 있습니다. 이 예제의 광고비는 1~10이라 0은 데이터 밖이므로, 절편은 해석보다 직선의 위치를 정하는 값으로 보는 편이 안전합니다. 같은 이유로 데이터 범위를 크게 벗어난 값(예: 광고비 50)으로 예측하는 것도 조심해야 합니다.

회귀분석은 크게 세 가지 목적에 활용됩니다. 그림 5는 같은 광고비 데이터를 세 가지 목적으로 읽은 것입니다.

• ① 관계 설명: 광고비와 매출이 어떤 방향으로 관련되어 있는지, 그 관계의 크기가 어느 정도인지 추정합니다. 이 예제에서는 광고비가 1 늘 때 매출이 평균 3 늘어납니다.
• ② 결과 예측: 광고비, 가격, 고객 특성 등의 정보를 이용해 예상 매출이나 구매량을 계산합니다. 광고비가 7.5인 매장의 예상 매출은 42.5입니다.
• ③ 가설 검정: 추정된 관계가 표본의 우연한 변동만으로 설명될 수 있는지 통계적으로 평가합니다. 실제로는 관계가 없는데(기울기 0) 우연히 이 정도 기울기가 나올 가능성을 계산하면 p < 0.001로 매우 작습니다. 검정 방법은 05 회귀계수의 통계적 추론에서 다룹니다.

이 세 목적은 서로 연결되어 있지만 같은 것은 아닙니다. 예측력이 좋은 모형이라고 해서 각 설명변수의 영향이 인과적으로 입증된 것은 아니며, 통계적으로 유의한 관계가 반드시 실무적으로 중요한 것도 아닙니다.

회귀분석에서는 추정된 모형이 데이터의 변동을 얼마나 설명하는지도 확인합니다. 대표적인 지표가 결정계수(R²)입니다.

R²는 일반적인 절편 포함 최소제곱 회귀에서 종속변수의 관측값 변동 중 모형이 설명하는 비율을 나타냅니다. 예를 들어 R² = 0.80이라면 해당 데이터에서 종속변수 변동의 80%가 모형에 의해 설명된다는 뜻입니다. 0에서 1 사이의 값을 가지며, 1에 가까울수록 점들이 회귀선 가까이 모여 있습니다.

그림 6의 두 데이터는 기울기가 비슷하지만 R²는 약 0.91과 0.38로 크게 다릅니다. 오른쪽처럼 R²가 낮아도 관계 자체는 있을 수 있습니다. 다만 같은 광고비에서도 매출이 크게 흩어지므로 개별 매장의 예측은 부정확해집니다. 그림 1의 광고비 예제는 R² ≈ 0.84로, 매출 변동의 약 84%를 광고비 직선이 설명합니다. 설명변수가 하나인 단순선형회귀에서는 R²가 두 변수의 상관계수를 제곱한 값과 같습니다.

하지만 R²가 높다고 해서 모형이 반드시 정확하거나 적절한 것은 아닙니다. 새로운 데이터에 대한 예측력, 잔차 패턴, 변수 선택과 연구 목적도 함께 살펴봐야 합니다. 잔차 패턴을 확인하는 방법은 06 회귀모형의 진단에서 다룹니다.

회귀분석에는 연구 목적과 데이터 특성에 따라 다양한 방법이 있습니다. 대부분 이 파트의 뒤 장에서 하나씩 자세히 다룹니다.

어떤 방법이 적절한지는 단순히 변수의 개수만으로 결정되지 않습니다. 종속변수의 유형, 데이터 수집 방식, 분석 목적과 모형 가정을 함께 고려해야 합니다. 예를 들어 종속변수가 “구매 여부”처럼 예/아니오라면 직선 회귀 대신 로지스틱 회귀를 씁니다. 상황별로 방법을 고르는 기준은 회귀분석 선택 가이드에 정리되어 있습니다.

회귀분석은 변수 사이의 관계를 수식으로 표현하고, 그 관계의 크기를 추정하거나 결과를 예측하는 통계분석 방법입니다.

설명변수와 종속변수의 역할을 구분하고, 회귀계수와 잔차가 무엇을 의미하는지 이해하는 것이 출발점입니다. 이후에는 회귀선을 어떻게 추정하는지, 추정된 계수가 통계적으로 의미 있는지, 모형이 데이터를 적절하게 설명하는지를 차례로 살펴보게 됩니다.

다음은 02 최소제곱법(OLS)입니다. 관측값과 회귀선 사이의 차이를 이용해 회귀계수를 어떻게 추정하는지 알아봅니다.