단순선형회귀

단순선형회귀는 하나의 설명변수로 하나의 종속변수를 설명하거나 예측하는 회귀분석 방법입니다. 앞선 장에서 최소제곱법(OLS)이 회귀계수를 어떻게 추정하는지 살펴봤습니다. 이번에는 그 원리를 실제 회귀식에 적용해 보겠습니다. 회귀식의 기울기와 절편이 무엇을 의미하는지, 분석 결과를 어떻게 해석하는지 이해하는 것이 핵심입니다.

예를 들어, 한 교육기관에서 학생들의 학습 시간과 시험 점수 사이의 관계를 알아보려 한다고 가정해 보겠습니다. 학습 시간이 늘어날수록 시험 점수도 높아지는 경향이 있는지 확인하고 싶다면 다음과 같이 변수를 설정할 수 있습니다.

이때 단순선형회귀는 학습 시간과 시험 점수 사이의 관계를 하나의 직선으로 표현합니다. 그림 1은 이 장에서 계속 사용할 학생 5명의 데이터와 그 회귀선입니다.

다음과 같은 질문에 활용할 수 있습니다.

• 학습 시간이 1시간 늘어날 때 시험 점수는 평균적으로 얼마나 달라지는가? → 기울기(섹션 3)
• 학습 시간과 시험 점수 사이에는 양의 관계가 있는가? → 기울기의 검정(섹션 6)
• 특정 학습 시간에서 예상되는 시험 점수는 얼마인가? → 예측값(섹션 4)

단, 회귀분석에서 관계가 확인되더라도 학습 시간이 점수 상승의 직접적인 원인이라고 단정할 수는 없습니다. 학생의 사전 지식, 학습 방법 등 다른 요인이 함께 작용할 수 있기 때문입니다.

단순선형회귀는 모집단의 관계와, 표본으로 추정한 관계를 서로 다른 식으로 씁니다.

두 식의 차이를 구분해 두는 것이 좋습니다.

• Y_i: 실제 관측된 종속변수 값 · Ŷ_i: 회귀모형이 예측한 값 · X_i: 설명변수
• β₀, β₁: 모집단 회귀식의 절편과 기울기
• ε_i: 설명변수로 설명되지 않는 오차
• b₀, b₁: 표본 데이터로 추정한 절편과 기울기

그림 2의 점선이 모집단 회귀선입니다. 우리는 이 선을 직접 볼 수 없고, 손에 쥔 학생 5명의 데이터로 빨간 선을 추정할 뿐입니다. 다른 학생 5명을 뽑았다면 빨간 선도 조금 달라졌을 것입니다. 즉, 실제 데이터로 추정한 회귀식은 관측값 전체의 경향을 직선으로 나타낸 것이고, b₁은 β₁에 대한 추정값입니다. 이 차이가 섹션 6에서 기울기를 “검정”해야 하는 이유입니다.

• b₀ 절편 (Intercept): 설명변수 X = 0일 때 모형이 예측하는 종속변수의 값입니다.
• b₁ 기울기 (Slope): 설명변수가 한 단위 증가할 때 종속변수의 예측값이 평균적으로 얼마나 변하는지 나타냅니다.

예를 들어 다음과 같은 회귀식이 추정되었다고 가정하겠습니다(섹션 4의 데이터와는 별개의 예시입니다).

• 절편 52: 학습 시간이 0시간일 때 예상 점수는 52점입니다.
• 기울기 4.5: 학습 시간이 1시간 증가할 때 예상 점수는 4.5점 높아집니다.

여기서 4.5점은 모든 학생이 실제로 정확히 4.5점씩 오른다는 뜻이 아닙니다. 모형이 추정한 평균적인 관계를 의미합니다. 또한 그림 3의 회색 영역처럼 학습 시간이 0시간인 관측값이 없거나 현실적으로 의미가 없는 경우에는 절편을 해석할 때 주의해야 합니다. 이때 절편은 “0시간 학생의 점수”라기보다 직선의 높이를 정하는 값입니다.

다음은 학습 시간과 시험 점수를 기록한 가상의 데이터입니다.

이 데이터에 단순선형회귀를 적용하면, 설명변수와 종속변수 사이의 전반적인 선형 관계를 추정할 수 있습니다. 02장의 공식으로 계산하면 x̄ = 3, ȳ = 66, Σ(x − x̄)(y − ȳ) = 52, Σ(x − x̄)² = 10이므로 기울기는 52 ÷ 10 = 5.2, 절편은 66 − 5.2 × 3 = 50.4입니다.

따라서 이 회귀식에서 학습 시간이 1시간 증가하면 예측 점수는 5.2점 높아집니다. 예를 들어 학습 시간이 4시간인 학생 D의 예측값은 다음과 같이 계산합니다.

모형이 예측한 점수는 71.2점이고 실제 점수는 69점이므로, 실제 점수가 모형의 예측보다 2.2점 낮았습니다. 위 표처럼 다섯 학생 모두 같은 방식으로 예측값과 잔차를 구할 수 있으며, 잔차를 모두 더하면 0이 됩니다.

이처럼 회귀식은 특정한 설명변수 값에서 종속변수의 예측값을 계산하고, 실제 관측값과 비교하는 데 사용할 수 있습니다.

가능한 직선은 무수히 많습니다. 단순선형회귀는 그중에서 잔차제곱합이 최소가 되는 직선을 선택합니다.

각 관측값과 회귀선 사이의 수직 거리를 잔차라고 하며, 모든 잔차를 제곱해 더한 값이 작을수록 해당 데이터에 더 잘 맞는 직선으로 평가됩니다. 그림 5에서 다른 두 직선의 SSE는 46.0과 33.0이고, 회귀선은 13.6입니다. 이 데이터에서는 어떤 직선도 13.6보다 작은 SSE를 만들 수 없습니다. 원리는 02 최소제곱법에서 자세히 다뤘습니다.

여기서 중요한 점은 회귀선이 모든 관측값을 반드시 통과하지는 않는다는 것입니다. 실제 데이터에는 설명변수 외의 요인과 무작위 변동이 존재하기 때문에, 회귀선은 전체적인 경향을 가장 잘 나타내는 방향으로 결정됩니다.

기울기가 양수라고 해서 설명변수와 종속변수 사이에 통계적으로 유의한 관계가 있다고 바로 결론 내릴 수는 없습니다. 표본에서 관찰된 관계가 우연한 변동만으로도 나타날 수 있기 때문입니다. 일반적으로 기울기에 대해 다음과 같은 가설을 검정합니다.

분석에서는 추정된 기울기, 표준오차, t 통계량, p값 및 신뢰구간 등을 확인합니다. 예제 데이터의 결과는 다음과 같습니다.

t 통계량은 추정한 기울기가 표준오차의 몇 배인지를 나타냅니다. 그림 6처럼 기울기가 0이라는 귀무가설이 참이라면 t값은 대부분 −3.18과 3.18 사이에 나와야 하는데, 관측된 t = 7.72는 그보다 훨씬 바깥에 있습니다. p값이 사전에 정한 유의수준보다 작다면 귀무가설을 기각할 근거가 있다고 판단합니다. 같은 결론을 신뢰구간으로도 읽을 수 있습니다. 기울기의 95% 신뢰구간 [3.1, 7.3]이 0을 포함하지 않기 때문입니다. 표준오차와 자유도가 어떻게 계산되는지는 05 회귀계수의 통계적 추론에서 다룹니다.

다만 통계적 유의성은 관계의 크기나 실질적인 중요성과 같은 의미가 아닙니다. 이 예제처럼 학생이 5명뿐이면 신뢰구간이 3.1점에서 7.3점까지 넓습니다. 표본 크기와 추정의 불확실성도 함께 고려해야 합니다.

결정계수 R²는 회귀모형이 종속변수의 변동을 얼마나 설명하는지 나타내는 지표입니다.

여기서 SSE는 잔차제곱합, SST는 종속변수의 전체 변동을 나타내는 제곱합(각 점수와 평균 점수 차이의 제곱합)입니다. 예제 데이터에서는 SST = 284, SSE = 13.6이므로 R² = 1 − 13.6 ÷ 284 ≈ 0.95입니다. 점수 변동의 약 95%를 학습 시간 직선이 설명한다고 해석할 수 있습니다. 마찬가지로 R² = 0.80이라면 해당 표본에서 모형이 종속변수의 변동 중 약 80%를 설명합니다.

하지만 R²가 높다고 해서 다음을 보장하지는 않습니다.

• 설명변수가 종속변수의 원인이라는 것
• 회귀계수가 통계적으로 유의하다는 것
• 새로운 데이터에서도 예측이 정확하다는 것
• 모형의 가정이 충족되었다는 것

그림 7은 통계학자 Anscombe가 만든 유명한 네 데이터입니다. 네 데이터 모두 회귀식(Ŷ ≈ 3.0 + 0.5X)과 R²(≈ 0.67)가 거의 같지만, 첫 번째만 직선 관계이고 나머지는 곡선, 이상치 하나, 점 하나가 기울기를 결정하는 경우입니다. 숫자만 보고는 이 차이를 알 수 없습니다. 따라서 R²만으로 모형의 적합성을 판단하기보다는 산점도와 잔차 진단, 계수의 불확실성, 데이터의 특성을 함께 확인해야 합니다.

보고서에는 다음과 같이 작성할 수 있습니다.

외삽의 예를 들면, 이 데이터의 학습 시간은 1~5시간입니다. 회귀식에 20시간을 넣으면 154.4점이 나오지만, 시험 만점을 넘는 이 값은 의미가 없습니다. 관계가 관측 범위 밖에서도 직선으로 이어진다는 보장이 없기 때문입니다.

특히 설명변수 하나만 사용하는 단순선형회귀에서는 다른 요인이 고려되지 않는다는 점이 중요합니다. 실제 데이터에서는 여러 변수가 종속변수와 관련되어 있을 수 있으므로, 연구 목적에 따라 다중선형회귀가 더 적절할 수 있습니다.

• 단순선형회귀는 하나의 설명변수로 하나의 종속변수를 설명하거나 예측합니다.
• 회귀식은 Ŷ = b₀ + b₁X로 표현합니다.
• 절편은 X = 0일 때의 예측값이고, 기울기는 X가 한 단위 증가할 때 예측값이 변하는 정도입니다.
• OLS는 잔차제곱합을 최소화해 회귀계수를 추정합니다.
• 계수의 통계적 유의성, R², 잔차 진단은 서로 다른 정보를 제공하므로 함께 살펴봐야 합니다.

다음은 04 다중선형회귀입니다. 설명변수가 두 개 이상일 때 각 회귀계수를 어떻게 해석하는지, 다른 변수의 영향을 통제한다는 것이 어떤 의미인지 살펴봅니다.