회귀계수의 통계적 추론

회귀분석을 실행하면 각 변수의 회귀계수와 p값 등이 출력됩니다. 하지만 계수가 양수라고 해서 반드시 의미 있는 관계가 있다고 볼 수는 없고, p값이 작다고 해서 그 관계가 실질적으로 크거나 중요한 것도 아닙니다.

회귀계수의 통계적 추론은 표본에서 추정한 관계가 모집단에서도 성립한다고 볼 만한 통계적 근거가 있는지 평가하는 과정입니다. 03장에서 학생 5명의 데이터로 t값, p값, 신뢰구간을 한 번 계산해 보았습니다. 이 장에서는 그 숫자들이 각각 무엇을 뜻하는지, 표준오차·신뢰구간·t검정·p값을 연결해서 살펴보고 실제 분석 결과를 해석하는 방법을 정리합니다.

한 연구자가 학습 시간과 시험 점수의 관계를 분석했다고 가정하겠습니다. 회귀분석 결과, 학습 시간이 1시간 늘어날 때 시험 점수가 평균적으로 4.5점 높아지는 것으로 추정되었습니다. 그렇다면 모집단에서도 정확히 4.5점이 증가한다고 말할 수 있을까요?

그렇지는 않습니다. 분석에 사용한 학생들이 모집단 전체를 대표하지 않을 수 있고, 다른 표본을 추출하면 추정된 기울기가 달라질 수 있기 때문입니다.

그림 1은 실제로 기울기가 4.5인 모집단을 만들어 두고, 학생 30명씩 세 번 표본을 뽑아 각각 회귀선을 구한 모의실험입니다. 같은 모집단인데도 기울기가 4.1, 4.5, 4.9로 다르게 나옵니다. 통계적 추론은 이러한 표본 변동을 고려하여 회귀계수의 불확실성을 평가합니다.

표준오차는 추정된 회귀계수가 표본에 따라 얼마나 변동할 수 있는지를 나타내는 지표입니다. 그림 1의 모의실험을 2,000번 반복하면 기울기들이 4.5를 중심으로 퍼지는데, 그 퍼짐의 표준편차가 약 0.51입니다. 이것이 기울기의 표준오차입니다. 실제 분석에서는 표본을 한 번만 뽑으므로, 그 표본의 잔차와 X의 퍼짐으로 이 값을 추정합니다.

회귀계수의 표준오차가 작다면 추정치의 표본 변동이 상대적으로 작다는 뜻입니다. 반대로 표준오차가 크다면 계수의 추정이 불확실할 수 있습니다. 예를 들어 다음 두 결과를 비교해 보겠습니다.

두 모형의 추정된 기울기는 모두 4.5지만, 모형 A의 표준오차가 더 작습니다. 그림 2처럼 모형 A라면 표본을 다시 뽑아도 기울기가 대부분 3.5~5.5 사이에 나오지만, 모형 B라면 0 근처 값도 꽤 나올 수 있습니다. 따라서 다른 조건이 같다면 모형 A에서 기울기가 0과 구별되는지 더 명확하게 판단할 수 있습니다.

표준오차는 잔차가 클수록(점이 직선에서 많이 흩어질수록) 커지고, 표본이 많을수록, X 값이 넓게 퍼져 있을수록 작아집니다. 표준오차는 효과의 크기 자체가 아닙니다. 계수의 크기와 표준오차를 함께 살펴야 추정치의 불확실성을 이해할 수 있습니다.

신뢰구간은 모집단 회귀계수의 가능한 값을 평가하기 위해 사용하는 구간입니다. 일반적인 양측 95% 신뢰구간은 다음과 같이 계산합니다.

표본이 충분히 크고 조건이 적절하다면 임계값은 약 1.96에 가까워질 수 있습니다. 그러나 표본이 작을 때는 자유도에 따라 t 임계값을 사용해야 합니다. 그림 3처럼 자유도가 30이면 2.04, 10이면 2.23이고, 03장의 학생 5명 예제(자유도 3)에서는 3.18이었습니다. 표본이 작을수록 불확실성을 더 크게 반영해 구간을 넓히는 것입니다. 자유도는 대략 “관측값 수 − 추정한 계수의 수”입니다.

예를 들어 기울기 추정치가 4.5이고 표준오차가 0.5이며, 95% 신뢰구간 계산에 사용할 임계값을 약 2로 가정하면 다음과 같습니다.

따라서 95% 신뢰구간은 약 3.5에서 5.5입니다. 이 결과는 표본에 근거해 모집단의 기울기를 추정했을 때, 해당 구간이 얼마나 정밀한지를 보여 줍니다. 구간이 0을 포함하지 않으므로 기울기가 0이라는 가설과도 맞지 않습니다.

회귀계수에 대한 가설검정은 해당 변수가 모집단에서 선형적인 관계를 갖는지 평가하는 데 활용됩니다. 가장 일반적인 양측 검정은 다음과 같습니다.

t 통계량은 다음과 같이 계산합니다. 앞서 살펴본 기울기 4.5와 표준오차 0.5를 사용하면 t = 9입니다.

추정치가 표준오차의 9배만큼 0에서 떨어져 있다는 뜻입니다. 맨 위 그림과 그림 4처럼 기울기가 실제로 0이라면 t값은 대부분 −2와 2 사이에 나오는데, 9는 분포의 끝에서도 한참 바깥입니다. 적절한 모형 가정하에서 이는 귀무가설과 상당히 양립하기 어려운 결과일 수 있습니다. 반면 6절에서 볼 출석률의 t = 1.33은 분포의 몸통 안에 있습니다.

실제 유의확률을 계산하려면 자유도와 검정의 종류가 필요합니다. t 통계량의 절댓값이 크면 일반적으로 양측 p값은 작아집니다. 또한 t의 절댓값이 임계값(약 2)보다 크다는 것과 95% 신뢰구간이 0을 포함하지 않는다는 것은 같은 판단입니다.

p값은 귀무가설과 검정에 필요한 가정이 참이라고 가정했을 때, 관측된 결과만큼 또는 그보다 더 극단적인 검정통계량을 얻을 확률입니다.

그림 5는 출석률 계수(t = 1.33)의 p값입니다. 기울기가 0이라는 가설이 참일 때 t가 1.33보다 크거나 −1.33보다 작게 나올 확률, 즉 양쪽 꼬리 넓이의 합이 약 0.19입니다. 일반적으로 유의수준 0.05를 사용한다면 다음과 같이 판단합니다.

여기서 주의해야 할 점은 p값이 귀무가설이 참일 확률이 아니라는 것입니다. 예를 들어 p = 0.03이라고 해서 “관계가 우연일 확률이 3%”라고 해석하면 안 됩니다. 이는 귀무가설과 필요한 가정이 참일 때 관측된 결과 또는 더 극단적인 결과가 나올 확률에 관한 값입니다. 또한 p값이 0.05보다 크다고 해서 관계가 없다는 사실이 입증되는 것도 아닙니다. 표본이 작거나 추정의 불확실성이 크면 실제 관계가 있어도 유의한 결과를 얻지 못할 수 있습니다. p값의 일반적인 해석은 기초편 가설검정과 통계 결과 해석에서도 다뤘습니다.

다음은 가상의 회귀분석 결과입니다. 원고 표에 95% 신뢰구간(임계값 약 2)을 추가했습니다.

표의 값은 해석 연습을 위한 가상 결과이며, 실제 분석에서는 자유도와 반올림 방식 등에 따라 p값이 달라집니다.

학습 시간: 회귀계수는 4.5입니다. 다른 설명변수를 모형에 포함한 상태에서 학습 시간이 한 단위 증가하면 예상 점수가 평균적으로 4.5점 증가하는 관계를 보입니다. p값이 0.05보다 작으므로, 해당 검정의 가정하에서 기울기가 0이라는 귀무가설을 기각할 통계적 근거가 있습니다. 그림 6에서도 구간 [3.5, 5.5]가 0에서 멀리 떨어져 있습니다.

출석률: 회귀계수는 0.8입니다. 추정치는 양수지만 표준오차(0.6)에 비해 크지 않습니다. p값이 0.19이므로 유의수준 0.05에서 귀무가설을 기각할 충분한 근거가 없습니다.

출석률의 결과를 “출석률은 점수와 관계가 없다”고 단정해서는 안 됩니다. 신뢰구간 [−0.4, 2.0]을 보면 출석률이 1 오를 때 점수가 0.4점 내려갈 수도, 2점 오를 수도 있다는 뜻입니다. 데이터가 이 범위를 좁히지 못한 것이지, 관계가 0이라고 확인한 것이 아닙니다. 표본 크기 등을 함께 확인해야 합니다.

보고서에는 다음과 같이 작성할 수 있습니다.

표본 크기가 매우 크면 작은 효과도 통계적으로 유의할 수 있습니다. 반대로 실질적으로 중요한 효과라도 표본이 작으면 통계적으로 유의하지 않을 수 있습니다. 표준오차가 표본 크기에 따라 작아지기 때문입니다.

따라서 회귀계수를 해석할 때는 적어도 다음 세 가지를 함께 확인하는 것이 좋습니다.

• 효과의 크기: 회귀계수가 연구 맥락에서 얼마나 큰 변화인가?
• 추정의 불확실성: 표준오차와 신뢰구간이 얼마나 넓은가?
• 통계적 근거: p값이 사전에 정한 유의수준과 비교해 어떠한가?

예를 들어 점수가 0~100점 척도인 연구에서 기울기가 0.1점이고 p값이 0.001이라면 통계적으로 유의할 수는 있지만, 0.1점의 변화가 실제 의사결정에서 중요한지는 별도로 평가해야 합니다.

1. 모형 가정을 확인해야 합니다. 고전적인 t검정과 신뢰구간은 오차 구조 등 관련 가정에 의존합니다. 이분산성이나 관측값 간 의존성이 있으면 적절한 표준오차를 사용해야 합니다(06장).
2. 다중검정에 주의해야 합니다. 많은 회귀계수를 동시에 검정하면 우연히 유의한 결과가 나올 가능성이 증가할 수 있습니다. 유의수준 0.05로 관계없는 변수 20개를 검정하면 평균 1개는 우연히 유의하게 나옵니다.
3. 상관관계를 인과관계로 해석하지 않아야 합니다. 통계적으로 유의한 회귀계수만으로 인과효과가 입증되는 것은 아닙니다.
4. p값만으로 결론을 내리지 않아야 합니다. 효과의 크기, 신뢰구간, 연구 설계와 데이터의 질을 함께 평가해야 합니다.

• 표준오차는 회귀계수 추정의 불확실성을 나타냅니다.
• 신뢰구간은 모집단 회귀계수에 대한 추정의 정밀도를 평가합니다.
• t검정은 회귀계수가 특정 값, 흔히 0과 다른지 검정합니다.
• p값은 귀무가설이 참이라는 가정 아래 관측된 결과가 얼마나 극단적인지를 나타냅니다.
• 통계적 유의성은 효과의 크기나 실질적 중요성과 동일하지 않습니다.

다음은 06 회귀모형의 진단입니다. 회귀분석 결과를 신뢰하기 전에 확인해야 하는 잔차, 선형성, 등분산성, 정규성, 영향점 등을 살펴봅니다. 계수와 p값이 출력되었다는 이유만으로 분석이 적절하다고 판단할 수 없는 이유를 알아봅니다.