최소제곱법 (OLS)

회귀분석에서 데이터의 관계를 직선이나 수식으로 표현하려면 각 변수의 계수를 정해야 합니다. 그런데 실제 데이터에는 오차와 변동이 있기 때문에 모든 관측값을 정확하게 통과하는 직선을 찾기는 어렵습니다.

최소제곱법(Ordinary Least Squares, OLS)은 관측값과 모형의 예측값 사이의 차이를 제곱해 합한 값이 가장 작아지도록 회귀계수를 정하는 방법입니다. 회귀분석이 데이터를 가장 잘 설명하는 관계를 어떻게 찾는지 이해하려면 먼저 OLS의 원리를 알아야 합니다.

1장의 광고비 예제를 다시 보겠습니다. 광고비가 늘어날수록 매출도 증가하는 경향이 있지만, 매출은 광고비만으로 결정되지 않으므로 관측값이 완벽하게 직선 위에 놓이지는 않습니다. 이 점들 사이에 직선은 얼마든지 그을 수 있습니다.

그림 1의 세 직선 중 어느 것이 “가장 잘 맞는” 직선일까요? 각 점과 직선 사이의 수직 거리는 실제값과 예측값의 차이를 의미합니다. 회귀분석은 이 점들 사이를 가장 잘 대표하는 직선을 찾으려 합니다. 판단 기준은 다음과 같습니다.

• 실제 매출과 예측 매출의 차이가 작을수록 좋습니다.
• 어떤 관측값에서는 예측이 높고, 다른 관측값에서는 낮을 수 있으므로 오차를 단순히 더하면 서로 상쇄될 수 있습니다.
• 큰 오차가 발생한 관측값도 적합도를 평가할 때 충분히 반영해야 합니다.

OLS는 이러한 문제를 해결하기 위해 오차를 제곱한 뒤 모두 더한 값을 기준으로 사용합니다. 그림 1에서 이 값(SSE)을 계산하면 직선 A와 B는 360, 빨간 직선 C는 144입니다. C가 가장 작으므로 OLS는 C, 즉 “매출 = 20 + 3 × 광고비”를 선택합니다. 실제로 이 데이터에서는 어떤 직선을 그어도 144보다 작아지지 않습니다.

잔차(Residual)는 실제 관측값에서 회귀모형이 예측한 값을 뺀 차이입니다.

예를 들어 실제 매출이 50이고 모형이 예측한 매출이 46이라면 잔차는 50 − 46 = 4입니다. 반대로 실제 매출이 50인데 54로 예측했다면 잔차는 50 − 54 = −4입니다. 잔차가 양수이면 실제값이 예측값보다 크고, 음수이면 실제값이 예측값보다 작습니다.

그림 2는 다음 절에서 사용할 세 관측값의 잔차입니다. 첫 번째 관측값은 실제값(10)이 예측값(12)보다 작아 잔차가 −2이고, 나머지 두 관측값은 실제값이 더 커서 잔차가 +1, +2입니다.

OLS는 각 잔차를 제곱한 다음 합산합니다. 이를 잔차제곱합(Sum of Squared Errors, SSE)이라고 합니다.

관측값이 3개이고 실제값과 예측값이 다음과 같다고 가정해 보겠습니다.

이 모형의 잔차제곱합은 4 + 1 + 4 = 9입니다. 이름 그대로 잔차를 한 변으로 하는 정사각형을 그리면, SSE는 그 정사각형 넓이의 합입니다. OLS는 가능한 회귀계수 중에서 이 넓이의 합이 가장 작아지는 계수를 선택합니다. 즉, 위 표의 예측값을 만드는 모형보다 SSE가 더 작은 모형이 있다면 그 모형을 선택하는 방식입니다.

잔차를 제곱하는 데에는 세 가지 주요 이유가 있습니다.

• ① 양수와 음수의 상쇄 방지: 잔차를 그대로 더하면 +5와 −5가 상쇄되어 오차가 없는 것처럼 보일 수 있습니다. 제곱하면 두 값은 모두 양수가 됩니다. 실제로 OLS로 구한 회귀선은 잔차를 그대로 더하면 항상 0이 됩니다. 광고비 예제도 잔차 10개의 합은 0이지만, 제곱해서 더하면 144입니다.
• ② 큰 오차에 더 큰 불이익 부여: 오차가 2이면 제곱값은 4지만, 오차가 5이면 25입니다. 따라서 큰 오차가 발생한 관측값은 목적함수에 더 크게 반영됩니다.
• ③ 수학적으로 최적화하기 편리함: 제곱함수는 미분할 수 있어 최솟값을 찾기 위한 계산과 해석이 편리합니다. 계수를 바꿔 가며 SSE를 그리면 매끈한 그릇 모양이 되고, 바닥에서 기울기가 0이 되는 지점을 찾으면 됩니다. 그래서 선형회귀에서는 회귀계수를 계산하는 명확한 공식을 구할 수 있습니다.

다만 큰 오차를 강하게 반영한다는 특징은 단점이 되기도 합니다. 극단적인 관측값이나 이상치가 있으면 회귀계수가 크게 영향을 받을 수 있습니다. 예를 들어 광고비 예제에서 광고비 10인 매장의 매출 50이 10으로 잘못 입력되면, 그 관측값 하나 때문에 기울기가 3.0에서 0.8로 떨어집니다. 큰 잔차를 제곱하면 아주 커지므로, 회귀선이 그 점 쪽으로 크게 끌려가는 것입니다.

단순한 선형회귀모형을 예로 들면 예측값은 ŷ_i = b₀ + b₁x_i로 표현됩니다. 여기서 b₀는 절편, b₁은 기울기입니다. OLS는 두 계수를 조정하여 잔차제곱합을 최소화합니다.

단순선형회귀에서는 다음과 같은 계산식을 사용할 수 있습니다.

기울기 공식의 분자는 x와 y가 각자의 평균에서 같은 방향으로 벗어나는 정도(함께 움직이는 정도)이고, 분모는 x가 퍼져 있는 정도입니다. 즉 기울기는 “x가 퍼진 만큼에 비해 y가 얼마나 함께 움직였는가”입니다. 절편 공식은 회귀선이 항상 두 평균이 만나는 점 (x̄, ȳ)를 지난다는 뜻입니다.

매장 5곳의 작은 예제로 직접 계산해 보겠습니다.

분자는 28, 분모는 10이므로 b₁ = 28 ÷ 10 = 2.8이고, b₀ = 29 − 2.8 × 3 = 20.6입니다. 따라서 회귀식은 “매출 = 20.6 + 2.8 × 광고비”입니다. 같은 방법으로 1장의 매장 10곳 데이터를 계산하면 기울기 3, 절편 20이 나옵니다.

이 공식은 데이터를 바탕으로 기울기와 절편을 계산하는 방법입니다. 변수가 여러 개인 다중선형회귀에서도 같은 최소제곱 원리를 적용할 수 있지만, 계수를 계산하는 방식은 행렬 형태로 확장됩니다. 중요한 점은 OLS가 단순히 직선을 그리는 방법이 아니라, 정해진 모형 안에서 어떤 계수가 데이터를 가장 잘 설명하는지 수학적으로 결정하는 방법이라는 것입니다.

OLS를 공부할 때 자주 등장하는 세 지표를 구분해야 합니다.

SSE는 모형의 전체 잔차 제곱을 합산합니다. MSE는 이를 관측값 수로 나누고, RMSE는 다시 제곱근을 취합니다. 앞의 세 관측값 예제라면 SSE 9, MSE 9 ÷ 3 = 3, RMSE √3 ≈ 1.73입니다.

같은 데이터에서 같은 관측값 수를 사용하는 경우 SSE, MSE, RMSE는 모두 동일한 방향으로 모형의 오차를 평가합니다. 따라서 이 경우 세 지표를 최소화하는 모형은 같습니다.

다만 RMSE는 원래 종속변수와 같은 단위를 가지므로 오차 규모를 직관적으로 이해하기 쉽습니다. 매출이 백만 원 단위라면 RMSE 1.73은 “예측이 평균적으로 170만 원 정도 빗나간다”로 읽을 수 있습니다. 반면 SSE는 관측값 수와 단위의 영향을 받으므로 서로 다른 데이터셋을 직접 비교할 때 주의해야 합니다.

OLS는 회귀계수를 계산하는 방법이므로, 모든 통계적 가정이 충족되어야만 계산할 수 있는 것은 아닙니다. 다만 결과를 어떻게 해석하고 추론할 수 있는지는 가정에 따라 달라집니다.

그림 6처럼 표의 조건은 두 묶음으로 나뉩니다. 왼쪽 조건은 계수를 계산하고 그 계수가 평균적으로 맞는 값(불편 추정량)이 되기 위한 것이고, 오른쪽 조건은 표준오차, 신뢰구간, p값을 믿기 위한 것입니다. 이 중 외생성은 1장의 학습 의욕 예처럼 빠진 변수가 X와 Y에 함께 영향을 주면 깨집니다. 이때는 데이터가 아무리 많아도 계수가 한쪽으로 치우칩니다.

따라서 OLS로 계수를 구했다고 해서 그 결과가 자동으로 신뢰할 만한 것은 아닙니다. 모형의 형태, 데이터 구조, 이상치, 잔차의 패턴을 함께 확인해야 합니다.

• 이상치가 큰 영향을 주는 경우: 잔차를 제곱하기 때문에 극단적인 관측값에 민감할 수 있습니다.
• 관계가 비선형인 경우: 직선이 데이터의 관계를 충분히 표현하지 못할 수 있습니다. 변수 변환이나 다항회귀 등을 검토할 수 있습니다.
• 오차의 분산이 일정하지 않은 경우: 이분산성이 있으면 일반적인 표준오차 대신 로버스트 표준오차 등을 고려할 수 있습니다.
• 관측값 사이에 의존성이 있는 경우: 시계열이나 군집 데이터에서는 데이터 구조에 맞는 추론 방법이 필요할 수 있습니다.

OLS가 적합하지 않다고 해서 언제나 다른 추정법으로 바꿔야 하는 것은 아닙니다. 먼저 어떤 가정이 위반되었고, 그 문제가 계수 추정과 통계적 추론 중 어디에 영향을 미치는지 구분하는 것이 중요합니다. 예를 들어 이분산성은 계수는 그대로 두고 표준오차만 고치면 되지만, 비선형 관계는 모형의 형태를 바꿔야 합니다. 이런 문제를 찾아내는 방법은 06 회귀모형의 진단, 대안은 08 변수 변환과 다항회귀와 11 로버스트·분위회귀에서 다룹니다.

• OLS(최소제곱법)는 잔차제곱합이 최소가 되도록 회귀계수를 추정하는 방법입니다.
• 잔차는 실제값과 예측값의 차이이며, 제곱하면 양수와 음수의 상쇄를 방지할 수 있습니다.
• SSE, MSE, RMSE는 서로 관련된 오차 지표이지만 계산 방식과 해석이 다릅니다.
• OLS는 회귀계수를 계산하는 방법이며, 계수의 신뢰성과 통계적 추론은 데이터와 모형의 가정에 따라 달라집니다.
• 이상치, 비선형성, 이분산성, 관측값 간 의존성은 별도로 점검해야 합니다.

다음은 03 단순선형회귀입니다. 설명변수 하나와 종속변수 하나를 사용하는 단순선형회귀에서 절편과 기울기가 실제 데이터로 어떻게 계산되고, 각각 어떤 의미를 갖는지 구체적인 예제로 알아봅니다.