보팅·스태킹

같은 주택을 두고 선형회귀는 41만 달러, 랜덤 포레스트는 43만 달러, 그래디언트 부스팅은 42만 5천 달러라고 예측했다면 어떤 값을 믿어야 할까요? 모델 하나를 고르는 대신 여러 모델의 판단을 함께 사용할 수 있을까요?

이처럼 여러 예측 모델의 결과를 결합해 최종 예측값을 만드는 방법이 보팅(Voting)과 스태킹(Stacking)입니다. 보팅은 모델의 예측을 평균하거나 가중 평균하고, 스태킹은 기본 모델의 예측을 입력으로 받는 별도의 모델을 학습합니다.

랜덤 포레스트나 그래디언트 부스팅도 여러 학습기를 이용하지만, 보팅과 스태킹은 이미 구성한 서로 다른 종류의 모델을 결합할 수 있다는 점이 특징입니다. 다만 앙상블을 만들었다는 사실만으로 개별 모델보다 항상 성능이 좋아지는 것은 아닙니다.

주택가격, 매출, 수요, 고객 행동 등 연속형 값을 예측하는 문제에서 유용합니다. 이번 글에서는 주택 판매가격 예제를 통해 보팅과 스태킹의 원리, 예측 결합 과정, 데이터 누수 방지, 성능 비교, 다른 분석과의 차이, 결과 보고 방법을 살펴보겠습니다.

회귀 문제에서 보팅은 여러 모델이 예상한 숫자를 평균 또는 가중 평균하여 최종 예측값을 만듭니다. 반면 스태킹은 각 기본 모델이 만든 예측값을 새로운 설명변수로 사용해 메타모델을 학습합니다. 분류에서의 다수결 투표와 구별하기 위해 회귀 보팅은 보통 평균 결합이라고 설명합니다.

선형회귀는 변수 간 선형 관계를 비교적 명료하게 표현하지만 복잡한 비선형성을 놓칠 수 있습니다. 랜덤 포레스트는 여러 나무를 평균해 변동성을 줄이고, 그래디언트 부스팅은 이전 모델의 오차를 차례로 보완합니다. 서로 다른 오류가 섞이면 앙상블이 오차를 줄일 가능성이 있지만, 모델들이 같은 방향으로 틀리면 효과는 제한됩니다.

① 회귀 보팅: 예측값을 평균합니다

모델별 예측값이 410, 430, 425(천 달러)라면 단순 평균은 약 421.7(천 달러)입니다. 좋은 모델에 더 큰 비중을 주는 가중 평균도 가능하지만, 가중치는 평가자료를 보지 않고 학습 과정에서 정해야 합니다.

② 스태킹: 결합 방식을 학습합니다

스태킹에서는 기본 모델 세 개의 예측값을 메타모델의 입력으로 사용합니다. 메타모델은 어떤 상황에서 어느 모델의 예측을 더 신뢰할지 학습할 수 있습니다.

③ 최종 평가에서는 모델을 다시 선택하지 않습니다

학습자료 안에서 기본 모델, 결합 규칙, 하이퍼파라미터를 정한 뒤 마지막에 한 번만 독립 평가자료로 성능을 확인합니다. 평가 점수를 반복적으로 보고 조정하면 결과가 낙관적으로 바뀔 수 있습니다.

가상의 주택 매물 1,000건을 준비했습니다. 면적, 방 수, 건축연도, 지역, 역까지의 거리 등을 바탕으로 판매가격을 예측합니다. 800건은 학습과 교차검증에 사용하고, 200건은 최종 평가용으로 따로 둡니다.

결과표에 사용한 값은 방법을 설명하기 위해 설계한 가상 수치입니다. 실제 모델을 학습·평가해 얻은 성능으로 해석해서는 안 됩니다.

① 학습자료와 최종 평가자료를 분리합니다

최종 평가용 200건을 제외한 800건에서만 모델 개발을 진행합니다. 실제 거래시점을 고려해야 하면 무작위 분할 대신 시간 기반 분할이 적절할 수 있습니다.

② 세 가지 기본 모델을 학습합니다

선형회귀, 랜덤 포레스트, 그래디언트 부스팅을 같은 학습자료로 비교하고 교차검증을 통해 설정을 선택합니다.

③ 보팅 모델을 구성합니다

기본 모델의 예측을 단순 평균하거나, 학습자료의 교차검증 결과로 정한 가중치에 따라 결합합니다.

④ 스태킹의 메타모델을 학습합니다

각 학습 행을 제외한 폴드에서 훈련된 기본 모델의 예측값(OOF)을 모읍니다. 이 예측값으로 메타모델을 학습해야 자기 자신을 학습한 모델의 과도하게 좋은 예측을 그대로 사용하지 않게 됩니다.

⑤ 동일한 평가자료에서 성능을 비교합니다

선정 과정을 마친 다섯 모델을 최종 평가자료 200건에 적용해 예측오차를 비교합니다.

가중치가 큰 모델이 반드시 더 우수한 모델이라는 뜻은 아닙니다. 모델 간 오차의 상관관계도 결합 결과에 영향을 줍니다. 실제 데이터에서는 단순 평균부터 확인한 후 복잡한 방법을 비교하는 편이 좋습니다.

가상 결과에서 스태킹의 MAE는 2만 6천 달러로 다섯 모델 중 가장 낮습니다. 그러나 보팅의 2만 7천 달러와 차이는 1천 달러에 불과합니다. 이 차이가 우연한 평가 표본에 따른 것인지, 모델 복잡성이 증가할 만큼 실질적으로 중요한지는 추가 검토가 필요합니다.

MAE는 예측가격과 실제 판매가격의 차이를 절댓값으로 바꿔 평균한 값입니다. MAE가 2만 6천 달러라면 평가자료에서 절대 오차의 평균이 그 정도였다는 의미입니다. RMSE는 큰 오차에 더 큰 비중을 두므로, 일부 주택에서 가격을 크게 틀렸는지 살피는 데 도움이 됩니다.

기본 모델들의 오류가 너무 비슷하지 않나요?

세 모델이 같은 집에 대해 비슷하게 틀린다면 평균을 내도 개선 폭이 작을 수 있습니다. 예측값과 잔차의 상관관계를 확인해 보세요.

스태킹에서 데이터 누수가 생기지 않나요?

메타모델 학습에 기본 모델의 학습자료 내 직접 예측값을 쓰면 과적합이 발생하기 쉽습니다. OOF 예측을 사용하고 모든 전처리를 교차검증의 학습 폴드 내에서 적합해야 합니다.

복잡성을 감수할 만큼 성능이 좋아졌나요?

성능 향상 폭이 작다면 학습·운영 비용, 설명 가능성, 추론 지연을 고려해 단순 모델이나 보팅을 선택할 수 있습니다.

지역·시점별로 일반화되나요?

인근 동일 단지 매물이나 인접한 거래 시점이 양쪽 자료에 섞이면 실제 신규 매물의 예측 성능보다 높게 평가될 수 있습니다.

보고서에는 표본 수, 입력변수, 데이터 분할 방식, 결측치·범주형 변수 처리, 개별 모델 설정, 보팅 가중치, 스태킹의 폴드 구성과 메타모델, 평가 지표 및 주택가격의 단위를 명시합니다.

모든 분야에서 스태킹이 정답은 아닙니다. 독립 평가를 통해 개선 효과가 확인되고 운영할 수 있는 복잡도인지 판단하는 것이 중요합니다.

주택 판매가격 예제에서 선형회귀, 랜덤 포레스트, 그래디언트 부스팅은 같은 매물을 놓고 서로 다른 가격을 예측했습니다. 보팅은 세 값을 평균해 최종 가격을 만들었고, 스태킹은 기본 모델의 예측을 바탕으로 결합 규칙을 추가로 학습했습니다. 가상 결과에서는 스태킹이 가장 낮은 MAE를 보였지만, 개별 모델과 앙상블의 성능 차이가 실제 자료에서도 재현된다고 단정할 수는 없습니다.

특히 스태킹은 메타모델을 학습하는 과정에서 데이터 누수를 막는 설계가 중요합니다. 학습 행을 직접 예측한 값을 그대로 메타모델에 넣지 않고 교차검증 기반 OOF 예측을 사용해야 합니다. 최종 평가자료는 모델을 고르고 가중치를 조정하는 데 반복 사용하지 않아야 합니다. 예측 정확도뿐 아니라 유지관리 비용과 설명 가능성까지 고려한다면, 개선 폭이 작은 상황에서는 단순 보팅이나 잘 작동하는 단일 모델이 더 적절할 수도 있습니다.