시계열 백테스팅과 롤링 오리진 검증

운영팀은 최근 156주간의 주간 전력 사용량을 확보했으며, 계절적 수요와 설비 가동 패턴이 예측에 영향을 미칠 수 있다고 판단했습니다.

여기서 계절적 나이브(Seasonal Naive)는 이전 계절의 같은 위치에 해당하는 값을 그대로 예측하는 기준 모형입니다. 주간 자료에 연간 계절성이 있다고 가정한다면 52주 전 값을 사용하는 방식이 한 가지 예입니다. 다만 실제 계절 주기는 데이터의 생성 과정에 따라 선택해야 합니다.

연구 질문은 "실제 예측 시점에 확보할 수 있는 자료만 사용했을 때, 어떤 모형이 향후 4주간 전력 사용량을 가장 안정적으로 예측하는가?"입니다.

따라서 마지막 4주인 153~156주는 최종 홀드아웃으로 남겨두고, 1~152주만 사용해 후보 모형과 설정을 결정합니다.

개발 구간 안에서 여러 차례 백테스팅을 수행한 뒤, 가장 적절한 모형을 선택하고 1~152주 전체로 다시 학습합니다. 그 후 처음으로 153~156주를 예측해 최종 점수를 계산합니다. 이 최종 결과를 보고 다시 모델이나 설정을 바꾼다면 홀드아웃은 더 이상 독립적인 평가용 자료가 아닙니다.

최종 홀드아웃은 단순히 마지막에 떼어놓은 데이터가 아니라 모형 선택에 사용하지 않기로 약속한 자료라는 점이 중요합니다.

예를 들어 첫 번째 검증에서는 120주까지 학습한 뒤 121~124주를 예측하고, 두 번째 검증에서는 128주까지 학습한 뒤 129~132주를 예측할 수 있습니다.

모든 폴드는 학습 데이터보다 이후의 4주를 예측합니다. 149~152주는 개발 구간에 남아 있으므로 최종 모형을 재학습할 때 사용할 수 있으며, 153~156주의 최종 홀드아웃은 백테스팅에 포함하지 않습니다.

폴드 사이에 사용하지 않은 주가 있다고 해서 반드시 잘못된 것은 아닙니다. 예측 시작점을 얼마나 자주 이동할지는 계산 비용, 예측 주기, 데이터의 길이를 고려해 결정합니다. 예측 성능을 더 세밀하게 평가하려면 시작점을 매주 이동하는 방식도 가능합니다.

확장 학습창은 1~120주, 1~128주처럼 새로운 자료가 생길 때마다 학습 구간을 늘립니다. 오래된 정보도 계속 유용하다면 많은 관측값을 활용할 수 있다는 장점이 있습니다.

반면 고정 학습창은 최근 104주처럼 일정한 길이만 유지하면서 창을 앞으로 이동시킵니다. 예를 들어 첫 번째 학습 구간이 17~120주라면 다음에는 25~128주를 사용할 수 있습니다. 운영 방식이 최근에 크게 변해 오래된 자료가 현재 상황을 잘 설명하지 못할 때 유용할 수 있습니다.

어느 방식이 항상 우수한 것은 아닙니다. 실제 예측 시스템이 매번 어떤 자료로 재학습되는지에 맞춰 검증 방식도 설정해야 합니다.

가장 많이 사용하는 지표 중에는 평균절대오차(MAE), 평균제곱근오차(RMSE), 평균절대백분율오차(MAPE)가 있습니다. MAE는 오차의 절댓값을 평균한 값입니다.

RMSE는 오차를 제곱한 뒤 평균하고 제곱근을 취합니다. 큰 오차에 상대적으로 더 큰 불이익을 주므로 전력 부족이 크게 발생하는 상황을 특히 중요하게 평가하고 싶을 때 참고할 수 있습니다.

MAPE는 실제값 대비 오차를 백분율로 나타냅니다. 하지만 실제값이 0이면 정의되지 않으며, 0에 가까울 때 지나치게 커질 수 있습니다. 이 때문에 모든 시계열에서 적절한 지표는 아닙니다.

냉장물류센터의 전력 사용량은 kWh 단위이므로 MAE와 RMSE를 해석하기 쉽습니다. 서로 규모가 다른 여러 센터를 비교한다면 MASE 같은 규모 조정 지표도 검토할 수 있습니다.

서로 규모가 다른 시계열의 예측 성능을 비교하는 데 유용합니다. 계절 주기가 m인 시계열의 계절적 MASE는 일반적으로 학습 자료의 m시차 차이를 기준으로 계산합니다.

여기서 분모는 평가 구간이 아니라 해당 폴드의 학습 구간에서만 계산해야 합니다. 미래 평가값으로 분모를 계산하면 검증 단계에서 미래 정보를 사용하게 됩니다.

일반적으로 MASE가 1보다 작으면 분모에서 사용한 나이브 기준의 학습 구간 평균 오차보다 작은 예측오차를 기록했다는 뜻입니다. 다만 평가 구간에서 같은 기준 모형을 직접 실행해 얻은 점수와 언제나 동일한 비교는 아니므로 어떤 기준을 사용했는지 명시해야 합니다.

아래 결과는 폴드별 4주 예측 MAE(kWh)입니다.

네 폴드의 평가 기간이 모두 4주로 동일하므로 폴드별 MAE의 산술평균은 전체 평가 관측값 16개에 대한 MAE와 같습니다. SARIMA의 평균 MAE는 92kWh로 가장 낮았고, ETS는 105kWh, 계절적 나이브는 120kWh였습니다.

이 예제에서는 SARIMA가 모든 폴드에서 가장 작은 오차를 기록했습니다. 다만 폴드가 네 개에 불과하므로 점수 차이가 미래에도 동일하게 유지된다고 보장할 수는 없습니다. 특히 특정 계절이나 설비 점검 기간에서 오차가 증가하는지 추가로 살펴볼 필요가 있습니다.

일반적으로 예측기간이 길어질수록 불확실성이 증가할 가능성이 있지만, 실제 오차 패턴은 모형과 데이터에 따라 달라집니다. 따라서 전체 평균 MAE 외에 예측 시차별 오차도 확인하는 것이 좋습니다.

예를 들어 각 폴드의 첫 번째 예측 주만 모아 MAE를 계산하고, 두 번째·세 번째·네 번째 주에도 같은 작업을 할 수 있습니다. 이를 통해 운영팀은 '다음 주 수요 예측'에는 충분한 정확도가 있지만 '4주 후 수요 예측'에는 더 큰 여유분이 필요하다는 식으로 활용할 수 있습니다.

또한 실제 운영에서 매주 예측을 갱신한다면 백테스팅도 매주 예측이 갱신되는 상황을 모방해야 합니다. 검증 과정에서 한 번에 4주를 예측했는지, 매주 실제값을 추가해 다시 예측했는지를 혼동해서는 안 됩니다.

예측구간(Prediction Interval)은 특정 수준의 불확실성을 반영해 미래 관측값이 포함될 것으로 기대하는 범위를 제공합니다. 예를 들어 다음 주 전력 사용량 예측값이 8,200kWh이고 90% 예측구간이 7,800~8,650kWh라면, 해당 모형은 특정 가정하에서 그 정도 범위의 불확실성을 제시한 것입니다. 이는 실제 사용량이 반드시 해당 구간 안에 들어간다는 뜻은 아닙니다.

백테스팅에서는 예측구간 포함률(Coverage)과 구간 폭(Width)을 함께 살펴볼 수 있습니다. 90% 예측구간이라면 충분히 많은 미래 관측값에 대해 실제값이 약 90% 정도 포함되는지 확인합니다. 하지만 구간이 지나치게 넓으면 실제 의사결정에 도움이 적을 수 있으므로 폭도 중요합니다.

또한 16개 검증 관측값처럼 표본이 적으면 경험적 포함률의 변동이 크므로 작은 차이로 예측구간의 정확성을 단정하지 않아야 합니다. 필요하다면 구간 점수(Interval Score)나 분위수 손실(Pinball Loss) 등을 함께 평가할 수 있습니다.

예를 들어 전체 156주의 평균과 표준편차로 표준화한 뒤 백테스팅을 수행하면 미래 평가 기간의 정보가 학습 단계에 반영됩니다.

결측값 대체, 이상치 기준 계산, 특성 선택, 모형 설정도 각 폴드의 학습 자료 안에서만 결정해야 합니다. 전체 시계열을 사용해 계절성을 분해한 후 미래 시점의 추세값을 설명변수로 사용하는 것도 누수가 될 수 있습니다.

외생변수 역시 마찬가지입니다. 미래의 실제 외부 온도를 예측 당시 알 수 없었다면, 백테스팅에서 미래의 관측 온도를 그대로 입력해서는 안 됩니다. 대신 그 시점에 제공되었을 날씨 예보값을 사용하거나 외생변수 자체를 함께 예측하는 절차가 필요합니다.

반면 이미 확정된 공휴일이나 요일 같은 달력 정보는 미래 시점에도 알 수 있으므로 활용할 수 있습니다. 핵심 기준은 '값이 미래 시점에 해당하는가'가 아니라 예측을 생성한 당시 실제로 알 수 있었는가입니다.

이때도 모형의 차수나 전처리 설정을 최종 홀드아웃 결과에 맞춰 변경해서는 안 됩니다.

SARIMA는 최종 평가에서도 가장 작은 MAE를 보였지만 백테스팅 평균 92kWh보다 높은 98kWh를 기록했습니다. 이러한 차이는 평가 기간의 수요 패턴이나 우연한 변동 때문에 발생할 수 있습니다.

최종 홀드아웃은 4주에 불과하므로 이 값 하나로 장기적인 운영 성능을 확정할 수 없습니다. 실제 배포 이후에도 주기적으로 예측오차와 편향, 예측구간 포함률 등을 관찰하여 성능 저하가 발생하는지 확인하는 것이 좋습니다.

외생변수를 사용했다면 해당 변수의 미래값을 예측 당시 어떻게 확보했는지도 함께 설명해야 합니다.

이를 위해서는 시간순으로 학습과 평가를 분리하고, 여러 과거 시점에서 롤링 백테스팅을 수행하는 것이 유용합니다.

또한 MAE나 RMSE 같은 점수뿐 아니라 예측기간별 오차, 예측구간의 포함률, 모형의 안정성과 실제 운영 조건을 함께 검토해야 합니다. 모형 선택에 사용하지 않은 최종 홀드아웃은 독립적인 성능 확인에 도움이 되지만, 짧은 기간의 결과만으로 지속적인 성능을 보장할 수는 없습니다.