메타분석

도시의 건물 옥상에 식물을 심으면 실내온도가 얼마나 내려갈까요? 어떤 실험에서는 평균 0.6°C가 낮아졌고, 다른 실험에서는 1.8°C가 낮아졌다고 보고했습니다. 어느 결과를 믿어야 할까요? 연구마다 건물 구조와 기후, 표본 크기가 다르기 때문에 한 편의 결과만으로 일반적인 효과를 판단하기는 어렵습니다.

메타분석(Meta-Analysis)은 같은 질문을 다룬 여러 연구의 효과크기를 통계적으로 결합하여 전체적인 효과와 연구 간 차이를 추정하는 방법입니다. 단순히 논문들의 결과를 평균 내는 것이 아니라, 추정값의 정밀도와 연구 사이의 이질성을 고려한다는 점이 중요합니다.

이 글에서는 옥상녹화가 여름철 실내온도에 미치는 영향을 조사한 여섯 연구를 이용해 효과크기, 역분산 가중치, 고정효과·랜덤효과 모형, 이질성, 포리스트 플롯, 출판편향과 결과 보고까지 살펴보겠습니다.

예를 들어 옥상녹화 건물과 일반 지붕 건물의 실내온도를 비교한 연구들을 모아 평균적인 온도 차이를 추정할 수 있습니다. 연구별 추정값의 방향과 크기가 비슷한지, 어떤 조건에서 더 큰 효과가 나타나는지도 검토할 수 있습니다.

메타분석은 체계적 문헌고찰(Systematic Review)과 관련되지만 같은 개념은 아닙니다. 체계적 문헌고찰은 연구 질문을 정하고 검색·선정·비뚤림 위험 평가·근거 종합을 체계적으로 수행하는 전체 과정입니다.

메타분석은 그 과정에서 연구 결과를 통계적으로 결합할 수 있을 때 사용하는 정량적 방법입니다. 충분히 비교 가능한 연구가 없거나 자료가 부적절하면 체계적 문헌고찰을 하더라도 메타분석을 하지 않는 것이 더 적절할 수 있습니다.

각 연구는 옥상녹화 건물과 비교 건물의 온도 차이를 추정했으며, 음수는 옥상녹화 건물의 온도가 더 낮다는 의미입니다.

위 수치는 메타분석 계산을 보여주기 위해 만든 자료입니다.

여섯 연구는 모두 온도 차이를 섭씨 단위로 보고하므로 평균차(Mean Difference, MD)를 그대로 결합할 수 있습니다. 다만 실제 분석에서는 건물별 측정 조건, 반복 측정으로 인한 상관, 연구 간 표본의 중복 여부를 먼저 확인해야 합니다.

한 연구에서 나온 여러 추정값을 독립 연구인 것처럼 중복 포함해서는 안 됩니다.

동일한 단위로 측정한 연속형 결과는 평균차(MD)를 사용할 수 있고, 연구마다 다른 척도로 같은 개념을 측정했다면 표준화 평균차(SMD, 예: Hedges' g)를 고려할 수 있습니다. 이분형 결과에는 위험비(RR), 오즈비(OR), 위험차(RD) 등이 사용됩니다.

RR과 OR는 대개 로그로 변환한 뒤 분석하고, 결과표에서 다시 지수변환하여 제시합니다.

일반적으로 표준오차가 작은 연구는 효과를 더 정밀하게 추정했으므로 더 큰 가중치를 부여합니다. 역분산 가중치(Inverse-Variance Weight)는 w_i = 1 ÷ SE_i²로 계산합니다.

예를 들어 B 연구의 표준오차는 0.25이므로 가중치는 1/0.25² = 16입니다. F 연구의 표준오차는 0.50이므로 가중치는 1/0.50² = 4입니다. 따라서 기본적인 고정효과 계산에서 B 연구는 F 연구보다 네 배의 가중치를 가집니다.

이 가중치는 연구의 정밀도에 근거합니다. 연구 설계가 부실하거나 비뚤림 위험이 큰 연구까지 자동으로 신뢰할 만하게 만드는 것은 아닙니다. 비뚤림 위험 평가는 가중치 계산과 별도로 필요합니다.

이때 통합 추정값은 연구별 효과크기의 역분산 가중평균입니다.

여섯 연구를 적용하면 고정효과 통합 평균차는 약 -1.03°C입니다. 이는 공통효과 가정하에서 옥상녹화 건물의 실내온도가 비교 건물보다 평균 약 1.03°C 낮다는 추정입니다.

하지만 실제 연구는 기후와 옥상 구조, 식생의 차이로 효과 자체가 다를 수 있습니다. 그런 상황에서 하나의 참효과를 가정하는 것이 적절한지 검토해야 합니다. 또한 여기서 말하는 고정효과 메타분석은 패널 회귀분석의 기업·개체 고정효과 모형과 다른 개념입니다.

실제 효과의 연구 간 분산을 τ²로 나타내며, 가중치는 w_i* = 1 ÷ (SE_i² + τ²)로 달라집니다.

이 예제에서 DerSimonian–Laird 방식으로 연구 간 분산을 추정하면 τ² ≈ 0.044가 됩니다. 이 값을 적용한 랜덤효과 통합 평균차는 약 -1.06°C입니다. 통상적인 정규근사 95% 신뢰구간은 [-1.38, -0.75]°C로 계산됩니다.

여기서 수치와 신뢰구간은 계산 원리를 보여주는 예시입니다. 연구가 여섯 편뿐이므로 실제 보고서에서는 τ² 추정법과 함께 Hartung–Knapp 유형의 추론 등 소수 연구에 적절한 불확실성 평가를 검토해야 합니다.

랜덤효과 모형이 연구 간 차이를 반영한다고 해서 이질성의 원인을 설명해 주는 것은 아닙니다.

주로 Cochran의 Q 통계량, I², τ²를 확인합니다.

예제의 연구 수 k=6, Q ≈ 7.01, 자유도 5이므로 I² ≈ 28.7%입니다. 이 값은 관측된 효과크기 변동 중 연구 간 실제 차이와 관련된 몫을 추정한 것으로, 개별 건물의 온도 차이 28.7%를 뜻하지 않습니다.

연구 수가 적으면 Q 검정의 검정력이 낮고 I²의 불확실성도 큽니다. 25%, 50%, 75% 같은 구분을 절대적인 기준으로 적용하기보다 연구 내용과 추정 불확실성을 함께 확인해야 합니다.

일반적으로 연구별 점의 크기는 가중치를 반영하고 가로선은 신뢰구간을 나타냅니다. 통합 결과는 다이아몬드로 표시하는 경우가 많습니다.

이 예제에서는 수평축이 평균 온도 차이입니다. 0보다 작은 쪽은 옥상녹화 건물의 온도가 더 낮다는 의미이며, 0은 차이가 없다는 기준선입니다. 연구 D의 신뢰구간은 [-1.19, -0.01]°C로 0에 매우 가깝지만, 연구 F는 [-2.78, -0.82]°C로 넓은 신뢰구간을 보입니다. 각 연구의 추정값과 정밀도를 함께 읽어야 하는 이유입니다.

통합 효과가 음수이고 신뢰구간이 0을 포함하지 않더라도 모든 환경에서 반드시 온도 감소 효과가 나타난다고 결론 내릴 수는 없습니다. 랜덤효과 메타분석에서는 연구별 참효과의 변동까지 반영하는 예측구간(Prediction Interval)도 유용할 수 있으며, 특히 연구 수가 적을 때 해석에 주의해야 합니다.

대표적인 방법이 하위집단 분석(Subgroup Analysis)과 메타회귀(Meta-Regression)입니다. 예를 들어 식생의 두께가 두꺼운 옥상녹화와 얇은 옥상녹화 사이에 효과 차이가 있는지 비교할 수 있습니다. 메타회귀에서는 이러한 연구 수준 특성과 효과크기의 관계를 회귀식으로 추정합니다.

다만 연구가 여섯 편뿐인 현재 예제에서는 여러 설명변수를 포함한 메타회귀가 매우 불안정할 수 있습니다. 더구나 연구 수준의 관계를 개별 건물이나 주민에 대한 인과효과로 해석해서는 안 됩니다. 이질성 분석은 사전에 계획하고 탐색적 결과임을 명확히 밝히는 것이 좋습니다.

이를 출판편향(Publication Bias)이라고 합니다. 보다 넓게는 결과에 따라 연구가 선택적으로 보고되는 문제를 고려해야 합니다.

대표적인 시각화 방법은 효과크기와 정밀도의 관계를 표시하는 퍼널 플롯(Funnel Plot)입니다. 충분히 많은 비교 가능한 연구가 있다면 Egger 검정 등 작은 연구 효과(Small-Study Effects)를 확인하는 방법도 고려할 수 있습니다.

그러나 현재 예제처럼 연구가 여섯 편이라면 퍼널 플롯 비대칭이나 Egger 검정을 신뢰성 있게 해석하기 어렵습니다. 특히 비대칭은 출판편향뿐 아니라 이질성이나 연구 방법의 차이 때문에 나타날 수도 있습니다. 출판편향이 없다는 증거로 비유의한 검정 결과를 사용해서도 안 됩니다.

예를 들어 연구 A부터 F까지 한 편씩 제외한 후 통합효과를 다시 계산하는 Leave-One-Out 분석을 수행할 수 있습니다.

또한 연구의 비뚤림 위험이 높은 경우 이를 제외한 결과와 전체 결과를 비교하거나, 다른 τ² 추정법과 신뢰구간 계산법을 적용해 결과의 안정성을 확인할 수 있습니다. 연구별 효과크기 산출 방식이나 공유된 대조군을 중복 계산한 문제가 없는지도 검토해야 합니다.

다만 자신이 원하는 결론이 나오는 분석 결과만 선택해서 보고하면 안 됩니다. 민감도 분석 계획과 시행 결과를 투명하게 제시해야 합니다.

어떤 연구를 포함했는지와 각 연구의 방법론적 품질이 전체 결론에 큰 영향을 줍니다.

따라서 실제 연구에서는 사전에 연구 질문과 선정 기준을 정하고, 문헌검색 전략과 검색 날짜, 중복 연구 제거 기준을 기록해야 합니다. 포함된 연구의 비뚤림 위험을 평가하고 결과 측정 단위·추적 기간·대상집단이 충분히 비교 가능한지도 확인해야 합니다.

보고에는 PRISMA 2020 같은 체계적 문헌고찰 보고 지침을 활용할 수 있으며, 근거의 확실성은 연구 질문에 따라 GRADE 등의 접근으로 별도 평가할 수 있습니다. 통계적으로 정밀한 통합 추정값이 곧 높은 수준의 근거를 뜻하지는 않습니다.

특히 랜덤효과 분석에서는 τ² 추정법과 신뢰구간 계산법을 분명히 밝혀야 합니다.

실제 논문에서는 포함 연구의 비뚤림 위험, 검색과 선정 과정, 추정 방법에 적합한 신뢰구간, 민감도 분석 등을 추가로 보고해야 합니다. 비무작위 연구를 종합했다면 통합 결과를 곧바로 인과효과로 해석해서도 안 됩니다.

연구마다 정밀도가 다르므로 역분산 가중치를 사용하고, 연구별 실제 효과가 다를 가능성이 있다면 랜덤효과 모형을 고려할 수 있습니다.

하지만 통합 결과를 얻었다는 사실만으로 연구 질문에 대한 결론이 확정되는 것은 아닙니다. 원래 연구의 비뚤림 위험과 결과 측정 방식, 연구 간 이질성, 선택적 출판 가능성, 추정의 불확실성까지 함께 검토해야 합니다.