측정동일성
같은 설문 문항이 모든 집단에서 같은 의미로 작동하는지 확인하기
A집단의 평균이 4.2점, B집단이 3.8점이라면 A집단이 브랜드를 더 신뢰하는 걸까요? 반드시 그렇지는 않습니다. 두 집단이 같은 문항을 서로 다른 방식으로 이해하거나, 동일한 신뢰 수준에서도 문항에 다르게 반응한다면 점수 차이가 실제 신뢰 수준의 차이를 반영하지 않을 수 있습니다. 측정동일성(Measurement Invariance)은 하나의 잠재변수를 여러 집단에서 동일한 방식으로 측정하고 있는지 확인하는 과정이며, 이를 검토해야 집단 간 잠재변수의 관계나 평균을 보다 타당하게 비교할 수 있습니다. 이 장에서는 측정동일성의 네 단계와 검정 방법, 동일성이 완전히 성립하지 않을 때의 대응을 알아봅니다.
왜 측정동일성이 필요할까?
브랜드 신뢰를 "이 브랜드를 신뢰한다", "이 브랜드는 믿을 만하다", "이 브랜드는 약속을 지킬 것 같다"의 세 문항으로 측정해 한국의 20대와 50대, 또는 제품 구매 경험이 있는 집단과 없는 집단을 비교한다고 생각해 보겠습니다.
그림 1처럼 같은 문항이라도 집단에 따라 다르게 작동할 수 있습니다. 이런 차이가 있다면 집단별 점수를 직접 비교할 때 문제가 생길 수 있으며, 측정동일성 검정은 이러한 가능성을 확인하기 위해 집단별 확인적 요인분석(03장 CFA)을 확장하여 사용합니다.
측정동일성의 네 단계
측정동일성은 일반적으로 단계적으로 검토합니다. 각 단계에서 이전 단계보다 더 많은 제약을 부과하고, 그 제약이 자료에 무리가 없는지 평가합니다.
모든 집단에서 같은 문항이 같은 잠재변수에 연결되는지 확인합니다. 기본적인 측정 구조가 같은가?
각 문항이 잠재변수를 반영하는 정도, 즉 요인부하량을 집단 간 동일하게 설정합니다. 잠재변수와 문항 사이의 관계가 같은가?
연속형 문항에서는 부하량에 더해 문항의 절편도 동일하게 설정합니다. 잠재변수 수준이 같을 때 문항의 기대 점수도 같은가?
문항의 잔차분산도 동일하게 설정합니다. 측정오차를 포함한 문항의 잔여 변동도 같은가?
그림 3의 오른쪽처럼 같은 수준의 브랜드 신뢰를 가진 사람이라도 특정 집단에서 문항에 더 낮게(또는 높게) 응답하는 경향이 있다면, 잠재변수의 실제 차이와 응답 방식의 차이를 구분하기 어렵습니다. 네 단계의 핵심은 제약을 하나씩 추가하면서, 집단 간 측정 방식이 어느 수준까지 같다고 볼 수 있는지를 확인하는 것입니다.
단계별 결과로 무엇을 비교할 수 있을까?
측정동일성의 단계는 단순한 통계적 절차가 아니라 어떤 비교가 가능한지 판단하는 근거가 됩니다.
| 동일성이 확보된 수준 | 일반적으로 가능한 해석 |
|---|---|
| 형태 동일성 | 같은 기본적인 요인 구조를 가정할 수 있음 |
| 요인부하량 동일성 | 잠재변수와 다른 변수 사이의 관계를 집단 간 비교할 근거가 강화됨 |
| 절편 동일성 | 잠재변수의 평균을 집단 간 비교할 근거가 마련됨 |
| 잔차 동일성 | 문항별 잔여 변동까지 같다는 추가적인 가정을 뒷받침함 |
특히 잠재평균을 비교하려면 일반적으로 절편 동일성(scalar invariance)이 중요합니다. 서열형 문항에서는 문항의 절편 대신 응답 범주를 구분하는 문턱값(threshold)을 고려하는 등 모형 설정이 달라질 수 있습니다. 잔차 동일성까지 확보해야 모든 집단 비교가 가능한 것은 아니며, 연구 목적에 필요한 수준의 동일성이 확보되었는지가 중요합니다.
동일성은 어떻게 검정할까?
실제 분석에서는 형태 동일성 모형을 먼저 설정하고, 이후 요인부하량과 절편 등의 제약을 순서대로 추가하면서 제약을 추가했을 때 적합도가 얼마나 나빠지는지 평가합니다. CFI · TLI(상대적 적합도), RMSEA · SRMR(불일치), ΔCFI · ΔRMSEA(제약 전후의 변화), 추정 방법에 맞는 카이제곱 차이 검정을 활용합니다.
그림 4는 두 집단 각 400명의 모의 자료에서 문항 4의 절편만 B집단에서 다르게 만든 결과입니다. 요인부하량 제약을 추가해도 CFI가 거의 변하지 않지만, 절편 제약을 추가하면 CFI가 .072 떨어지고 RMSEA가 .141로 나빠집니다. ΔCFI가 .01 이내인지, RMSEA 변화가 특정 기준 이내인지 등을 기준으로 쓰는 연구가 많지만, 이러한 기준은 절대적인 규칙이 아니며 표본 크기와 모형 복잡성, 추정 방법에 따라 달라질 수 있습니다. 특히 서열형 문항을 WLSMV로 추정했다면 일반적인 최대우도 추정의 차이 검정을 그대로 적용해서는 안 되고, 추정 방법에 맞는 검정 절차를 선택해야 합니다.
측정동일성이 완전히 성립하지 않는다면?
모든 문항에서 동일성이 확보되지 않을 수도 있습니다. 브랜드 신뢰 문항 중 일부는 집단 간 동일하게 작동하지만, 한 문항은 집단별로 요인부하량이나 절편이 다르게 나타날 수 있습니다. 이때 고려할 수 있는 접근이 부분 측정동일성(Partial Measurement Invariance)으로, 문제가 되는 문항의 제약을 일부 풀고 나머지 문항의 동일성을 유지합니다.
그림 5는 그림 4와 같은 자료입니다. 문항 4의 절편을 집단별로 풀면 적합도가 회복되고(CFI .999), 잠재평균 차이도 0.22로 실제 값(0.25)에 가까워집니다. 절편 차이를 무시하고 모든 절편을 고정하면 차이가 0.38로 부풀려집니다. 부분 동일성을 쓸 때는 어떤 제약을 풀었는지 명확히 보고해야 하며, 결과가 특정 문항의 선택에 지나치게 의존하지 않는지도 검토하는 것이 좋습니다. 동일성이 확보되지 않았다고 해서 연구 전체가 무효가 되는 것은 아니지만, 어떤 비교가 가능한지와 어떤 해석에 제약이 있는지를 분명히 해야 합니다.
실제 연구에서는 어떤 순서로 적용할까?
그림 6처럼 이론적으로 동일한 측정 구조를 설정하고, 각 집단에서 모형이 적절하게 추정되는지 살펴본 뒤 형태 동일성 모형을 평가합니다. 요인부하량 제약을 추가해 적합도 변화를 확인하고, 절편 또는 서열형 문항의 문턱값 제약을 추가하며, 연구 목적에 따라 잔차 동일성도 검토합니다. 동일성이 성립하지 않는다면 부분 동일성 등 대안을 검토하고 제약과 한계를 보고합니다. 이 과정에서는 동일성 검정 결과뿐 아니라 집단별 표본 크기, 추정 방법, 모형의 안정성도 함께 고려해야 합니다.
브랜드 신뢰 4문항의 측정동일성을 두 집단(각 400명)에서 단계적으로 검토하였다. 형태 동일성(CFI = .998, RMSEA = .037)과 요인부하량 동일성(ΔCFI = .000)은 지지되었으나, 절편 동일성에서 적합도가 크게 낮아졌다(ΔCFI = −.072). 문항 4의 절편 제약을 해제한 부분 절편 동일성 모형은 양호하였으며(CFI = .999, RMSEA = .018), 이 모형에서 B집단의 잠재평균은 A집단보다 0.22 표준편차 낮았다.
집단을 비교하기 전에, 같은 자로 재고 있는지부터 확인합니다.
- 측정동일성은 여러 집단에서 잠재변수를 같은 방식으로 측정하고 있는지 확인하는 과정입니다.
- 형태 동일성에서 요인부하량, 절편, 잔차 동일성 순으로 더 강한 제약을 검토합니다.
- 잠재평균 비교에는 일반적으로 절편 동일성이 중요한 근거가 됩니다.
- 모든 문항에서 동일성이 성립하지 않으면 부분 측정동일성을 검토할 수 있습니다.
- 측정동일성은 집단 간 비교의 타당성을 뒷받침하지만, 그 자체로 집단 간 차이를 입증하지는 않습니다.
다음은 10 다집단 SEM입니다. 측정동일성을 바탕으로 실제 집단별 경로계수를 비교하는 방법을 살펴봅니다.
측정동일성은 형태 → 요인부하량 → 절편 → 잔차 순으로 제약을 더하며 집단 간 측정 방식이 같은지 확인합니다. 관계 비교에는 요인부하량, 잠재평균 비교에는 절편 동일성이 중요하며, 일부 문항이 어긋나면 부분 동일성으로 대응하고 그 내용을 보고합니다.