측정모형의 기초

여러 문항으로 측정했다고 해서, 그 측정이 반드시 정확한 것은 아닙니다. 여러 설문 문항으로 브랜드 신뢰나 고객 만족도를 측정했다면, 문항들이 일관되게 응답되는지, 실제로 의도한 개념을 측정하는지, 서로 다른 개념을 구분하고 있는지 확인해야 합니다. 이때 사용하는 핵심 개념이 신뢰도(Reliability), 수렴타당도(Convergent Validity), 판별타당도(Discriminant Validity)입니다. 이 장에서는 잠재변수와 관측변수 사이의 관계를 다루는 측정모형에서, 측정 결과가 얼마나 일관되고 타당한지 평가하는 방법을 알아봅니다.

신뢰도는 측정이 얼마나 일관적인지를 나타냅니다. 브랜드 신뢰를 "이 브랜드는 믿을 만하다", "이 브랜드는 약속을 지킨다", "이 브랜드는 정직하다"의 세 문항으로 측정했다면, 세 문항이 같은 개념을 반영할 때 응답 사이에 어느 정도 일관된 패턴이 나타날 것으로 기대할 수 있습니다.

반대로 그림 1의 오른쪽처럼 문항 하나가 다른 문항들과 거의 관련이 없거나 전혀 다른 개념을 묻는다면, 신뢰도가 0.78에서 0.56으로 낮아집니다. 대표적인 신뢰도 지표는 다음과 같습니다.

Cronbach's α는 널리 사용되지만, 모든 문항이 동일한 수준으로 구성개념을 측정한다는 등의 가정에 영향을 받습니다. 그림 2처럼 부하량이 0.95 · 0.90 · 0.30 · 0.20으로 들쭉날쭉하면 α는 0.63으로, 요인모형으로 구한 ω(0.72)보다 낮게 나옵니다. 따라서 하나의 지표만으로 측정의 질을 판단하기보다는 측정모형과 다른 신뢰도 지표를 함께 확인하는 것이 좋습니다. 일반적으로 신뢰도 지표가 0.70 이상이면 수용 가능한 수준으로 보는 경우가 많지만, 이는 절대적인 합격선이 아니며 문항 수, 연구 목적, 측정 대상의 특성 등을 함께 고려해야 합니다.

수렴타당도는 같은 잠재변수를 측정하도록 설계된 문항들이 실제로 해당 개념을 잘 반영하는지를 나타냅니다. 브랜드 신뢰를 측정하는 문항들은 브랜드 신뢰라는 공통된 개념과 충분히 관련되어 있어야 하며, 이를 평가할 때는 주로 요인부하량(Loading)과 평균분산추출(AVE)을 확인합니다.

요인부하량은 관측변수가 잠재변수와 얼마나 강하게 연결되어 있는지를 나타냅니다. 표준화 요인부하량이 0.80이라면 해당 문항과 잠재변수 사이에 비교적 강한 관계가 있음을 의미하지만, 부하량이 높다고 해서 문항의 내용이 반드시 타당하다는 뜻은 아닙니다. AVE는 잠재변수가 해당 문항들의 분산을 평균적으로 얼마나 설명하는지를 나타내는 지표입니다.

그림 3처럼 표준화 부하량이 0.80 · 0.75 · 0.70이면 AVE는 0.56, 복합신뢰도는 0.79입니다. AVE가 0.50 이상이면 잠재변수가 문항들의 분산을 평균적으로 절반 이상 설명한다는 의미로, 수렴타당도의 근거로 자주 활용됩니다. 하지만 AVE 하나만으로 타당도가 확정되는 것은 아닙니다.

판별타당도는 서로 다른 잠재변수가 실제로 구별되는 개념인지 평가합니다. 고객 만족도와 브랜드 신뢰는 서로 관련이 있을 수 있지만, 두 개념이 사실상 같은 것을 측정한다면 연구에서 각각 별도의 변수로 사용할 근거가 약해집니다.

두 개념은 관련될 수 있지만 동일하지는 않습니다. 만족한 고객이 항상 브랜드를 신뢰하는 것은 아니며, 브랜드를 신뢰하더라도 특정 제품 경험에는 불만족할 수 있습니다.

HTMT는 판별타당도를 평가하는 데 널리 쓰이는 방법으로, 흔히 0.85 또는 0.90을 기준으로 참고하지만 연구 분야와 구성개념의 유사성에 따라 판단 기준이 달라질 수 있습니다. 그림 4처럼 두 개념의 실제 상관이 0.5인 자료에서는 HTMT가 0.49로 구별되지만, 0.95인 자료에서는 0.92로 기준을 넘습니다.

그림 5의 Fornell–Larcker 기준은 각 개념의 AVE 제곱근(0.75)이 다른 개념과의 상관(0.50)보다 큰지를 봅니다. 판별타당도가 충분하지 않다면 문항 내용이 서로 겹치는지, 두 개념을 별도로 구분할 이론적 근거가 있는지, 측정모형이 적절한지 등을 검토해야 합니다.

두 개념은 밀접하게 관련되어 있지만 서로 다른 질문에 답합니다.

세 문항이 거의 같은 방식으로 응답되어 신뢰도가 높게 나타나더라도, 그 문항들이 실제로 브랜드 신뢰가 아니라 전반적인 만족도를 측정하고 있다면 측정의 타당성에는 문제가 있을 수 있습니다. 즉, 일관되게 측정한다는 사실만으로 올바른 개념을 측정했다고 보장할 수는 없습니다.

그림 6처럼 먼저 각 문항이 어떤 잠재변수를 측정하는지 이론적으로 정의하고, 문항이 의도한 잠재변수와 충분히 관련되어 있는지 요인부하량을 확인합니다. 이어서 Cronbach's α, 복합신뢰도 등으로 문항의 일관성을, AVE와 요인부하량으로 수렴타당도를, HTMT 등으로 판별타당도를 확인합니다. 이 과정은 고정된 합격표를 통과하기 위한 절차라기보다, 측정모형의 문제를 발견하고 이론과 자료를 함께 검토하는 과정입니다. 지표가 기준에 미치지 못하더라도 문항을 기계적으로 삭제하기보다는 그 문항이 연구 개념에서 중요한 역할을 하는지 먼저 살펴봐야 합니다.

• 신뢰도는 측정의 일관성을 평가합니다.
• 수렴타당도는 같은 잠재변수를 측정하는 문항들이 그 개념을 충분히 반영하는지 평가합니다.
• 판별타당도는 서로 다른 잠재변수들이 구분되는지 평가합니다.
• Cronbach's α, CR, 요인부하량, AVE, HTMT 등은 서로 다른 측면을 평가하므로 하나의 지표만으로 측정모형 전체를 판단해서는 안 됩니다.
• 측정모형은 통계 지표뿐 아니라 문항의 내용과 이론적 근거를 함께 검토해야 합니다.

다음은 03 확인적 요인분석(CFA)입니다. 연구자가 미리 설정한 요인 구조가 실제 자료와 얼마나 잘 맞는지, 그리고 각 문항이 의도한 잠재변수를 측정하는지 어떻게 검증하는지 알아봅니다.