다항 로지스틱 회귀

이항 로지스틱 회귀는 결과가 두 가지로 나뉘는 경우를 분석했습니다. 예를 들어 제품을 구매했는지, 구매하지 않았는지를 예측하는 방식입니다. 그렇다면 결과가 세 가지 이상이라면 어떨까요? 예를 들어 소비자가 구매하려는 브랜드가 A, B, C 중 무엇인지 분석한다고 생각해 보겠습니다. 이때 결과변수는 단순한 구매 여부가 아니라 세 가지 브랜드 중 하나를 선택하는 것입니다. 다항 로지스틱 회귀(Multinomial Logistic Regression)는 이처럼 결과변수가 세 개 이상의 범주로 구성되고, 범주 사이에 명확한 순서가 없을 때 사용하는 분석 방법입니다.

그림 1처럼 광고 노출 여부와 가격이 소비자의 브랜드 선택과 어떤 관련이 있는지 분석할 수 있습니다. 다항 로지스틱 회귀는 다음과 같은 연구에 활용할 수 있습니다.

• 마케팅: 소비자가 선택하는 브랜드나 상품 유형 분석
• 교육학: 학생의 진학 경로 또는 교육 프로그램 선택 분석
• 사회과학: 교통수단, 주거 형태, 직업 유형 등의 선택 분석
• 보건학: 여러 치료 방법 중 선택되는 치료 유형 분석

핵심은 여러 범주 중 어떤 결과가 나타날 가능성이 높은지, 그리고 설명변수가 각 결과의 선택과 어떻게 관련되는지 파악하는 것입니다.

두 분석의 가장 큰 차이는 결과변수의 범주 수입니다.

그림 2처럼 이항은 비교식이 하나지만, 다항은 기준 범주를 제외한 범주 수만큼 비교식이 생깁니다. 다만 범주가 세 개 이상이라고 무조건 다항 로지스틱 회귀를 사용하는 것은 아닙니다. 만족도를 낮음 → 보통 → 높음으로 구분했다면 범주 사이에 순서가 있으므로 순서형 로지스틱 회귀(08장)가 더 적절할 수 있습니다. 반면 브랜드 A, B, C처럼 자연스러운 순서가 없는 범주라면 다항 로지스틱 회귀를 고려합니다.

다항 로지스틱 회귀는 결과 범주 중 하나를 기준 범주(reference category)로 지정한 뒤, 나머지 범주 각각을 기준 범주와 비교하는 모형을 만듭니다. 브랜드 C를 기준 범주로 정했다면 첫 번째 모형은 브랜드 A를 선택할 오즈와 C를 선택할 오즈를, 두 번째 모형은 B와 C를 비교합니다. 따라서 결과가 세 범주라면 두 개의 비교식이 만들어집니다.

각 범주에 대해 별도의 계수를 추정하므로, 그림 3처럼 광고 노출이 A 선택과 관련되는 정도(β = 0.70)와 B 선택과 관련되는 정도(β = 0.30)가 서로 다를 수 있습니다. A 대 B 비교는 따로 추정하지 않아도 두 계수의 차이로 구할 수 있습니다. 0.70 − 0.30 = 0.40이므로 광고 노출 시 A 대 B 선택 오즈는 e^0.40 ≈ 1.49배입니다.

한 연구자가 소비자의 브랜드 선택(A, B, C)을 광고 노출 여부(노출되지 않음 = 0, 노출됨 = 1)와 제품 가격으로 분석한다고 가정해 보겠습니다. 아래 수치는 분석 결과를 이해하기 위한 가상의 예시이며, 브랜드 C를 기준으로 합니다.

광고 노출: 브랜드 A와 C를 비교하면 계수는 0.70이고 오즈비는 e^0.70 ≈ 2.01입니다. 다른 설명변수가 같을 때 광고에 노출된 사람의 A 대 C 선택 오즈가 노출되지 않은 사람보다 약 2.01배이며, p = .010으로 유의합니다. 반면 B와 C의 비교에서는 오즈비가 1.35, p = .150이고, 그림 4처럼 신뢰구간(0.90 ~ 2.03)이 1을 포함합니다. 따라서 광고 노출은 모든 브랜드 선택에 똑같이 관련된다기보다, A와 C의 상대적 선택에서 더 뚜렷한 관련성을 보입니다.

가격: A와 C의 비교에서 가격의 오즈비는 0.78로, 가격이 한 단위 증가할 때 A 대 C 선택 오즈가 약 22% 낮아집니다. 가격의 한 단위가 1원인지 1,000원인지는 실제 데이터에서 가격을 어떻게 측정했는지에 따라 달라집니다. B와 C의 비교에서는 오즈비 0.90, p = .420으로 유의한 관련성이 확인되지 않았습니다.

오즈비는 확률 자체의 배수가 아닙니다. 오즈비가 2라고 해서 브랜드 A를 선택할 확률이 두 배가 된다는 뜻은 아닙니다. 확률을 구하려면 모형의 절편과 모든 설명변수의 값을 함께 사용해야 합니다.

가능합니다. 다항 로지스틱 회귀는 범주별 비교 결과뿐 아니라, 특정 조건에서 각 범주가 선택될 예측확률도 계산할 수 있습니다. 원고 계수에 절편을 A 1.47, B 0.61로 두고 계산해 보겠습니다.

그림 5처럼 가격이 5일 때 광고에 노출된 소비자는 A 50%, B 30%, C 20%, 노출되지 않은 소비자는 A 37%, B 33%, C 30%로 계산됩니다. 광고 노출로 A의 확률이 13%p 높아졌고, 그만큼 B와 C의 확률이 줄었습니다. 세 확률의 합은 언제나 100%입니다.

그림 6처럼 가격이 오르면 가격 계수가 가장 큰 A의 확률이 줄고, 상대적으로 가격에 덜 민감한 B와 기준 범주 C의 확률이 늘어납니다. 이러한 확률은 특정 소비자 조건에 따른 브랜드 선택 가능성을 비교하거나, 설명변수의 값이 달라졌을 때 선택 패턴이 어떻게 변하는지 살펴보는 데 활용할 수 있습니다. 다만 예측확률은 분석에 포함된 변수와 모형에 따라 달라지며, 관측된 관계가 곧바로 인과관계를 뜻하는 것도 아닙니다.

계수와 오즈비만 확인해서는 분석이 충분하다고 할 수 없습니다. 모형 전체가 자료에 적절한지, 예측이 얼마나 잘 이루어지는지 함께 확인해야 합니다.

전체 정확도만 높다고 좋은 모형은 아닐 수 있습니다. 그림 7처럼 전체 응답자의 90%가 브랜드 A를 선택한다면, 모든 응답자를 A로 예측해도 정확도가 90%가 됩니다. 하지만 B와 C의 재현율은 0%로, 두 브랜드를 구분하는 능력은 전혀 없습니다. 범주별 F1의 평균인 macro-F1로 보면 (0.95 + 0 + 0) ÷ 3 ≈ 0.32에 그칩니다. 따라서 범주별 정밀도와 재현율, macro-F1 등도 함께 검토하는 것이 좋습니다.

그림 8처럼 버스와 승용차 C가 반반으로 선택되던 상황에 C와 거의 같은 승용차 C′가 추가되면, 현실에서는 두 승용차가 원래 승용차 몫을 나눠 가져 버스 50%, C 25%, C′ 25%가 되기 쉽습니다. 하지만 IIA 가정은 버스 대 C의 비율 1 : 1이 유지된다고 보므로 33%씩을 예측합니다. 비슷한 대안이 서로 강한 대체 관계에 있다면 연구 목적과 자료에 따라 다른 선택모형을 고려할 필요가 있습니다.

• 다항 로지스틱 회귀는 세 개 이상의 순서가 없는 범주를 결과변수로 분석합니다.
• 하나의 기준 범주를 정하고, 나머지 범주를 기준 범주와 각각 비교합니다.
• 오즈비는 설명변수가 한 단위 변할 때 두 결과 범주의 상대적 선택 오즈가 얼마나 변하는지 나타냅니다.
• 오즈비와 예측확률은 서로 다르며, 계수의 통계적 유의성만으로 분석의 유용성을 판단해서는 안 됩니다.
• 범주별 표본 수, 모형 적합도, 예측 성능, IIA 가정 등을 함께 검토해야 합니다.

다음은 08 순서형 로지스틱 회귀입니다. 결과변수가 낮음 → 보통 → 높음처럼 순서가 있는 범주로 구성된 경우, 순서 정보를 활용하는 방법을 살펴봅니다.