판별분석(LDA/QDA)

와인의 산도와 당도를 알면 생산 지역을 추측할 수 있을까요? 알코올 함량까지 함께 비교하면 지역을 더 잘 구분할 수 있을까요? 두 지역의 와인이 비슷한 특성을 보일 때는 어떤 기준으로 분류해야 할까요?

이처럼 여러 변수의 값을 바탕으로 관측값이 어느 집단에 속할지 판단하는 통계적 분류 방법이 판별분석(Discriminant Analysis)입니다. 대표적으로 선형판별분석(Linear Discriminant Analysis, LDA)과 이차판별분석(Quadratic Discriminant Analysis, QDA)이 있습니다.

LDA는 집단별 공분산구조가 같다고 가정하여 직선이나 평면으로 구분하고, QDA는 집단마다 서로 다른 공분산구조를 허용해 곡선 형태의 결정경계를 만듭니다. 로지스틱 회귀와 마찬가지로 범주를 분류하는 데 쓰이지만, 예측변수의 집단별 분포에 대한 가정이 다릅니다.

판별분석은 품질관리, 생물 분류, 고객 유형 판별, 의료 진단 보조 등에서 활용됩니다. 이번 글에서는 와인의 화학적 특성으로 생산 지역을 분류하는 예제를 통해 판별분석의 원리, LDA와 QDA의 차이, 결과표와 결정경계 해석, 성능 평가, 분석 시 주의사항까지 살펴보겠습니다.

판별분석에서는 먼저 각 관측값의 집단 레이블을 알고 있는 학습자료를 이용합니다. 예를 들어 와인의 생산 지역이 이미 확인된 표본을 바탕으로, 산도·당도·알코올 함량이 지역마다 어떻게 분포하는지 학습합니다. 이후 새로운 와인의 측정값을 입력하면 어느 지역에 속할 가능성이 높은지 분류합니다.

LDA와 QDA는 모두 각 집단의 수치형 예측변수가 다변량 정규분포를 따른다고 가정하는 생성적 분류모형입니다. 핵심 차이는 집단별 공분산행렬을 하나로 공유하는지(LDA), 각각 따로 추정하는지(QDA)에 있습니다.

산도만 비교하면 지역 A와 B의 분포가 겹칠 수 있고, 당도 하나만 봐도 구분이 쉽지 않을 수 있습니다. 하지만 알코올 함량과 함께 관찰하면 집단별 차이가 더 뚜렷해질 수 있습니다. 판별분석은 이런 다변량 정보를 결합해 분류 기준을 만듭니다.

집단 간 차이를 설명하는 목적과 새로운 관측값을 맞히는 목적은 서로 다릅니다. 학습자료에서 집단이 잘 분리되더라도 새로운 와인에 대한 정확도가 낮을 수 있으므로, 분류 성능은 반드시 별도의 평가자료나 교차검증으로 확인해야 합니다.

세 생산 지역(A·B·C)에서 수집한 가상의 와인 300병을 대상으로 합니다. 각 지역에서 100병씩 확보했고, 생산 지역은 이미 확인되어 있습니다. 아래 데이터와 성능 수치는 개념 설명을 위한 가상 예시이며 실제 모델 실행 결과가 아닙니다.

와인은 240병을 학습자료, 60병을 최종 평가자료로 나누었다고 가정합니다. 아래 예시의 평가 결과에서는 각 지역이 20병씩 포함되도록 층화 분할했습니다. 실제 연구에서는 분할 후의 샘플 구성과 평가절차를 함께 보고해야 합니다.

LDA는 표본이 작을 때 QDA보다 안정적일 수 있지만, 어떤 방법이 더 좋은지는 사전에 단정할 수 없습니다. 특성 수와 집단별 자료 수를 고려하고 필요하다면 공분산 정규화·축소 추정을 검토합니다.

① 목표 집단과 예측변수를 정합니다

생산 지역 A·B·C를 목표값으로 두고 총산도, 잔당, 알코올 함량을 사용합니다. 생산 지역을 암시하는 ID 등 누수 변수를 제외합니다.

② 학습자료와 평가자료를 분리합니다

300병 중 240병을 학습에, 60병을 최종 평가에 사용합니다. 모형 선택은 학습자료 내부의 교차검증으로 수행합니다.

③ LDA와 QDA를 각각 학습합니다

LDA는 공유 공분산행렬을, QDA는 집단별 공분산행렬을 추정합니다. 필요할 경우 정규화 모수를 학습자료 안에서 선택합니다.

④ 분류 결과와 오류 양상을 비교합니다

정확도뿐 아니라 지역별 재현율·정밀도와 혼동행렬을 확인하고, 선택한 모형을 최종 평가자료에서 한 번 평가합니다.

새 와인의 측정값이 총산도 6.5g/L, 잔당 2.8g/L, 알코올 함량 12.9%라고 가정해 보겠습니다. 모형은 세 지역의 상대적인 가능성을 계산합니다. 다음 값은 예시입니다.

이 와인은 지역 B로 분류됩니다. 0.73은 선택한 모형과 사전확률 가정 아래의 추정 확률이지, 실제 생산 지역이 B일 확률이 언제나 73%로 보장된다는 뜻은 아닙니다. 필요할 경우 별도로 확률 보정 상태를 확인합니다.

평가용 60병에 대해 다음과 같은 가상 혼동행렬을 얻었다고 가정합니다. 행은 실제 생산 지역, 열은 예측된 생산 지역입니다.

대각선의 정분류 50병을 전체 60병으로 나누면 정확도는 83.3%입니다. 지역 B의 재현율은 16/20 = 80%이고, 정밀도도 16/20 = 80%입니다. 다른 데이터에서는 정확도 하나만 높아도 특정 지역을 계속 놓칠 수 있으므로 지역별 지표를 함께 확인합니다.

가상 결과에서는 학습자료 내부 교차검증에서 QDA가 조금 높지만, 최종 평가자료에서는 LDA가 높습니다. 이런 차이만으로 어느 방법이 본질적으로 우수하다고 결론 내릴 수 없으며, 표본이 작은 경우 점수 차이의 불확실성도 고려해야 합니다. 8번의 혼동행렬은 LDA 최종 평가 사례입니다.

결정경계 목업은 원리를 설명하기 위한 것으로, 실제 세 변수로 학습한 모델을 정확히 재현한 2차원 투영은 아닙니다. 데이터가 3차원 이상이라면 2차원 시각화에서는 일부 정보가 빠질 수 있습니다.

집단별 정규분포 가정이 적절한가요?

강한 비대칭이나 극단값이 있으면 평균과 공분산 추정이 영향을 받습니다. 분포를 살펴보고 다른 분류모형과의 비교를 검토합니다.

QDA를 쓸 만큼 표본이 충분한가요?

특성 수에 비해 집단별 관측값이 적으면 공분산행렬을 안정적으로 추정하기 어렵습니다. 변수 수를 줄이거나 정규화 방법을 고려합니다.

평가자료를 모델 선택에 사용하고 있지 않나요?

최종 평가자료를 반복 확인해 더 높은 점수의 모델을 고르면 그 자료는 더 이상 독립 평가자료가 아닙니다. 학습자료 내 교차검증으로 모형을 선택합니다.

지역별 표본 비율이 현실과 같은가요?

지역별 표본 수가 균등한 학습자료와 실제 생산 비율이 다른 현장에서는 사전확률과 분류 성능이 달라질 수 있습니다. 실제 적용 환경의 집단 비율을 확인합니다.

분류확률을 확정적인 사실로 해석하지 않았나요?

추정 확률은 가정과 학습자료에 의존합니다. 분류 확률의 신뢰도를 확인하고 데이터가 달라질 때 성능이 유지되는지 점검해야 합니다.

선형판별분석은 분류모형이면서 차원 축소용 판별축을 제공하기도 합니다. 다만 PCA처럼 전체 분산이 큰 축을 찾는 것이 아니라 집단 사이를 잘 구분하는 방향을 찾는다는 점이 다릅니다.

분석 보고서에는 목표 집단 및 예측변수, 집단별 표본 수, 전처리와 학습·평가 분리 방식, LDA·QDA 비교 기준, 분류 정확도, 지역별 정밀도·재현율, 혼동행렬 및 한계를 함께 제시합니다. 판별축 계수는 표준화 여부에 따라 크기가 달라질 수 있으므로 변수 영향력을 단정하지 않습니다.

실제 연구에서는 최종 선택 기준을 사전에 정하고, 성능 추정의 불확실성과 데이터가 수집된 환경의 대표성을 함께 설명하는 것이 좋습니다.

의료나 품질검사처럼 잘못 분류했을 때의 비용이 다른 분야에서는 전체 정확도 외에도 거짓양성·거짓음성의 의미와 의사결정 기준을 별도로 정해야 합니다.

와인의 생산 지역을 구분할 때 산도나 당도 하나만 확인하는 것보다 여러 화학적 특성을 함께 고려하면 집단의 차이를 더 자세히 살펴볼 수 있습니다. LDA는 지역별 공분산구조가 비슷하다는 가정 아래 비교적 단순한 직선 경계를 만들고, QDA는 지역마다 다른 공분산을 허용해 더 유연한 곡선 경계를 만듭니다. 따라서 어느 방법이 적절한지는 데이터의 분포와 표본 크기에 따라 달라집니다.

분류 결과를 해석할 때는 학습자료에 얼마나 잘 맞았는지보다 처음 보는 와인을 얼마나 정확하게 구분하는지가 중요합니다. 정확도만으로 판단하지 말고 혼동행렬과 지역별 재현율을 함께 확인해야 하며, 전처리 과정에서 평가자료의 정보가 새어 들어가지 않았는지도 살펴야 합니다. 판별분석의 목적은 모든 관측값에 반드시 정답을 붙이는 것이 아니라, 주어진 자료와 가정 아래에서 집단을 구분할 수 있는 합리적인 기준과 그 한계를 제시하는 데 있습니다.