분류·예측 가이드

한 가지 알고리즘에 곧바로 결정하기보다 간단한 모형을 기준선으로 두고 여러 후보를 동일한 데이터 분할과 지표로 비교하는 것이 좋습니다. 데이터 크기와 변수 유형, 결측·불균형 정도에 따라 후보 모형이 달라집니다.

예측 확률과 변수의 관계를 함께 보고 싶다면

로지스틱 회귀는 이진 분류에서 널리 쓰이는 기본 모형입니다. 변수와 로그오즈의 관계를 해석할 수 있고, 적절히 설정하면 예측 확률도 제공합니다. 다중 범주를 예측하는 확장 방식도 있습니다.

분류 규칙을 눈으로 확인하고 싶다면

의사결정나무는 변수의 조건에 따라 사례를 나누기 때문에 구조를 설명하기 쉽습니다. 다만 나무가 깊어지면 학습 데이터에 과도하게 맞을 수 있습니다.

분포나 거리 정보를 활용한다면

나이브 베이즈는 확률 가정에 기반한 비교적 단순한 모형이고, kNN은 가까운 관측값을 바탕으로 분류합니다. LDA·QDA는 클래스별 분포를 가정해 경계를 추정합니다. 각각의 가정과 데이터 크기를 확인하며 비교합니다.

여러 나무의 예측을 모으고 싶다면

랜덤 포레스트와 배깅은 여러 모형을 학습해 예측을 결합합니다. 한 개의 의사결정나무보다 결과가 안정적일 수 있지만, 개별 나무처럼 전체 판단 과정을 단순한 규칙 하나로 보여주기는 어렵습니다.

오차를 순차적으로 보완하고 싶다면

GBM·XGBoost·LightGBM·AdaBoost는 부스팅 계열입니다. 특히 XGBoost와 LightGBM은 표형 데이터에서 강력한 후보가 될 수 있지만, 성능을 얻으려면 튜닝뿐 아니라 과적합 점검과 공정한 검증이 필요합니다.

서로 다른 모형의 장점을 결합하고 싶다면

스태킹은 여러 기본 모형의 예측을 또 다른 모형의 입력으로 이용합니다. 이때 기본 모형의 학습 예측을 그대로 재사용하면 누수가 발생할 수 있으므로 교차검증 기반의 학습 구조를 갖춰야 합니다.

양성 사례가 드물다면

사기나 질병처럼 관심 있는 사례가 적을 때에는 정확도보다 정밀도, 재현율, F1, PR-AUC 등을 함께 살펴야 합니다. 어떤 지표를 우선할지는 잘못된 경고와 놓친 사례의 비용에 따라 달라집니다. 예측 확률을 분류 결과로 바꾸는 임계값도 별도로 정할 수 있습니다.

예측 시점이나 개인별 기록이 연결되어 있다면

같은 환자나 고객의 여러 기록이 학습·평가 양쪽에 들어가면 실제보다 성능이 높게 나올 수 있습니다. 미래를 예측한다면 시간 순서를 보존하고, 개인이나 기관의 특성이 겹치지 않아야 한다면 그룹 단위로 데이터를 나눕니다.

예측 확률 자체를 활용한다면

위험도나 우선순위를 정할 때는 단순히 맞고 틀린 결과뿐 아니라 확률의 보정 상태도 중요합니다. 높은 위험으로 예측한 사람에게 실제 사건이 비슷한 비율로 일어나는지 확인해야 합니다.

모형을 비교하고 튜닝할 때에는 검증 데이터를 사용하고, 최종 홀드아웃 데이터는 마지막 평가에만 사용합니다. 결과를 확인한 뒤 그 점수에 맞춰 모형을 반복 수정하면 홀드아웃도 사실상 학습에 사용한 셈이 됩니다.

아래는 대표적인 분류 알고리즘을 묶은 목록입니다. 알고리즘마다 이진·다중 분류 지원 방식과 필요한 전처리, 확률 출력 여부가 다를 수 있습니다.

링크는 아카데미의 일반적인 URL 패턴을 기준으로 작성했습니다. 실제 공개된 경로와 일치하는지 확인해 주세요.