회귀분석 선택 가이드
결과변수의 형태와 자료 구조를 확인하고, 연구 목적에 맞는 회귀분석 방법을 선택해 보세요.
고객의 구매 금액을 설명할 때와 고객이 구매할지 여부를 예측할 때는 같은 회귀분석을 사용할 수 있을까요? 병원 방문 횟수나 만족도 등급을 분석한다면 또 다른 방법이 필요할까요?
회귀분석은 여러 변수가 결과와 어떤 관계를 맺는지 살펴보는 분석입니다. 하지만 결과변수가 어떤 값으로 기록되는지, 자료가 어떤 방식으로 모였는지에 따라 적합한 모형이 달라집니다. 이 가이드는 분석방법의 계산 과정이나 결과 해석을 반복하기보다, 선택 기준과 각 방법의 차이를 정리합니다.
회귀분석을 고르기 전에 다섯 가지를 확인하세요
결과변수 다음에는 자료의 구조와 분석 목적을 살핍니다
결과변수는 어떤 형태인가요?
연속형, 범주형, 횟수 중 무엇인지 구분합니다.
관측값이 서로 독립적인가요?
같은 사람을 반복 측정했거나 학교·병원 단위로 묶였다면 이를 반영해야 합니다.
특별한 분포 특성이 있나요?
0이 유난히 많거나, 큰 값에 치우치거나, 변동이 큰지 살펴봅니다.
설명과 예측 중 무엇이 중요한가요?
해석 가능한 계수와 변수 선택, 예측 안정성의 우선순위가 다를 수 있습니다.
측정 범위에 제한이 있나요?
실제 값이 관측되지 않고 상한·하한에서 잘린 것인지 확인합니다.
0이 많다고 반드시 영과잉 모형을 쓰는 것은 아닙니다. 0이 왜 자주 나오는지와 일반 횟수 모형이 0을 얼마나 설명하는지를 함께 살펴야 합니다.
회귀분석 선택 지도
결과변수의 유형에서 시작해 필요한 확장 모형으로 이동합니다
결과변수가 연속형이거나 범주형이라면
설명하려는 값이 무엇인지가 출발점입니다
| 결과변수 | 예시 | 먼저 고려할 방법 |
|---|---|---|
| 연속형 | 시험 점수, 월 지출액 | 선형회귀와 그 확장 |
| 두 범주 | 구매 여부, 재입원 여부 | 이항 로지스틱 회귀 |
| 순서 없는 여러 범주 | 교통수단 선택 | 다항 로지스틱 회귀 |
| 순서가 있는 범주 | 만족·보통·불만족 | 순서형 로지스틱 회귀 |
| 횟수 | 방문 건수, 사고 건수 | 포아송·음이항 회귀 |
| 양수인 비대칭 연속형 | 0보다 큰 치료비 | 감마 회귀 등 GLM |
| 검열된 값 | 측정 상한에서 멈춘 값 | 토빗 회귀 등 검열 모형 |
같은 숫자로 저장되어 있어도 의미는 다를 수 있습니다. 만족도 1~5점은 순서형 범주일 수 있고, 한 달 방문 횟수 0~5는 횟수 자료입니다. 숫자로 입력되었다는 이유만으로 선형회귀를 선택하지 않습니다.
결과변수가 횟수이거나 특별한 구조를 가진다면
연구 목적과 결과변수의 형태에 따라 주요 계열을 구분합니다
연속형 결과를 설명할 때
가장 기본적인 출발점은 선형회귀입니다. 하지만 관계가 곡선형이거나 특정 분위수에 관심이 있거나 반복측정 자료라면 다른 모형을 검토해야 합니다.
설명변수가 많거나 서로 비슷할 때
릿지, 라쏘, 엘라스틱넷은 계수에 규제를 적용합니다. 세 방법의 차이는 계수를 얼마나 줄이고 일부를 0으로 만드는지에 있습니다. 특히 예측이 목적일 때 교차검증과 함께 사용합니다.
결과가 범주일 때
범주의 개수뿐 아니라 범주 사이에 순서가 있는지도 중요합니다. 이항·다항·순서형 로지스틱 회귀는 서로 바꿔 쓰는 방법이 아닙니다.
사건 발생 횟수나 비대칭 자료일 때
발생 횟수는 노출 기간이나 관측 기회가 다를 수 있으므로 이를 함께 반영해야 합니다. 양수에 치우친 연속형 결과는 일반적인 정규오차 선형모형보다 감마 GLM 같은 방법을 검토할 수 있습니다.
0이 많거나 관측 한계가 있을 때
영과잉 모형은 0이 발생하는 과정과 횟수가 발생하는 과정을 구분해 설명합니다. 토빗 회귀는 실제 값이 있는데 측정 상한이나 하한 때문에 일부만 관측된 경우에 사용합니다. 처음부터 서로 다른 문제를 다룹니다.
자료 구조와 분석 목적에 따라 방법이 달라집니다
같은 결과변수라도 관측 방식과 연구 질문을 함께 살펴야 합니다.
설명변수가 많거나 서로 강하게 연결되어 있을 때
변수 사이의 상관이 높아 회귀계수가 불안정하거나 예측에 활용할 변수가 많다면 릿지·라쏘·엘라스틱넷을 고려할 수 있습니다. 세 방법은 계수에 규제를 적용하는 방식이 다르므로, 예측 성능과 변수 선택 목적을 함께 살펴봅니다.
같은 대상을 여러 번 측정했을 때
학생별 여러 시점의 성적이나 병원별 환자 자료처럼 관측값이 서로 묶여 있다면 독립성 가정에 주의해야 합니다. 집단 또는 개인별 차이를 반영하는 혼합효과 회귀를 검토합니다.
이상치나 비대칭 분포가 두드러질 때
일부 관측값이 선형회귀 추정에 큰 영향을 준다면 로버스트 회귀를, 평균이 아닌 중앙값이나 상위 분위수의 변화를 보고 싶다면 분위수 회귀를 고려할 수 있습니다. 양수이면서 오른쪽으로 치우친 결과는 감마 GLM도 후보입니다.
0이 많거나 관측 범위에 제한이 있을 때
횟수 자료에 0이 많은 이유가 별도의 발생 과정과 관련된다면 영과잉 모형을 검토합니다. 다만 0이 많다는 사실만으로 영과잉 모형이 필요한 것은 아닙니다. 값이 특정 한계에서 검열되었다면 토빗 모형을 검토할 수 있지만, 표본이 잘려 관측 자체가 빠진 경우와는 구분해야 합니다.
분석 전에 공통으로 확인할 사항
모형을 골랐더라도 곧바로 분석을 시작하지는 않습니다
- 측정 단위결과변수와 설명변수의 척도, 단위, 범주 기준을 확인합니다.
- 독립성같은 사람의 반복 관측, 집단 안의 유사성, 시간 순서를 무시하지 않습니다.
- 관계의 형태선형성은 원자료의 직선 모양만이 아니라 모형의 연결함수와 설명변수 구성에 맞춰 확인합니다.
- 분포와 분산횟수 자료의 과산포, 연속형 자료의 잔차와 이분산, 극단값을 검토합니다.
- 결측과 변수 수결측 처리 기준, 표본 크기, 예측변수 수, 범주별 사건 수를 점검합니다.
- 모형 평가설명 중심 분석은 계수와 불확실성·진단 결과를, 예측 중심 분석은 검증 데이터 성능을 함께 봅니다.
변수 간 관계가 관찰되더라도 교란변수, 선택 편향, 시간적 선후관계와 연구 설계를 따로 확인해야 합니다.
어떤 방법부터 읽으면 좋을까요?
상황에 맞는 계열을 정한 뒤 상세 가이드로 이동하세요
| 이런 자료라면 | 우선 살펴볼 분석 |
|---|---|
| 점수나 금액을 설명 | 단순·다중선형회귀 |
| 설명변수가 많거나 상관이 높음 | 릿지·라쏘·엘라스틱넷 |
| 합격 여부, 선택 여부 | 이항 로지스틱 회귀 |
| 세 가지 이상 선택지 | 다항·순서형 로지스틱 회귀 |
| 사건이 발생한 횟수 | 포아송·음이항 회귀 |
| 0이 생기는 과정이 별도로 보임 | 영과잉 회귀 |
| 측정 가능한 범위에서 값이 멈춤 | 토빗 회귀 |
아래 상세 가이드 목록에서 각 방법의 가정, 예제, 결과를 읽는 방법까지 확인할 수 있습니다.
회귀분석은 결과변수의 형태를 확인하는 것에서 시작합니다.
그다음 자료의 구조와 분포, 분석 목적을 살펴 방법을 좁혀 가면 됩니다.
모든 자료를 선형회귀로 다룰 수는 없습니다. 구매 여부에는 로지스틱 회귀, 사건 발생 횟수에는 포아송이나 음이항 회귀, 검열된 값에는 토빗 회귀 등 서로 다른 가정에 맞는 방법이 필요합니다. 같은 계열 안에서도 표본 구성과 변수 간 관계에 따라 추가적인 선택이 이루어집니다.
먼저 결과변수가 무엇을 나타내는지 구분하고, 관측값의 의존성·분포·측정 제한·연구 목적을 확인하세요. 회귀분석의 이름보다 중요한 것은 그 방법이 내 자료에서 어떤 가정을 하고 있는지 이해하는 것입니다.