이상치 탐지와 처리: Z-Score vs IQR

이상치는 나머지에서 멀리 떨어진 값입니다. 오타일 수도, 고장 난 센서일 수도 — 혹은 데이터셋에서 가장 중요한 레코드일 수도 있습니다. 요령은 찾는 게 아니라 어느 쪽인지 판단하는 것입니다.

Watch out

반사적으로 이상치를 지우는 것이 데이터 정제에서 가장 흔한 실수입니다. 때로는 이상치가 바로 그 발견입니다 — 사기, 이탈 위험, 획기적 결과.

진짜 극단값 vs 오류

한 점이 평균에서 몇 표준편차 떨어졌는지 측정합니다. 임계값(흔히 |z| > 3)을 넘으면 표시. 간단하지만 평균·표준편차 자체가 이상치에 끌려가므로, 대략 정규분포인 데이터에 적합합니다.

Q1 − 1.5×IQR 미만 또는 Q3 + 1.5×IQR 초과를 표시합니다. 사분위 기반이라 왜도·극단값에 강해 지저분한 데이터의 안전한 기본값입니다. 위 박스플롯이 바로 이 방식입니다.

가장 견고한 선택. 전 과정에서 중앙값을 사용해 극단값 몇 개에 거의 흔들리지 않습니다.

Tip

이상치가 진짜지만 방해가 된다면, 삭제보다 robust 스케일링이나 변환을 택하세요 — 레코드를 유지하면서 지배하지 못하게 합니다.

SKARI의 데이터 편집기에서 이상치 도구는 방법 — Z-Score 또는 IQR — 을 고르고, 임계값을 설정하고, 값을 건드리기 전에 경계를 미리 볼 수 있게 합니다.

Takeaway

경계를 눈앞에 두고 결정합니다 — 맹목적 삭제 없이, 완전히 기록된 단계로.

기본은 IQR — 평균에 의존하지 않고 왜도를 다룹니다. 데이터가 대략 정규분포일 때만 Z-Score를 쓰세요.

아니요. 확인된 오류는 제거하되, 진짜 극단값은 목적에 따라 상한·변환·유지하세요.

Min-Max와 Z-Score 스케일링을 왜곡합니다. 제거할 수 없다면, 이상치를 견디도록 설계된 robust 스케일링을 쓰세요.

이상치에는 삭제 키가 아니라 결정이 필요합니다. 분포에 맞는 방법으로 탐지하고, 각각을 맥락 속에서 판단하고, 진짜 신호를 보존하는 방식으로 처리하세요.

Takeaway

극단값을 의도적으로 다루면 모델이 진실을 봅니다 — 드물고 값진 사례까지 포함해서.

결측치 처리

깨끗한 데이터의 나머지 절반

데이터 정규화 가이드

robust 스케일링이 존재하는 이유 — 이상치

고급 군집분석 기법

이상치를 노이즈로 다루는 밀도 기반 방법