나이브 베이즈

받은 편지함에는 매일 수많은 이메일이 도착합니다. 어떤 메일은 중요한 업무 연락이고, 어떤 메일은 광고나 사기성 메시지일 수 있습니다. 컴퓨터는 이메일을 읽고 어떻게 스팸인지 판단할까요? 특정 단어가 등장했다는 사실만으로 충분할까요?

이처럼 이메일에 포함된 단어와 각 분류에 속할 확률을 이용해 정상 메일과 스팸 메일을 구분하는 방법이 나이브 베이즈(Naive Bayes)입니다. 이미 분류된 이메일에서 단어의 등장 패턴을 학습한 뒤, 새로운 이메일이 어느 집단에 속할 가능성이 더 큰지 계산합니다.

KNN은 비슷한 이메일을 찾고, SVM은 메일을 구분하는 결정경계를 학습합니다. 반면 나이브 베이즈는 분류별 단어의 출현 확률을 결합한다는 점에서 차이가 있습니다. 단어들이 분류가 주어졌을 때 서로 독립이라는 단순화된 가정을 사용하므로 계산이 빠르지만, 그 가정이 실제 언어의 구조를 정확히 반영하지는 않습니다.

나이브 베이즈는 이메일 스팸 필터, 문서 주제 분류, 고객 문의 유형 구분 등에 사용됩니다. 이번 글에서는 스팸 탐지 예제로 작동 원리와 확률 계산, 전처리와 평활화, 분류 성능 해석, 다른 분석과의 차이, 실제 적용 시 주의할 점을 살펴보겠습니다.

나이브 베이즈는 먼저 이미 정답이 알려진 이메일에서 스팸과 정상 메일의 비율을 파악합니다. 이어 각 집단에서 어떤 단어가 얼마나 자주 등장하는지 학습합니다. 새 이메일이 들어오면 그 단어들이 스팸에서 나타날 가능성과 정상 메일에서 나타날 가능성을 비교하여 분류합니다.

이때 단어들이 해당 분류를 알고 있다는 조건 아래 서로 독립이라고 가정합니다. 실제로 ‘특별’과 ‘할인’ 같은 단어는 함께 등장하기 쉽지만, 계산을 단순하게 만들기 위해 개별 단어의 확률을 결합합니다. 이 때문에 ‘나이브(단순한)’라는 이름이 붙었습니다.

이메일은 길이가 제각각이고 다양한 단어로 이루어져 있습니다. 문서 전체를 하나의 숫자로 바꾸기보다 이메일에 등장한 단어의 빈도나 출현 여부를 특징으로 만들면 스팸과 정상 메일을 구분하는 단서를 얻을 수 있습니다.

학습과 예측이 상대적으로 빠르며, 어떤 단어가 각 분류에서 자주 나타나는지도 확인할 수 있습니다. 반면 표현의 맥락이나 단어 사이의 복잡한 관계를 충분히 반영하지 못해 문맥에 따라 의미가 바뀌는 문장에는 한계가 있습니다.

① 이메일을 단어 특징으로 바꿉니다

메일의 제목과 본문에서 단어를 추출하고, 필요한 경우 소문자화, 토큰화, 불필요한 기호 처리 등을 거칩니다. 다항 나이브 베이즈에서는 단어의 등장 횟수를 대표적인 입력값으로 사용합니다.

② 스팸과 정상 메일의 사전확률을 구합니다

학습자료에서 스팸이 20%, 정상 메일이 80%라면 사전확률은 각각 0.20과 0.80입니다. 이것만으로 새 메일을 분류하지 않고 단어 정보로 갱신합니다.

③ 각 집단에서 단어가 등장할 조건부확률을 추정합니다

‘무료’라는 단어가 스팸 메일에 속한 단어 토큰에서 상대적으로 자주 나타난다면, 해당 단어는 스팸 점수에 더 크게 기여할 수 있습니다. 다항 모형에서는 클래스별 전체 단어 토큰 수를 기준으로 확률을 계산합니다.

④ 분류별 점수를 비교합니다

사전확률과 이메일 속 단어들의 조건부확률을 결합해 두 집단의 점수를 계산하고, 더 높은 사후확률을 가진 집단으로 분류합니다. 실제 구현에서는 매우 작은 수를 안정적으로 다루기 위해 로그확률을 합산합니다.

메일 서버에서 수집했다고 가정한 가상 이메일 1,000건 중 정상 메일은 800건, 스팸은 200건입니다. 800건을 학습에 사용하고, 정답을 숨겨 둔 200건을 마지막 평가에 사용합니다. 두 집합 모두 정상 80%, 스팸 20% 비율을 유지하도록 나누었습니다.

다음에 나오는 성능 수치는 계산 관계가 맞도록 구성한 학습용 가상 결과이며, 실제 이메일 데이터로 모델을 학습하거나 평가해서 얻은 수치는 아닙니다.

① 원본 메일과 정답을 준비합니다

메일 본문과 제목, 스팸 여부를 정리하고 중복 및 잘못 표기된 정답을 점검합니다.

② 학습자료와 평가자료를 나눕니다

평가자료 200건은 마지막까지 따로 두고, 학습자료 내부에서 교차검증으로 설정값을 비교합니다.

③ 학습자료에서 텍스트 특징을 만듭니다

단어장을 학습자료에서 적합하고 이메일을 단어 빈도 벡터로 바꿉니다. 영어 메일이라면 소문자화와 토큰화 규칙을 일관되게 적용합니다.

④ 확률과 평활화 계수를 학습합니다

다항 나이브 베이즈를 적용하고, 라플라스 평활화 계수 α를 학습자료의 교차검증으로 선택합니다.

⑤ 최종 평가자료에서 오류를 확인합니다

스팸을 놓친 경우와 정상 메일을 잘못 차단한 경우를 구분해 혼동행렬, 정밀도, 재현율, F1 점수를 검토합니다.

학습자료의 스팸 이메일에서 한 번도 나오지 않은 단어가 새 메일에 등장했다고 가정해 보겠습니다. 조건부확률을 관측 빈도로만 계산하면 그 단어의 확률은 0이 되고, 확률을 곱한 스팸 점수도 0이 됩니다. 평활화는 각 단어의 추정 빈도에 작은 값을 더해 이런 문제를 완화합니다.

다항 나이브 베이즈에서 각 단어의 추정 확률은 (해당 분류의 단어 빈도 + α) ÷ (해당 분류의 전체 단어 수 + α × 단어장 크기)입니다. α는 단순히 크게 설정하는 것이 아니라 학습자료 내 검증으로 정합니다.

가상의 평가 이메일 200건에 모델을 적용한 결과를 아래처럼 가정하겠습니다. 행은 실제 분류, 열은 예측 분류입니다.

정확도는 91.0%(182/200), 스팸 정밀도는 82.4%(28/34), 스팸 재현율은 70.0%(28/40)입니다. 스팸 F1 점수는 약 75.7%입니다. 정확도만 보면 높아 보이지만 스팸 10건 중 3건을 놓치므로, 목표에 따라 임계값이나 모델을 조정할 필요가 있습니다.

예측확률이 0.80이라고 표시되더라도, 실제로 스팸인 메일 중 약 80%라는 의미가 자동으로 보장되는 것은 아닙니다. 나이브 베이즈의 조건부 독립 가정이 현실에 정확히 맞지 않으면 출력 확률이 과도하게 확신하는 방향으로 치우칠 수 있습니다.

실제로 자동 삭제·격리·경고를 결정한다면 정상 메일을 놓쳤을 때의 피해를 함께 고려해야 합니다. 분류 임계값은 평가자료가 아닌 별도의 검증 과정에서 정하는 것이 안전합니다.

단어들이 실제로 독립적인가요?

이메일 속 단어는 서로 관련되어 있고 문장 순서도 중요합니다. 나이브 베이즈는 이런 관계를 단순화하므로 풍자·부정문·은유적인 표현을 잘못 판단할 수 있습니다.

정상 메일을 잘못 차단하지 않나요?

정상 메일을 스팸으로 분류하는 거짓 양성은 중요한 업무 연락의 누락으로 이어질 수 있습니다. 정확도 하나만 보고 운영해서는 안 됩니다.

훈련 시점과 운영 시점의 단어가 다른가요?

스팸 문구와 발송 형태는 계속 바뀝니다. 시간이 흐른 뒤 수집된 메일로 성능을 다시 측정하고 필요하면 재학습해야 합니다.

개인정보와 편향은 어떻게 관리하나요?

이메일에는 이름·연락처·계약 내용 등 민감한 정보가 포함될 수 있습니다. 불필요한 보관을 피하고 이용 권한과 목적에 맞게 사용해야 합니다.

텍스트 자료에서 다항 나이브 베이즈는 단어 빈도에 적합한 대표적인 선택입니다. 단어의 출현 여부를 다루는 베르누이 나이브 베이즈, 연속형 변수에 정규분포를 가정하는 가우시안 나이브 베이즈 등도 있어 데이터의 형태에 따라 구분해 사용합니다.

보고서에는 이메일 건수와 스팸 비율, 토큰화 및 단어장 구성, 사용한 나이브 베이즈 종류, 평활화 계수, 교차검증 방식, 독립 평가자료의 혼동행렬과 평가 지표를 포함합니다. 운영 목적에 따라 거짓 양성과 거짓 음성도 함께 제시해야 합니다.

실제 논문이나 보고서에서는 학습자료에서 선택한 α값과 특징 추출 방식도 기재하고, 다른 모델과 비교할 경우에는 동일한 평가자료와 지표를 사용해야 합니다.

나이브 베이즈는 단순한 기준 모델로 출발하기 좋지만 모든 분류 문제의 최적 모델은 아닙니다. 데이터의 구조, 맥락, 운영 중 발생하는 오류 비용을 함께 고려해 다른 방법과 비교하는 것이 적절합니다.

이메일 스팸 탐지에서 나이브 베이즈는 이미 분류된 메일에 등장한 단어들의 빈도를 바탕으로 새 이메일이 어느 집단에 속할 가능성이 큰지 계산합니다. 단어 사이의 관계를 단순화하여 빠르게 학습할 수 있다는 장점이 있지만, 같은 단어라도 문맥에 따라 의미가 달라지거나 새로운 스팸 표현이 등장하면 분류 결과가 흔들릴 수 있습니다. 평활화는 학습자료에 없던 단어 때문에 확률이 0이 되는 문제를 줄여 주지만 모든 오류를 없애 주지는 않습니다.

따라서 나이브 베이즈를 평가할 때는 전체 정확도뿐 아니라 스팸을 놓친 횟수와 정상 메일을 잘못 차단한 횟수를 구분해 확인해야 합니다. 이번 가상 사례에서는 정확도가 91.0%였지만 스팸 재현율은 70.0%에 머물렀습니다. 어떤 오류를 더 줄여야 하는지는 실제 서비스의 목적에 따라 달라집니다. 전처리와 모델 설정을 학습자료에서만 결정하고 새로운 기간의 이메일에서도 성능을 확인해야 결과를 신뢰할 수 있습니다.