연관규칙분석

온라인 쇼핑몰에서 커피를 구매한 고객은 어떤 상품을 함께 구매할까요? 특정 서비스를 이용하는 고객들은 어떤 기능을 함께 사용하는 경향이 있을까요? 설문조사에서 여러 항목을 동시에 선택한 응답자들에게는 어떤 공통점이 있을까요?

이처럼 데이터에서 특정 항목들이 함께 나타나는 패턴을 찾아내는 방법이 연관규칙분석(Association Rule Mining)입니다.

연관규칙분석은 고객의 구매 기록에서 상품 간 관계를 찾는 장바구니 분석(Market Basket Analysis)으로 잘 알려져 있습니다. 하지만 상품 구매뿐 아니라 웹사이트 이용 기록, 서비스 이용 패턴, 설문조사의 다중선택 응답 등 여러 항목이 함께 나타나는 데이터를 분석하는 데 활용할 수 있습니다.

특히 어떤 항목 조합이 자주 발생하는지, 한 항목이 등장했을 때 다른 항목도 함께 나타나는 비율이 얼마나 높은지 확인할 수 있습니다.

이번 글에서는 연관규칙분석의 기본 개념부터 지지도·신뢰도·향상도의 의미, Apriori와 ECLAT 알고리즘, 실제 분석 사례, 결과를 해석할 때 주의해야 할 점까지 살펴보겠습니다.

예를 들어 한 쇼핑몰에서 고객 1,000명의 구매 기록을 분석한다고 가정해 보겠습니다. 일부 고객은 커피만 구매하고, 다른 고객은 커피와 빵을 함께 구매하거나 우유와 시리얼을 함께 구매했을 수 있습니다. 연관규칙분석은 이러한 거래 기록을 비교하여 어떤 상품들이 자주 함께 나타나는지 확인합니다.

분석 결과는 일반적으로 다음과 같은 규칙으로 표현합니다.

이 규칙은 커피를 구매한 거래에서 빵도 함께 구매되는 경향을 나타냅니다. 여기서 화살표는 커피를 먼저 구매한 뒤 빵을 구매했다는 시간적 순서를 의미하지 않습니다. 단지 커피가 포함된 거래에서 빵도 함께 나타나는 관계를 표현합니다.

또한 이러한 규칙이 발견되었다고 해서 커피 구매가 빵 구매의 원인이라고 판단할 수는 없습니다. 연관규칙분석은 항목 간 동시 발생 패턴을 찾는 방법이지 인과관계를 검증하는 방법은 아닙니다.

거래 건수가 적다면 사람이 직접 살펴볼 수도 있지만, 수천 개의 상품과 수십만 건의 거래가 존재한다면 모든 조합을 확인하기는 어렵습니다.

예를 들어 쇼핑몰에서 커피가 가장 많이 판매되는 상품이라고 가정해 보겠습니다. 단순한 빈도분석을 통해 커피의 판매량이 높다는 사실은 확인할 수 있지만, 커피를 구매한 고객들이 어떤 상품을 함께 구매하는지는 알기 어렵습니다.

연관규칙분석은 이처럼 개별 항목의 빈도를 넘어 항목들 사이의 조합을 살펴봅니다. 이를 통해 자주 함께 구매되는 상품, 특정 기능을 함께 사용하는 고객 행동, 여러 설문 문항에서 반복적으로 나타나는 선택 패턴 등을 발견할 수 있습니다.

이러한 결과는 상품 추천, 묶음 판매, 매장 진열, 서비스 개선, 고객 행동 탐색 등에 활용할 수 있습니다. 다만 발견된 규칙이 실제 매출 증가나 고객 행동 변화로 이어질지는 별도로 검증해야 합니다.

여기서 A는 선행항목(Antecedent), B는 후행항목(Consequent)이라고 합니다. 예를 들어 '커피 → 빵'이라는 규칙이 있다면 커피가 선행항목이고 빵이 후행항목입니다. 이는 커피가 포함된 거래에서 빵이 함께 나타나는 패턴을 의미합니다.

규칙은 반드시 하나의 상품과 하나의 상품으로 구성될 필요는 없습니다. 여러 항목을 조합할 수도 있습니다. 예를 들어 다음과 같은 규칙도 가능합니다.

연관규칙분석에서는 이러한 규칙을 수치로 평가하기 위해 지지도(Support), 신뢰도(Confidence), 향상도(Lift) 등의 지표를 사용합니다.

지지도(Support)

지지도는 전체 거래 중 특정 항목들이 함께 나타난 비율입니다. 예를 들어 전체 거래 1,000건 중 커피와 빵이 함께 포함된 거래가 120건이라면 지지도는 0.12입니다. 이는 전체 거래의 12%에서 커피와 빵이 함께 구매되었다는 의미입니다.

지지도는 해당 규칙이 전체 데이터에서 얼마나 자주 관찰되는지를 보여줍니다. 지나치게 낮은 지지도를 가진 규칙은 일부 소수 거래에서만 나타난 우연한 패턴일 가능성도 있으므로 주의해야 합니다.

신뢰도(Confidence)

신뢰도는 선행항목 A가 포함된 거래 중 후행항목 B도 포함된 비율입니다. 예를 들어 커피를 구매한 거래가 300건이고, 그중 빵을 함께 구매한 거래가 120건이라면 신뢰도는 0.40입니다. 즉, 커피를 구매한 거래의 40%에서 빵도 함께 구매되었다는 의미입니다.

신뢰도는 규칙의 조건부 발생 비율을 나타내지만, 후행항목 자체가 매우 흔하게 나타나는 경우에도 높아질 수 있습니다. 따라서 신뢰도만으로 규칙의 중요성을 판단하는 것은 적절하지 않습니다.

향상도(Lift)

향상도는 선행항목이 나타났을 때 후행항목이 나타나는 비율을 후행항목의 전체 발생률과 비교한 값입니다. 일반적으로 다음과 같이 해석합니다.

향상도가 1.5라면 A가 포함된 거래에서 B가 함께 나타나는 비율이 전체 거래에서 B가 나타나는 비율의 1.5배라는 의미입니다. 다만 향상도가 높다고 해서 규칙이 항상 중요한 것은 아닙니다. 아주 드물게 발생하는 상품 조합에서도 높은 향상도가 나타날 수 있으므로 지지도와 거래 수를 함께 확인해야 합니다.

연구 목적은 커피를 구매한 거래에서 빵이 함께 구매되는 경향이 있는지 확인하는 것입니다. 수집한 거래 기록은 다음과 같습니다.

이 결과를 이용해 '커피 → 빵'이라는 연관규칙을 계산해 보겠습니다.

① 지지도 계산

전체 1,000건 중 커피와 빵을 함께 구매한 거래는 120건입니다. 지지도 = 120 ÷ 1,000 = 0.12 따라서 지지도는 12%입니다.

② 신뢰도 계산

커피를 구매한 300건 중 빵을 함께 구매한 거래는 120건입니다. 신뢰도 = 120 ÷ 300 = 0.40 따라서 신뢰도는 40%입니다.

③ 향상도 계산

전체 거래에서 빵이 구매된 비율은 250 ÷ 1,000 = 0.25입니다. 향상도 = 0.40 ÷ 0.25 = 1.60 따라서 향상도는 1.60입니다.

연관규칙분석 결과

결과는 어떻게 해석할까요?

전체 거래의 12%에서 커피와 빵이 함께 구매되었습니다. 커피를 구매한 거래 중 40%에서 빵도 구매되었으며, 커피가 포함된 거래에서 빵이 함께 나타나는 비율은 전체 빵 구매 비율보다 1.6배 높았습니다. 따라서 커피와 빵 사이에는 양의 연관성이 나타났다고 해석할 수 있습니다.

이 결과는 커피 구매 고객에게 빵을 함께 추천하거나 두 상품의 묶음 판매를 검토하는 데 참고할 수 있습니다. 다만 이러한 전략이 실제 매출 증가로 이어지는지는 별도의 실험이나 성과 분석을 통해 확인해야 합니다.

'커피 → 빵'과 '빵 → 커피'는 같은 상품 조합을 다루지만 서로 다른 조건부 비율을 나타냅니다. 앞선 사례에서 커피를 구매한 거래는 300건, 빵을 구매한 거래는 250건이며 두 상품을 함께 구매한 거래는 120건입니다. 이를 기준으로 계산하면 다음과 같습니다.

두 규칙의 지지도와 향상도는 동일하지만 신뢰도는 다릅니다. 커피를 구매한 거래 중 빵도 구매한 비율은 40%인 반면, 빵을 구매한 거래 중 커피도 구매한 비율은 48%이기 때문입니다. 이는 규칙의 선행항목과 후행항목을 바꾸면 조건부 비율의 기준이 달라진다는 것을 보여줍니다.

따라서 연관규칙분석에서는 어떤 항목을 기준으로 다른 항목의 동시 발생을 살펴보는지 명확하게 구분해야 합니다.

Apriori는 자주 함께 나타나는 항목 조합을 단계적으로 탐색하는 알고리즘입니다. 예를 들어 쇼핑몰에서 커피, 빵, 우유, 시리얼, 과자 등 여러 상품의 구매 기록을 분석한다고 가정해 보겠습니다.

Apriori는 먼저 개별 상품의 등장 빈도를 확인한 뒤, 자주 나타나는 상품들을 조합하여 두 개짜리 항목집합을 탐색합니다. 이후 조건을 만족하는 조합을 바탕으로 세 개 이상의 항목집합을 탐색합니다.

이때 중요한 기준이 최소 지지도(Minimum Support)입니다. 예를 들어 최소 지지도를 5%로 설정했다면 전체 거래의 5% 미만에서 나타나는 항목 조합은 빈발 항목집합 탐색 대상에서 제외합니다. Apriori는 어떤 항목집합이 빈발하려면 그 부분집합도 빈발해야 한다는 원리를 활용합니다.

예를 들어 커피와 빵의 조합이 최소 지지도를 만족하지 못한다면 커피, 빵, 우유를 모두 포함하는 조합 역시 최소 지지도를 만족할 수 없습니다. 이러한 원리를 이용해 불필요한 후보 조합을 줄입니다.

Apriori의 특징

Apriori는 단계적으로 후보 항목집합을 생성하기 때문에 작동 원리를 이해하기 쉽습니다. 최소 지지도를 기준으로 자주 나타나는 조합을 찾은 뒤 신뢰도 등의 조건을 적용하여 연관규칙을 생성할 수 있습니다.

다만 상품 종류가 많고 가능한 조합이 크게 증가하면 후보 항목집합 생성과 데이터 탐색에 많은 계산 비용이 발생할 수 있습니다. 따라서 데이터의 규모와 구조에 따라 다른 알고리즘이 더 효율적일 수 있습니다.

하지만 데이터를 탐색하는 방식에는 차이가 있습니다. Apriori가 거래에 포함된 상품 조합을 단계적으로 생성하고 확인한다면, ECLAT은 각 상품이 포함된 거래 ID 집합을 이용합니다. 예를 들어 다음과 같은 구매 기록이 있다고 가정해 보겠습니다.

ECLAT은 이러한 데이터를 상품별 거래 ID 형태로 표현할 수 있습니다.

커피와 빵이 함께 나타나는 거래를 찾으려면 두 거래 ID 집합의 교집합을 계산합니다. 커피 ∩ 빵 = T1, T3, T5 따라서 커피와 빵이 함께 포함된 거래는 3건입니다.

이처럼 ECLAT은 거래 ID 집합의 교집합을 이용해 여러 상품의 동시 발생 빈도를 계산합니다.

ECLAT의 특징

ECLAT은 수직 데이터 구조와 집합 연산을 활용하므로 데이터 구조에 따라 빈발 항목집합을 효율적으로 탐색할 수 있습니다. 다만 거래 ID 집합을 저장하고 처리해야 하므로 데이터의 크기와 밀도, 메모리 사용량에 영향을 받을 수 있습니다.

따라서 ECLAT이 Apriori보다 모든 상황에서 빠르다고 단정할 수는 없습니다.

두 방법의 가장 큰 차이는 항목 조합을 탐색하는 방식과 데이터를 표현하는 구조에 있습니다.

예를 들어 상품 종류가 많고 조합이 복잡한 데이터에서는 두 알고리즘의 성능이 다르게 나타날 수 있습니다. 그러나 같은 최소 지지도 기준과 동일한 거래 데이터를 사용하여 정확하게 탐색한다면, 두 알고리즘은 원칙적으로 같은 빈발 항목집합을 찾아야 합니다.

따라서 분석 결과의 의미 자체가 달라지는 것이 아니라, 그 결과를 찾아내는 계산 방식이 다르다고 이해할 수 있습니다.

또한 Apriori와 ECLAT이 직접 수행하는 핵심 작업은 빈발 항목집합 탐색입니다. 최종적인 연관규칙을 얻으려면 발견한 항목집합에서 규칙을 생성하고 신뢰도, 향상도 등의 기준으로 평가하는 과정이 추가됩니다.

최소 지지도(Minimum Support)

최소 지지도는 항목 조합이 전체 거래에서 최소한 얼마나 자주 나타나야 하는지를 결정합니다. 예를 들어 최소 지지도를 5%로 설정하면 전체 거래의 5% 이상에서 나타나는 항목집합을 탐색합니다.

기준을 너무 높게 설정하면 중요한 희소 패턴을 놓칠 수 있습니다. 반대로 너무 낮게 설정하면 매우 많은 후보 조합이 발견되어 분석 결과를 해석하기 어려워질 수 있습니다.

최소 신뢰도(Minimum Confidence)

최소 신뢰도는 연관규칙의 선행항목이 포함된 거래에서 후행항목도 나타나는 비율에 대한 기준입니다. 예를 들어 최소 신뢰도를 60%로 설정하면 조건을 만족하는 빈발 항목집합에서 생성된 규칙 중 신뢰도가 60% 이상인 규칙을 남길 수 있습니다.

다만 신뢰도가 높은 규칙이 반드시 의미 있는 것은 아닙니다. 후행항목 자체가 거의 모든 거래에서 등장한다면 다른 항목과 특별한 관련성이 없어도 신뢰도가 높아질 수 있기 때문입니다. 따라서 지지도와 신뢰도뿐 아니라 향상도와 실제 거래 수를 함께 확인하는 것이 좋습니다.

예를 들어 다음과 같은 결과가 나타났다고 가정해 보겠습니다.

이 결과에서 우유 → 시리얼 규칙은 향상도가 2.10으로 가장 높습니다. 이는 우유가 포함된 거래에서 시리얼이 함께 나타나는 비율이 전체 시리얼 발생률보다 2.1배 높다는 의미입니다.

반면 과자 → 음료 규칙은 신뢰도가 70%로 높지만 향상도는 1.05에 불과합니다. 음료 자체가 흔하게 구매되는 상품이라면 과자를 구매한 고객이 음료를 함께 구매하는 비율이 높더라도 특별한 연관성이 크지 않을 수 있습니다. 따라서 신뢰도만 기준으로 규칙을 정렬하면 실제로 특징적인 조합을 놓칠 수 있습니다.

분석 결과를 해석할 때는 규칙의 발생 빈도, 조건부 발생 비율, 전체 발생률과 비교한 연관성, 실제 활용 가능성을 함께 고려하는 것이 좋습니다.

이러한 경우 산점도, 네트워크 그래프, 행렬 형태의 시각화 등을 사용할 수 있습니다.

규칙 산점도(Association Rules Scatter Plot)

산점도는 각 연관규칙을 하나의 점으로 표현합니다. 예를 들어 가로축에는 지지도, 세로축에는 신뢰도를 배치하고 점의 색상이나 크기로 향상도를 나타낼 수 있습니다. 이렇게 하면 자주 나타나는 규칙과 조건부 발생 비율이 높은 규칙을 비교할 수 있습니다.

네트워크 그래프(Network Graph)

네트워크 그래프는 상품이나 항목을 노드로, 항목 사이의 규칙을 연결선으로 표현합니다. 예를 들어 커피, 빵, 우유, 시리얼 사이에 여러 규칙이 존재한다면 어떤 상품들이 서로 연결되어 있는지 시각적으로 살펴볼 수 있습니다.

다만 연관규칙의 화살표는 인과관계나 구매 순서를 나타내지 않는다는 점에 주의해야 합니다.

규칙 행렬(Matrix Visualization)

규칙 행렬은 선행항목과 후행항목의 조합을 행과 열로 배치하고, 각 규칙의 지지도나 향상도를 색상으로 표현하는 방법입니다. 항목 수가 비교적 제한된 경우 어떤 조합에서 높은 연관성이 나타나는지 확인하는 데 도움이 됩니다.

예를 들어 구매 금액이 높을수록 방문 횟수도 증가하는지 알아보고 싶다면 상관분석을 고려할 수 있습니다. 반면 커피를 구매한 거래에서 빵이나 우유가 얼마나 자주 함께 나타나는지 알고 싶다면 연관규칙분석이 더 적절합니다.

두 방법 모두 변수 사이의 관련성을 다루지만, 연관규칙분석은 여러 항목의 조합을 탐색하는 데 중점을 둡니다.

연관성이 인과관계를 의미하지는 않습니다.

커피와 빵이 자주 함께 구매된다고 해서 커피 구매가 빵 구매를 유발한다고 볼 수는 없습니다. 두 상품이 같은 시간대에 소비되거나 특정 고객 집단에서 함께 선호되는 등 다른 이유가 존재할 수 있습니다. 따라서 규칙은 동시 발생 패턴으로 해석해야 합니다.

지지도가 낮은 규칙에 주의해야 합니다.

매우 적은 거래에서만 나타난 규칙은 우연한 패턴일 수 있습니다. 특히 향상도가 높더라도 실제 거래 수가 적다면 결과가 불안정할 수 있습니다. 따라서 지지도와 실제 거래 건수를 함께 확인하는 것이 좋습니다.

규칙이 너무 많이 발견될 수 있습니다.

상품 종류가 많거나 최소 지지도 기준이 낮으면 매우 많은 규칙이 생성될 수 있습니다. 이러한 규칙 중에는 서로 비슷하거나 중복되는 패턴도 포함될 수 있습니다. 따라서 실제 분석에서는 최소 지지도, 최소 신뢰도, 향상도 등의 기준을 설정하고, 필요에 따라 중복되거나 활용 가치가 낮은 규칙을 정리해야 합니다.

데이터 수집 단위를 명확하게 정해야 합니다.

연관규칙분석에서는 하나의 거래가 무엇을 의미하는지 중요합니다. 예를 들어 장바구니 한 건을 거래 단위로 사용할 수도 있고, 고객 한 명의 일정 기간 구매 기록을 하나의 거래로 묶을 수도 있습니다. 같은 원본 데이터라도 거래 단위를 어떻게 정의하느냐에 따라 연관규칙이 달라질 수 있습니다.

따라서 분석 목적에 적합한 거래 단위를 설정해야 합니다.

시간에 따른 변화를 고려해야 합니다.

상품 구매 패턴은 계절, 할인 행사, 신제품 출시, 소비자 행동 변화 등에 따라 달라질 수 있습니다. 예를 들어 여름철과 겨울철의 구매 기록을 모두 합쳐 분석하면 특정 시기에만 나타나는 패턴이 희석될 수 있습니다. 따라서 필요에 따라 기간별 연관규칙을 비교하는 것도 도움이 됩니다.

새로운 데이터에서도 규칙이 유지되는지 확인해야 합니다.

연관규칙을 매우 많이 탐색하면 우연히 높은 향상도나 신뢰도가 나타나는 규칙이 발견될 수 있습니다. 따라서 중요한 규칙은 다른 기간의 데이터나 별도의 검증 데이터에서도 유지되는지 확인하는 것이 좋습니다.

유통 및 전자상거래

함께 구매되는 상품을 탐색하고 상품 추천, 묶음 판매, 매장 진열 전략 등을 검토할 수 있습니다.

마케팅 및 고객 분석

고객들이 함께 구매하는 상품군이나 동시에 이용하는 서비스를 파악하여 고객 행동 패턴을 분석할 수 있습니다.

설문조사

다중선택 문항에서 응답자들이 자주 함께 선택하는 항목의 조합을 확인할 수 있습니다. 예를 들어 이용 중인 SNS나 선호하는 서비스 기능의 조합을 분석할 수 있습니다.

웹사이트 및 서비스 이용 분석

사용자가 함께 이용하는 기능이나 반복적으로 나타나는 행동 조합을 탐색할 수 있습니다.

보건 및 의료 데이터 분석

여러 증상이나 건강 관련 항목이 함께 관찰되는 패턴을 탐색할 수 있습니다. 다만 발견된 규칙을 질병의 원인이나 진단 근거로 직접 해석해서는 안 됩니다.

교육 연구

학습자가 함께 이용하는 교육 콘텐츠나 학습 활동의 조합을 살펴볼 수 있습니다. 이처럼 연관규칙분석은 단순히 어떤 항목이 많이 나타나는지 확인하는 것을 넘어, 여러 항목이 어떤 조합으로 나타나는지 이해하는 데 활용됩니다.

앞서 살펴본 쇼핑몰 구매 데이터 사례를 이용하면 다음과 같이 작성할 수 있습니다.

이처럼 결과를 보고하면 단순히 두 상품이 관련되어 있다는 설명보다 얼마나 자주 함께 나타났고, 어떤 기준에서 연관성이 확인되었는지 구체적으로 전달할 수 있습니다. 실제 분석에서는 사용한 알고리즘, 거래 단위, 데이터 수집 기간, 규칙 탐색 기준 등을 함께 보고하는 것이 좋습니다.

대표적으로 지지도, 신뢰도, 향상도를 이용해 규칙의 발생 빈도와 상대적인 연관성을 평가합니다. 또한 Apriori와 ECLAT 등 다양한 알고리즘을 활용하여 빈발 항목집합을 탐색할 수 있습니다.

다만 신뢰도나 향상도가 높다고 해서 해당 규칙이 반드시 중요한 것은 아닙니다. 실제 거래 수와 항목의 발생률, 데이터 수집 조건, 활용 목적 등을 함께 고려해야 합니다. 특히 발견된 규칙을 인과관계로 해석하지 않도록 주의해야 합니다.