요인설계와 실험계획법 (DOE)

요인설계와 실험계획법은 여러 조건을 체계적으로 조합해 실험하고, 어떤 요인이 결과에 영향을 미치는지 파악하는 방법입니다. 예를 들어, 커피의 맛을 개선하려고 할 때 원두 종류와 추출 온도를 바꿔 가며 실험한다고 생각해 보겠습니다. 원두 종류만 바꾸거나 온도만 바꾸는 것이 아니라 두 요인을 조합해 실험하면, 각각의 영향뿐 아니라 특정 원두가 특정 온도에서 더 좋은 결과를 내는지도 확인할 수 있습니다.

실험계획법은 결과에 영향을 주는 요인을 찾아내고, 더 나은 조건을 결정하기 위해 사용합니다. 예를 들어 다음과 같은 연구를 생각할 수 있습니다.

• 요인 A: 원두 종류 — A종, B종
• 요인 B: 추출 온도 — 85℃, 95℃
• 결과변수: 커피 맛 평가 점수

이 실험으로 다음 질문에 답할 수 있습니다.

1. 원두 종류에 따라 맛 평가 점수가 달라지는가?
2. 추출 온도에 따라 맛 평가 점수가 달라지는가?
3. 원두 종류와 추출 온도의 조합에 따라 결과가 달라지는가?

세 번째 질문은 두 요인 사이의 상호작용 효과를 확인하는 것입니다.

흔히 쓰는 방법은 한 번에 하나씩 바꾸는 실험입니다. 원두를 A종으로 고정하고 온도만 바꿔 본 뒤, 좋았던 온도에 고정하고 원두를 바꾸는 식입니다. 이 방법은 직관적이지만, 원두에 따라 좋은 온도가 달라지는 경우(상호작용)를 놓칠 수 있습니다. 모든 조합을 체계적으로 실험하는 요인설계는 이 문제를 피하면서, 같은 실험 횟수로 각 요인의 효과를 더 효율적으로 추정할 수 있습니다.

실험계획법을 이해하려면 세 가지 개념을 알아야 합니다.

• 요인 (Factor): 결과에 영향을 줄 것으로 예상해 실험에서 변화시키는 변수입니다. 예: 원두 종류, 추출 온도
• 수준 (Level): 각 요인이 갖는 실험 조건입니다. 예: 원두 A·B, 온도 85℃·95℃
• 반응변수 (Response): 실험을 통해 측정하는 결과입니다. 예: 맛 평가 점수, 생산량, 불량률

요인과 수준을 정하면 어떤 조건들을 실험할지 결정할 수 있습니다. 관찰 연구와 달리 실험에서는 연구자가 요인의 수준을 직접 정해서 바꾼다는 점이 핵심입니다. 그래서 조건 사이의 차이를 요인의 효과로 해석하기가 훨씬 수월합니다.

원두 종류 2개와 추출 온도 2개를 조합하면 총 4개의 실험 조건이 만들어집니다.

각 조건에서 여러 번 실험하고 맛 평가 점수를 측정한다고 가정하겠습니다. 가상 데이터이며, 각 조건의 평균 점수입니다.

85℃에서는 A종의 점수가 더 높지만, 95℃에서는 B종의 점수가 더 높습니다. 온도가 올라갈 때 A종은 1점 상승하고 B종은 3점 상승합니다.

이처럼 온도의 효과가 원두 종류에 따라 달라지는 패턴은 상호작용 가능성을 보여 줍니다. 다만 실제 상호작용이 통계적으로 유의한지는 반복 측정값과 오차를 이용해 검정해야 합니다.

2×2 요인설계에서는 일반적으로 다음 효과를 분석합니다.

• 원두 종류의 주효과: 두 온도를 평균했을 때 원두 종류에 따른 점수 차이
• 추출 온도의 주효과: 두 원두를 평균했을 때 온도에 따른 점수 차이
• 원두 종류 × 추출 온도의 상호작용: 온도의 효과가 원두 종류에 따라 달라지는지 여부

요인설계는 이 세 가지 효과를 함께 평가할 수 있다는 점이 중요합니다. 주효과와 상호작용의 개념은 3장 이원분산분석에서 자세히 다뤘으니, 여기서는 이 예제에서 나타나는 특별한 점을 살펴보겠습니다.

원두 종류의 주효과를 계산하면 A종은 (7 + 8) ÷ 2 = 7.5점, B종은 (6 + 9) ÷ 2 = 7.5점으로 차이가 0입니다. 온도의 주효과는 85℃ 6.5점, 95℃ 8.5점으로 2점입니다. 원두의 주효과만 보면 “원두는 맛과 상관없다”고 결론 내리기 쉽지만, 실제로는 85℃에서는 A종이, 95℃에서는 B종이 더 맛있습니다. 두 효과가 정확히 상쇄되어 평균에서 사라진 것입니다. 이처럼 주효과가 없어도 상호작용은 있을 수 있으므로, 요인설계에서는 조건별 평균 그래프를 함께 확인해야 합니다.

요인 수가 늘어나면 가능한 조합도 빠르게 증가합니다. 예를 들어 요인 4개가 각각 2개 수준을 갖는 완전요인설계는 2⁴ = 16개의 조건이 필요합니다. 따라서 비용과 실험 시간을 고려해 적절한 설계를 선택해야 합니다.

그림 4는 요인 3개가 각각 2수준일 때의 8개 조합을 정육면체의 꼭짓점으로 나타낸 것입니다. 완전요인설계는 8개를 모두 실험하고, 부분요인설계는 잘 고른 4개만 실험합니다. 실험을 절반으로 줄이는 대신, 일부 효과(예: 어떤 주효과와 다른 두 요인의 상호작용)가 같은 숫자로 계산되어 서로 구분되지 않습니다. 이렇게 함께 묶이는 효과의 관계를 별칭 구조라고 합니다. 그래서 부분요인설계는 “고차 상호작용은 작을 것”이라는 가정 아래, 많은 요인 가운데 중요한 것을 빠르게 골라내는 초기 실험에 주로 씁니다.

• ① 완전요인설계 (Full Factorial Design): 모든 요인의 수준 조합을 실험합니다. 주효과뿐 아니라 설계에 포함된 상호작용도 평가할 수 있습니다. 예: 원두 2종 × 온도 2수준 = 4개 조건
• ② 부분요인설계 (Fractional Factorial Design): 전체 조합 중 일부만 실험해 비용을 줄입니다. 대신 일부 효과가 서로 구분되지 않을 수 있으므로 설계의 별칭 구조와 목적을 검토해야 합니다. 예: 요인이 많을 때 중요한 요인을 선별하는 초기 실험
• ③ 반응표면법 (Response Surface Methodology): 요인과 결과 사이의 곡선 관계를 모델링해 최적 조건을 탐색합니다. 예: 온도와 압력을 조절해 생산 수율을 최대화
• ④ 무작위화·반복·블로킹: 실험 순서를 무작위화하고 조건별 반복을 확보하며, 날짜나 작업자처럼 영향을 줄 수 있는 차이를 블록으로 관리합니다. 예: 실험 날짜에 따른 차이를 고려해 날짜별로 조건을 배치

이 방법들은 서로 완전히 배타적인 선택지가 아닙니다. 예를 들어 완전요인설계에서도 무작위화와 반복을 적용할 수 있고, 반응표면법에서도 요인설계를 활용할 수 있습니다.

네 번째 원칙은 어떤 설계를 쓰든 기본이 됩니다. 무작위화는 실험 순서를 섞어 시간이 지나며 생기는 변화(장비 온도, 평가자 피로 등)가 특정 조건에만 몰리지 않게 합니다. 반복은 같은 조건을 여러 번 실험해 우연한 변동, 즉 오차의 크기를 추정하게 해 줍니다. 앞의 평균 점수만으로는 상호작용이 유의한지 판단할 수 없었던 것도 이 오차 정보가 없기 때문입니다. 블로킹은 예를 들어 1일차에 A종만, 2일차에 B종만 실험해 원두 차이와 날짜 차이가 섞이는 일을 막기 위해, 날마다 모든 조건을 한 번씩 배치하는 방법입니다.

실험계획법은 어떤 조건에서 데이터를 수집할지 정하는 설계 방법이고, 분산분석(ANOVA)은 수집된 데이터에서 집단 평균과 요인 효과의 차이를 검정하는 분석 방법입니다.

잘못 설계된 실험은 분석 방법이 정교하더라도 신뢰할 만한 결론을 얻기 어렵습니다. 따라서 데이터 수집 전부터 설계와 분석 계획을 함께 고려하는 것이 중요합니다.

설계는 분석 방법도 정합니다. 예를 들어 이 장의 2×2 완전요인설계는 3장의 이원분산분석으로, 날짜를 블록으로 나눈 설계는 블록을 요인으로 추가한 분산분석으로, 같은 평가자가 모든 조건을 맛본 설계는 반복측정 분산분석으로 분석합니다. 실험을 시작하기 전에 “이 데이터를 어떤 모형으로 분석할 것인가”까지 정해 두면, 필요한 반복 횟수와 배치를 미리 확인할 수 있습니다.

이 2×2 실험을 이원분산분석으로 분석했다면 다음과 같은 형식으로 보고할 수 있습니다(○○에는 실제 분석 값을 넣습니다).

• 제품 개발: 재료, 온도, 공정 조건 중 품질을 높이는 요인 탐색
• 마케팅: 가격, 광고 문구, 상품 구성에 따른 전환율 비교
• 교육 연구: 교수법과 학습 환경 조합에 따른 성과 평가
• 서비스 개선: 대기 시간, 안내 방식, 인터페이스 조건에 따른 만족도 분석
• 제조·품질관리: 불량률을 줄이고 생산 수율을 높이는 조건 탐색

단, 실제 환경에서 요인을 연구자가 통제할 수 없는 경우에는 관찰자료 분석이나 준실험 설계 등 다른 접근이 필요할 수 있습니다.

• 구성 요소: 요인, 수준, 반응변수를 먼저 정의합니다.
• 요인설계: 여러 요인의 수준을 조합해 주효과와 상호작용을 함께 추정합니다.
• 상호작용: 주효과가 0이어도 상호작용은 있을 수 있으므로 조건별 평균을 확인합니다.
• 설계 원리: 무작위화·반복·블로킹으로 결과를 믿을 수 있게 만듭니다.
• 분산분석과 연결: 실험계획법이 자료 수집 구조를 정하고, 분산분석이 효과를 검정합니다.

요인설계와 실험계획법은 여러 요인의 조건을 체계적으로 조합해 각 요인의 영향과 요인 간 상호작용을 파악하고, 더 나은 조건을 찾도록 돕는 방법입니다.

실험계획법이 데이터 수집의 구조를 정한다면, 분산분석은 그 데이터를 바탕으로 효과를 검정합니다. 특히 실험 비용을 줄이면서도 의미 있는 결론을 얻으려면 요인과 수준, 반복 횟수, 무작위화 및 실험 목적을 먼저 명확히 해야 합니다.

다음은 다변량분산분석(MANOVA)입니다. 여러 종속변수를 동시에 고려해 집단 간 차이를 검정하는 방법을 살펴봅니다.