문항반응이론(IRT)

사이버보안 교육을 마친 직원들이 실제로 얼마나 중요한 보안 지식을 익혔는지 평가한다고 가정해 보겠습니다. 모든 직원이 같은 시험을 치렀더라도 정답 수만으로 개인의 능력을 충분히 비교하기는 어렵습니다.

어떤 문항은 누구나 맞히지만, 어떤 문항은 보안 지식이 충분한 사람만 맞힐 수 있기 때문입니다. 심지어 정답 수가 같은 두 직원이라도 어떤 문제를 맞혔는지에 따라 이해 수준이 다를 수 있습니다.

문항반응이론(Item Response Theory, IRT)은 이러한 차이를 문항의 특성과 응답자의 잠재 능력을 함께 고려하여 분석하는 방법입니다. 정답 개수를 단순히 합산하는 대신 문항의 난이도와 변별도 등을 추정하고, 특정 능력을 가진 사람이 각 문항에 정답을 선택할 확률을 모형화합니다.

이번 글에서는 IRT의 기본 원리, 1PL·2PL·3PL 모형, 문항특성곡선과 정보함수, 능력 추정, 모형 진단과 결과 보고까지 살펴보겠습니다.

시험에서는 지식이나 능력일 수 있고, 심리·태도 설문에서는 불안이나 특정 성향일 수 있습니다. 이 글에서는 사이버보안 지식을 잠재 능력으로 간주하겠습니다.

이 잠재 능력은 보통 그리스 문자 θ(세타)로 표시하며, 분석에서 평균 0·표준편차 1의 척도로 정규화하는 경우가 많습니다. θ가 0이라는 것은 지식이 전혀 없다는 뜻이 아니라, 설정한 기준 집단에서 평균적인 수준에 해당한다는 뜻입니다. θ가 1이면 그 기준에서 평균보다 한 표준편차 높은 능력 수준을 의미합니다.

문항은 피싱 이메일 구분, 다중인증, 파일 공유 권한, 사고 신고 절차 등을 다루며, 모든 문항은 정답 1·오답 0으로 채점합니다. 회사는 교육의 효과를 평가하기 위해 직원별 지식 수준뿐 아니라 문항별 난이도도 확인하려고 합니다.

이후 문항을 수정하거나 수준별 교육을 설계할 때도 이러한 결과를 참고할 수 있습니다. 다만 문항의 실제 내용이 한 가지 능력을 측정하는지 먼저 검토해야 합니다.

정답률이 높으면 쉬운 문항, 낮으면 어려운 문항이라고 해석할 수 있습니다. 하지만 정답률은 시험을 치른 집단의 능력 수준에도 영향을 받습니다.

IRT의 난이도 모수(b)는 설정된 잠재 능력 척도에서 문항이 어느 위치에 놓여 있는지를 나타냅니다. 2PL 모형에서는 정답 확률이 50%인 능력 수준이 b입니다. 예를 들어 b가 −1이면 비교적 낮은 능력 수준에서도 절반의 정답 확률을 보이는 문항이고, b가 1이면 더 높은 능력이 필요한 문항입니다.

그렇다고 IRT 난이도가 모든 표본에서 완전히 불변인 것은 아닙니다. 모형이 적절하고 문항의 기능이 집단 간 일정하다는 등의 조건이 필요합니다. 또한 3PL 모형에서는 추측 모수 때문에 b를 정답 확률 50% 지점으로 단순 해석할 수 없습니다.

모형 이름의 숫자는 각 문항에 대해 추정하는 주요 모수의 수를 뜻합니다.

1PL은 단순하고 해석하기 쉽지만 모든 문항이 비슷한 방식으로 능력을 구분한다는 강한 제한이 있습니다. 2PL은 문항마다 변별력이 다를 수 있게 하고, 3PL은 특히 객관식 시험에서 추측에 따른 낮은 능력 구간의 정답 가능성을 반영합니다.

다만 3PL의 c가 응답자의 실제 '추측 비율'을 직접 관측한 값은 아닙니다. 모수가 늘어날수록 추정에 더 많은 자료와 강한 식별 조건이 필요할 수 있습니다.

여기서 a는 변별도, b는 난이도입니다. 예를 들어 피싱 이메일 식별 문항의 변별도가 a=1.5, 난이도가 b=0.5라고 가정하겠습니다. 평균 수준의 직원(θ=0)이 정답을 맞힐 확률은 약 0.321이며, 평균보다 한 표준편차 높은 직원(θ=1)의 정답 확률은 약 0.679입니다.

이 값은 예시 모수로 계산한 확률이지 실제 직원들의 관측 정답률은 아닙니다. 또한 소프트웨어마다 변별도의 척도화 방식에 차이가 있을 수 있으므로, 모수나 결과를 비교할 때 사용한 모형 식을 확인해야 합니다.

난이도 b가 높아질수록 곡선은 오른쪽으로 이동하고, 변별도 a가 높아질수록 난이도 주변에서 곡선이 더 가파르게 증가합니다.

예를 들어 쉬운 문항(b=−1)은 평균 이하의 능력을 가진 직원도 높은 정답 확률을 보일 수 있습니다. 반면 어려운 문항(b=1.5)은 충분히 높은 능력에 도달해야 정답 확률이 커집니다. 변별도가 낮은 문항은 능력 수준이 달라도 정답 확률의 차이가 상대적으로 작아, 특정 능력 구간에서 응답자를 잘 구분하지 못할 수 있습니다.

ICC를 볼 때는 높은 정답률만 목표로 삼지 않는 것이 중요합니다. 교육 후 최소한의 필수 지식을 확인하는 시험이라면 쉬운 문항도 필요하고, 숙련자를 구분하는 시험이라면 난도가 높은 문항도 필요합니다.

좋은 문항은 반드시 어려운 문항이 아니라 측정 목적에 맞는 능력 구간에서 필요한 정보를 제공하는 문항입니다.

Q2는 변별도가 1.80으로 상대적으로 높아 능력이 난이도 0.20 부근인 직원들을 구분하는 데 유용할 수 있습니다. Q5는 난이도가 −1.10으로 기본 지식을 확인하는 문항에 가깝고, Q8은 난이도 1.20이므로 능력이 높은 구간에서 더 유용한 정보를 제공할 수 있습니다.

Q11은 변별도가 0.40으로 낮아 표현이 모호하거나 여러 개념이 섞여 있는지 검토할 필요가 있습니다. 하지만 변별도가 낮다는 이유만으로 곧바로 삭제하기보다는 교육 목표와 문항의 중요성을 함께 고려해야 합니다.

2PL 모형에서 한 문항의 정보량은 다음과 같습니다.

이 식에 따르면 동일한 능력 위치에서는 변별도가 높은 문항일수록 더 많은 정보를 제공할 수 있습니다. 또한 2PL 문항은 일반적으로 정답 확률이 0.5인 난이도 부근에서 정보량이 가장 큽니다.

앞서 a=1.5, b=0.5인 문항을 예로 들면 θ=0.5에서 정답 확률은 0.5입니다. 이때 정보량은 1.5² × 0.5 × 0.5 = 0.5625입니다.

시험 전체의 정보함수는 국소독립 등의 조건하에서 각 문항정보함수를 합하여 계산할 수 있습니다. 따라서 서로 다른 난이도의 문항을 적절히 배치하면 더 넓은 능력 구간에서 정밀하게 측정할 수 있습니다.

대표적인 방법으로 최대우도추정(MLE), 사후기대값(EAP), 사후최빈값(MAP) 등이 있습니다. 어떤 방법을 사용하는지에 따라 특히 극단적인 응답 패턴에서 추정 결과가 달라질 수 있습니다.

예를 들어 직원 A와 B가 모두 12문항 중 8문항을 맞혔다고 가정해 보겠습니다. A는 난이도가 높은 문항을 여러 개 맞히고 쉬운 문항 일부를 틀렸지만, B는 쉬운 문항을 대부분 맞히고 어려운 문항을 틀렸을 수 있습니다. IRT는 문항의 특성을 고려하여 두 직원의 능력 추정값을 다르게 계산할 수 있습니다.

이 표는 응답 패턴의 차이를 설명하기 위한 예시이며 실제 추정 계산에서 산출한 값은 아닙니다.

능력 추정값이 0.65라는 것은 설정한 척도에서 평균보다 0.65표준편차 높은 수준을 뜻합니다. 추정 표준오차는 해당 점수의 불확실성을 나타내며, 능력 수준에 따라 다르게 나타날 수 있습니다.

적절한 조건하에서 능력 추정의 국소적인 표준오차는 대략 다음과 같은 관계를 가집니다.

예를 들어 θ=0 부근에서 검사정보량이 9라면 해당 구간의 표준오차는 약 0.33입니다. 반면 θ=2에서 검사정보량이 4라면 표준오차는 약 0.50입니다. 즉 같은 시험이라도 평균 수준의 직원과 매우 높은 능력의 직원에게 제공하는 정보량이 다를 수 있습니다.

시험을 설계할 때 모든 능력 구간에서 동일한 정밀도를 목표로 할 필요는 없습니다. 필수 보안 지식의 최소 기준을 판정하는 목적이라면 합격선 주변에서 정밀도를 높이는 편이 유용하고, 고급 보안 담당자를 선발하려는 목적이라면 높은 능력 구간의 정보량을 늘리는 것이 중요합니다.

대표적인 검토 항목은 단일차원성, 국소독립성, 문항 적합도와 집단 간 문항 기능입니다.

단일차원성(Unidimensionality)

기본적인 단일요인 IRT 모형에서 응답 패턴이 주로 하나의 잠재 특성으로 설명된다는 가정입니다. 사이버보안 시험에서 피싱 지식과 네트워크 설정 능력이 서로 별개의 특성으로 강하게 구분된다면 다차원 IRT를 고려해야 할 수 있습니다.

국소독립성(Local Independence)

잠재 능력이 주어졌을 때 문항 응답 사이에 추가적인 의존성이 없어야 한다는 가정입니다. 예를 들어 앞 문항의 정답이 뒤 문항의 힌트가 되는 구조라면 이 가정이 위반될 수 있습니다.

문항 적합도(Item Fit)

문항의 실제 응답 패턴이 모형이 예측한 패턴과 얼마나 잘 맞는지 평가합니다. 모형 적합이 좋지 않은 문항은 문구, 정답키, 복수의 정답 가능성 등을 점검해야 합니다. 적합도 지표 하나만으로 삭제 여부를 결정해서는 안 됩니다.

차별기능문항(Differential Item Functioning, DIF)

동일한 능력을 가진 사람이라도 소속 집단에 따라 특정 문항의 정답 확률이 달라지는지 확인합니다. 부서나 직무별로 용어에 대한 친숙도가 다른 경우 등을 검토할 수 있습니다. DIF가 발견되었다고 해서 반드시 부당한 문항이라는 의미는 아니지만 내용 검토의 중요한 단서입니다.

반면 IRT는 잠재 능력과 문항의 반응확률을 직접 연결하는 모형을 사용합니다.

IRT는 문항은행과 컴퓨터 적응형 검사(Computerized Adaptive Testing, CAT)에도 활용됩니다. 예를 들어 직원의 현재 능력 추정값에 가장 많은 정보를 제공하는 다음 문항을 선택하여, 동일한 측정 목표를 더 적은 문항으로 달성하도록 시험을 설계할 수 있습니다.

그러나 이를 구현하려면 충분한 문항 보정 자료와 안정적인 모수 추정, 문항 노출 관리 등의 조건이 필요합니다.

3PL을 사용했다면 하한 점근값을 어떻게 추정했는지, 집단 비교를 했다면 DIF를 어떻게 검토했는지도 명시해야 합니다.

실제 보고에서는 추정 표준오차와 문항 적합도 결과, 능력 추정 방식, 단일차원성·국소독립성 점검 등 필요한 진단 근거를 함께 제시해야 합니다.

단순히 정답 수를 합산하는 것과 달리 어떤 문항에 어떻게 응답했는지 고려해 잠재 능력을 추정할 수 있습니다.

특히 문항특성곡선은 난이도와 변별도를 이해하는 데, 문항·검사정보함수는 능력 수준별 측정 정밀도를 평가하는 데 유용합니다. 다만 모형의 가정과 문항 적합도, 집단 간 문항 기능을 검토하지 않으면 추정 결과를 신뢰하기 어렵습니다.