검사 타당도

타당도는 사전적의미에서 '어떤 검사의 목적과 정밀성을 측정하기 위하여, 검사 점수에서 이끌어 낼 수 있는 추론의 적절성과 정확성에 따라 검사를 평가하는 기준'을 말한다.^[1] 이러한 맥락에서 타당도(妥當度)란 평가의 도구가 무엇을 재고 있느냐의 문제인 동시에 그 평가의 도구가 어느 특정한 개인이나 집단 또는 대상 객체에 대해서 평가해 내려는 목표를 얼마나 정확하게 측정해내느냐의 문제이다. 바꾸어 말하자면, 당초에 평가해 내려는 목표와 실제평가의 결과 사이의 관련성이 얼마나 높으냐 하는 문제이다.^[2] APA는 1999년에 이후로 테스트 검사의 내용에 근거한 증거,대응 과정에 근거한 증거,내부 구조에 근거한 증거,다른 변수와의 관계에 근거한 증거,테스트 결과에 근거한 증거의 5가지만을 타당도 증거로 제시하고있다.^[3]

실험설계의 타당도

• 내적 타당도: 각 변수 사이의 인과관계를 추론하여 그것이 진정한 실험에 의한 변화인지를 판단하는 인과조건의 충족 정도를 의미한다.
• 외적 타당도: 연구 결과에 의해 기술된 인과관계가 연구대상 이외로 확대 또는 일반화될 수 있는 정도를 의미한다.

고전적 타당도

타당도를 검증하는 방법에는 ① 내용적 타당도(content validity), ② 예언적 타당도(predictive validity), ③ 공인적 타당도(concurrent validity), ④ 구성개념 타당도(construct validity)의 4가지 타당도가 있다. 예언 타당도와 공인적 타당도는 함께 준거타당도로 다루어지기도 한다. 구성개념 타당도는 요인 타당도와 밀접한 관계가 있다.

내용 타당도

내용 타당도(內容的妥當度,content validity)란 평가하려는 내용을 분석 정의함으로써 평가도구의 내용이 주어진 준거(準據)에 어느 정도 일치하는지를 나타낸다. 논리적 타당도(logical validity), 정의에 의한 타당도(validity by definition), 안면 타당도(face validity)라고도 한다. 예컨대 교사가 제작하는 검사의 내용적 준거는 교육목적이 되겠고, 지능검사의 준거는 지능의 정의가 된다. 이때 정의는 반드시 분석적이고 포괄적이어야 한다. 그 정의된 바가 실제 문항의 표준과 작성에 구체적인 지침이 되고, 문항의 논리적·심리적 타당성을 판단하는 데 기준이 될 정도로 상세히 정의되어야 한다. 이 내용적 타당도에서 정의를 내리는 방법으로 조작주의적 정의(操作主義的定義,operational definition)를 주로 사용하고 있다. 이것은 종래의 순환논리(循環論理)에 빠지기 쉬운 정의에서 탈피하여 과학적 정의방법을 도입한 것으로, 예컨대 '지능'이란 '한 개인의 전체환경에 대한 적응' '학습하는 능력' '추상적 사고능력' 등으로 정의하지 않고 "지능검사로 측정해서 나온 수치"를 지능이라고 정의하는 것이 바로 조작주의의 특색이다.

기준 타당도

기준 타당도(criterion validity) 또는 준거타당도란 하나의 측정도구를 이용해 측정한 결과를 이미 타당성이 입증된 기존 측정도구의 결과와 비교하는 경우를 말한다. '동시적 타당도'와 '예언적 타당도'로 세분화할 수 있다. 예언적 타당도(豫言的妥當度)란 그 검사가 측정해 내려는 피험자의 장래의 행동을 어느 정도로 정확하게 예언하느냐에 따라 결정된다. 예언적 타당도가 내용적 타당도와 다른 점은, 내용적 타당도는 논리적 근거를 내부에 두고 있으며(inside criterion), 예언적 타당도는 외부준거(outside criterion)를 문제삼고 있다. 예컨대, 입학성적과 학교생활의 성취도간에 나타나는 상관(相關)은 예언적 타당도가 하게 된다. 즉, 검사 X와 준거 Y와의 상관계수로 표시되는 것이 예언적 타당도다. 이때 문제는 측정도구가 자연과학에서처럼 완전치 못하기 때문에 오차(誤差)의 부분이 따르게 되는데 이를 '예언의 오차'라 한다. 예를 들어 입학성적이 좋은 학생이 그 후 학교성적이 나빠졌다면 그 검사는 예언적 타당도가 낮다고 말할 수 있으며, 예언의 오차가 커서 바람직한 검사가 되지 못한다.

공인적 타당도

공인적 타당도(共因的妥當度 또는 동시 타당도 또는 공존타당도)란 행동의 준거를 현재(동시점)에 둔 일종의 예언적 타당도라 할 수 있다. 즉, 예언적 타당도에서는 준거가 반드시 예언에 관계되어 장래에 두고 있지만, 공인적 타당도의 경우에는 외적 준거와 검사 사이의 상관을 내게 된다. 즉, 평가도구에 의해서 밝혀진 피험자(被驗者)의 행동특성이 평가도구 밖의 행동준거와 현재 어느 정도 일치하느냐를 따져 보는 일이다. 가령 흥미검사에서 미술에 많은 흥미를 나타낸 학생이 실제 그림을 그리는 데 얼마나 적극적으로 활동하며 잘 그리느냐를, 비교 상관을 내는 경우와, 지능검사와 인성검사와의 상관을 내어 이들 사이의 변량(變量)의 합치도를 알아보는 경우가 있다.

구성개념 타당도

구성개념 타당도(construct validity)란 결과적으로 측정되는 개념을 관련 구성개념이나 가정에 비추어 봄으로써 평가하는 타당도를 말한다. 예를 들어 지능을 언어와 수리 능력으로 정의한다면, 언어와 수리 능력은 구성개념이 된다. 만약 새로 만든 검사 도구가 언어나 수리 능력과 상관이 높다면, 이 검사도구는 지능을 측정하는 타당한 도구라고 할 수 있다. 개념 타당도는 동일 개념을 측정할 경우 측정방법이 상이하더라도 측정값이 하나의 차원으로 수렴해야 한다는 수렴적 타당도, 다른 개념을 측정할 경우 측정방법이 동일하더라도 측정값이 구분되어야 한다는 판별적 타당도로 구분된다.

요인적 타당도

요인적 타당도(要因的妥當度)란 두 검사 사이에 공동으로 존재하는 어떤 요소(factor)가 작용해서 나타난 결과라고 할 수 있다. 예컨대, A·B 두 검사의 상관계수가 ＋1.00이라면 둘은 이름은 다르지만 재고 있는 내용은 같은 것임을 알 수 있다. 이와 같이 요인적 타당도란 요인분석(要因分析,factor analysis)이라는 실험적·통계적 측정이론을 기초로 하는 것이고, 요인분석은 여러 검사간의 상호상관계수(相互相關係數－inter correlation)를 계산한 표를 자료로 해서 그 여러 검사 간에 존재하는 공통된 요인과 어떤 검사만이 지니고 있는 고유한 요인으로 분해 작업하는 방법이다. 예컨대, '수학검사'를 요인분석했더니 수(數)요인 50%, 공간지각요인 10%, 언어요인 30%, 오차(誤差)요인 10%의 결과를 얻는 것과 같이 어떤 검사에 구성된 여러 요소를 분해해 내는 것이다 그런데 요인적 타당도는 예언적 타당도처럼 직접 예언에 사용되는 실용적인 방법은 못 되며, 이론적 연구와 한 검사의 실용적 타당도를 높이기 위한 제작 내지 개작(改作)에 도움을 준다.

각주

1. (우리말샘) 타당도
2. 김석우, 《기초통계학》, 학지사, 2007, p. 28
3. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999) Standards for educational and psychological testing. Washington, DC: American Educational Research Association.-1. Evidence based on test content , 2. Evidence based on response processes , 3. Evidence based on internal structure , 4. Evidence based on relations to other variables, 5. Evidence based on consequences of testing

참고 문헌

• Earl R. Babbie, 《사회조사방법론》, THOMSON, 2007

같이 보기

• 신뢰도(credibility)
• 요인 분석
• 툴민 논증모형