신뢰성(reliability) 타당성(validity)

신뢰성의 의의

-  신뢰성: 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻을 가능성을 의미

 

신뢰도의 정의 방법

 

1) 동일한 대상에 대하여 같거나 비교 가능한 측정도구를 사용하여 반복 측정을 할 경우 비슷한 결과를 얻을 수 있는 정도

2) 측정도구가 측정하려는 속성을 얼마나 진실에 가깝도록 측정했느냐?

3) 측정에 있어서 측정오차가 얼마나 존재하는가?

 

  

타당성의 의의

 

-  타당성: 조사자가 측정하려는 개념을 얼마나 정확히 측정을 하였는가의 정도

-  개념적 정의와 조작적 정의에 영향을 받음

 

 

2. 타당성의 종류 

(1) 내용 타당성

-  측정도구가 측정대상이 가지고 있는 무수한 속성들 중의 일부를 대표성 있게 포함하고 있으면 내용타당성이 높음

 

내용타당성을 확보하는 방법

-  측정도구의 모든 방법을 나열하여 그것들로부터 무작위 표본추출을 함

-  측정도구의 내용을 정확히 함

-  측정도구가 순서대로 이루어져 있는 경우에는 측정시 순서를 일정하게 해야 함

-  내용타당성은 측정의 타당도를 수립하는 방법중 가장 타당도가 떨어지는 방법

-  적용이 용이, 많은 시간이 소요되지 않음

 

(2) 기준에 의한 타당성

-  예측 타당성이라고도 함

-  측정도구와 측정결과간의 관계에 관심을 둠 -> 측정결과와 기준간의 상관관계를 분석

 

기준에 의한 타당성의 문제점

-  좋은 기준을 얻는 것이 어려움

-  사용하기 어려운 기준이 많음

-  모호한 기준이 대부분임

-> 측정결과의 일반화 가능성의 정도를 나타냄

 

(3) 개념타당성

-  측정도구가 실제로 무엇을 측정하였는가, 또는 조사자가 측정하고자 하는 추상적인 개념이 실제로 측정도구에 의해서 적절하게 측정되었는가를 나타내는 척도

 

1) 이해타당성

-  이해타당성: 특정 개념을 어떻게 이해하고 있는가

 

2) 집중타당성

-  동일한 개념을 측정하기 위하여 아주 다른 두 가지 측정방식을 개발하고 이에 의하여 얻어진 측정치간에 높은 상관관계가 존재해야 한다는 것

 

3) 판별타당성

-  서로 다른 개념을 측정하였을 때 얻어진 측정치간에는 상관관계가 낮아야만 한다는 것

 

4) 개념타당성의 평가 방법

-  다속성 다측정방법: 집중타당성과 판별타당성의 평가를 위해 이용됨 

-  요인분석에 의한 개념 타당성 평가

 

□ 측정의 신뢰성 (Reliability)
▶ 개념
측정된 결과치의 일관성, 정확성, 의존가능성, 안정성, 예측가능성과 관련된 개념.
"동일한 개념에 대해 측정을 되풀이했을 때, 동일한 측정값을 얻을 가능성"을 의미

▶ 신뢰성 측정방법

- 재검사법(test-retest method)
동일한 측정대상에 대해, 동일한 상황하에서, 동일한 측정도구를 사용하여 측정하였을 때, 두 측정값 사이의 차이를 분석하는 방법

- 복수양식법(multiple forms technique)
대등한 두가지 형태의 측정도구를 사용하여 각각 동일한 표본에 차례로 적용하여 봄으로써, 신뢰도를 측정하는 방법

- 반분법(split-half method)
다수의 측정항목을 서로 대등한 두 개의 그룹으로 나누고 두 그룹의 항목별 측정치 사이의 상관관계를 조사하여 신뢰도를 측정하는 방법

- 내적일관도(internal consistency reliability)
동일한 개념을 측정하기 위해 여러개의 항목을 이용하는 경우, 신뢰도를 저해하는 항목을 찾아내어 측정도구에서 제외시킴으로써 측정도구의 신뢰도를 높이기 위한 방법 : Cronbach's α 계수를 이용함

 

□ 측정의 타당성 (Validity)

▶ 개념
신뢰성보다 상위수준으로 "측정하고자 하는 개념이나 속성을 정확히 측정하였는가"를 의미

▶ 타당성의 종류

- 내용타당성(content validity, face validity) / 이론타당성(logical validity)
주관적으로 전문지식에 근거하여 판단한 타당성, 최소한의 타당성을 의미함

- 경험타당성(empirical validity) / 기준관련타당성(criterion-related validity)
현재의 측정결과가 미래의 결과를 예측할 수 있어야 하는데 근거한 타당성 (predictive validity)

- 구조타당성(construct validity)
"측정하고자 하는 추상적인 개념이 실제로 적절하게 측정되었는가"에 관한 측정 타당성 : 요인분 (Factor analysis), 다속성다측정방법(MTMM ; multi-trait multi-method matrix)으로 평가

* 수렴타당성(convergent validity) : 동일한 개념측정을 위한 측정치간 높은 상관관계
* 판별타당성(discriminant validity) : 상이한 개념측정을 위한 측정치간 낮은 상관관계
* 이해타당성(nomological validity) : 특정개념과 관련되는 개념상호간 체계적인 이론

 

Ⅰ. 구성의 타당성과 외적 타당성의 의의 및 차이점 1) 구성의 타당성 평가설계에 있어 처리, 결과, 모집단 및 상황들에 대한 이론적 구성요소들이 성공적으로 조작화된 정도를 말한다. 즉, 조사항목 등이 관련된 이론의 구성 또는 가설과 얼마나 부합하는가 하는 문제와 관련된 타당성을 말한다. 2) 외적 타당성 조작화된 구성요소들 가운데에서 우리가 관찰할 효과들이 원래의 연구가설에 구체화된 것들 이외의 다른 이론적 구성요소들에까지도 일반화될 수 있는 정도를 말한다. 즉, 관심을 가지고 측정된 구성요소로부터 다른 측정되지 않은 구성요소들에까지도 일반화 할 수 있느냐 하는 것에 관한 타당성이다. 3) 구성의 타당성과 외적 타당성의 차이 구성의 타당성과 외적 타당성의 차이는 일반화의 영역의 차이이다. 관찰된 대상 집단으로부터 관심의 대상이 되고 있는 이론적 모집단으로의 일반화는 구성의 타당성 영역이지만, 조작화된 이론적 모집단이나 구성요소들로부터 관심이 있는 다른 모집단이나 구성요소들로의 일반화는 외적 타당성의 영역이라 할 수 있다.   Ⅰ. 구성의 타당성과 외적 타당성의 의의 및 차이점 1) 구성의 타당성 2) 외적 타당성 3) 구성의 타당성과 외적 타당성의 차이 Ⅱ. 제1종오류와 제2종오류 1) 유의수준의 의의 2) 제2종오류의 의의 3) 유의수준과 제2종오류간의