선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이상에서국내간호학회지게재논문들대부분은자가보고형측정도구로 관심 연구를 측정하여 왔으나, 아직까지 이렇게 사용된 도구들의 측정 속성에 대해 체계적 평가가 부족함을 알 수 있다. 따라서 본 연구에서는 COSMIN 체크리스트(Mokkink et al., 2010)에서 제시한 측정 속성 평가 틀을 이용하여 국내 간호학 학술지에 보고된 연구논문에서 개발 또는 검증된 측정도구의 측정 속 성을 체계 적으로 평가하여 간호연구 및 임상실무에서 적합한 측정도구를 선정하여 적용할 수 있도록 돕고 간호학에서 측정도구에 대한 방법론적연구방향을제시하고자수행하였다.
- 본 연구는 COSMIN 체크리스트를 이용하여 국내 간호학 학술지에 보고된 자가 보고형 측정도구에 관한 168편의 논문의 측정 속성을 체계적으로 평가하였다. 측정 속성의 심리계량적 속성을 검증하는데 문항반응이론을 사용한 논문은 한 편도 없었고, 모든 논문에서 고전검사이론을 적용한 것으로 나타났다.
- 본 연구는 국내 간호학 학술지에 게재된 168편의 자가보고형 측정도구논문을COSMIN체크리스트를사용하여심리계량적속성과함께해석용이성을포함하는측정속성을체계적으로평가하였 다. 한국과학재단 등재(후보)된 간호학술지 총 20종 중, 대한간호학회지에 가장 많은 71편(42.
- 본 연구의 목적은 COSMIN 체크리스트를 이용하여 국내 간호학 학술지에 보고된 자가보고형 측정도구를 사용한 논문에서 도구의 측정 속성을 체계적으로 평가하기 위함이며 구체적 목적은 다 음과같다.
- 자료추출(data extraction)을실시하기전,본연구에서는평가자간의 일치성 정도를 파악하기 위한 예비평가를 실시하였다. 선정된 대상논문 중 무작위로 두 편의 논문을 선정하여, 4명 연구자가 독립적으로논문의질평가를실시하여일치된영역과불일치된영역을확인하여 연구자간 평가수준을 조율하였다.
가설 설정
- 고전검사이론에서는 일반 적으로 측정 점수(measured score)는 진점수(truescore)와 오차점수의합으로가정하기때문에측정도구의총점에의해분석되는이론이다.즉측정오차가대상자집단의특성에관계없이동일하다고가정하여 독립적으로 반복 측정한 점수의 평균점수를 개인의 진점수로 추정한다. 그러나 측정도구에 따라 결과가 과대 또는 과소 추정 되는 단점이 있다(Seong, 2001).
제안 방법
- 선정된 대상논문 중 무작위로 두 편의 논문을 선정하여, 4명 연구자가 독립적으로논문의질평가를실시하여일치된영역과불일치된영역을확인하여 연구자간 평가수준을 조율하였다. 그 후, 본 평가에서는 4명의 연구자가 독립적으로 논문의 질 평가를 수행하였다. 의견조율이 필요한사항에대해서는총3회의전체토의를걸쳐최종결정하였다.
- COSMIN 체크리스트 사용과정의 첫 번째 단계는 논문에서 검증된 측정 속성은 어떤 것들이 있는지 표시하는 것이다. 두 번째 단계로, 논문에 사용된 측정 속성 검증이 고전검사이론(Classical test theory)에 바탕을 둔 것인지 아니면 문항반응이론(Item response theory)에 기반한 것인지 평가한다. 세번째 단계로, 논문에서 검증된 측정 속성(내 적일관성, 신뢰도, 측정오차, 내용타당도, 구성타당도, 가설검증, 문화간 타당도, 준거타당도 및 반응성) 각각에 대해 평가한다.
- 둘째, 도구의 측정 속성에서 심리계량적 속성(내적일관성, 신뢰도,측정오차,내용타당도,구성타당도,가설검증,문화간타당도,준거타당도,반응성)에대한방법론적질을평가한다.
- 따라서 주요어 대신 국문·영문 연구제목을 모두 확인하는 방법을 사용하였다.
- 본 연구에서 측정 속성은 신뢰도(내적일관성, 신뢰도, 측정오차), 타당도(내용타당도, 구성타당도, 가설검증, 문화간 타당도, 준거타당도) 및 반응성의 심리계량적 속성과 함께 해석의 용이성(결측 값, 점수분포, 바닥효과, 천장효과)이 첨부되었다. 그 구체적인 정의는 다음과 같다: 1) 내적일관성: 문항 간의 상호관련성의 정도로 Cronbach's alpha 또는 Kuder-Richardson Formula 20으로 표현, 2) 신뢰도 (검사-재검사): 측정의 총 변이에 대한 대상자 간의 참(true) 점수 차이의 비율로 급내상관관계(intraclass correlation coefficient, [ICC])나 상관관계로 표시, 3) 측정오차: 측정하고자 하는 개념의 참 변화에 기여하지 않은 대상자 점수의 계통오차와 무작위 오차로서 흔히 standard error of measurement (SEM) 및 Limits of agreement (LoA)로 표시, 4) 내용타당도: 측정도구의 내용 이 측정하고자 하는 개념을 반영하는 정도, 5) 구성타당도: 측정도구의 점수가 측정하고자 하는 개념의 차원(dimensionality)을 반영하는 정도, 6) 가설검증: 이전의 연구 결과들을 기초로 도출한 예측과 같은 결과가 나오는지에 대한 타당도로 상관성 정도로 표시, 7) 문화간 타당도: 번역된 측정도구 문항이 원 측정도구 문항의 의미를 얼마나 반영하는지에 대한 정도, 8) 준거타당도: 측정 도구의 점수가 표준측정도구(gold standard)를 얼마나 반영하는지에 대한 정도, 9) 반응성: 측정 속성의 점수 변화를 간파할 수 있는 정도, 10) 해석의 용이성: 자료에 대한 질적 정보(바닥 및 천장효과, 결측값, 점수분포)를 기술하였는지 에대한평가를의미한다(Mokkink et al.
- 선정된 논문으로부터 추출한 자료는 첫째, 논문의 일반적 특성으로 게재학술지, 게재년도, 목적, 자료 수집 장소, 개념적 모형/이론, 측정개념, 측정도구명과 표본의 크기를 파악하였다. 둘째, 선정된 각 논문의 측정 속성의 질 평가는 구조화된 COSMIN 체크리스트를 사용하였다(Mokkink et al.
- 자료추출(data extraction)을실시하기전,본연구에서는평가자간의 일치성 정도를 파악하기 위한 예비평가를 실시하였다. 선정된 대상논문 중 무작위로 두 편의 논문을 선정하여, 4명 연구자가 독립적으로논문의질평가를실시하여일치된영역과불일치된영역을확인하여 연구자간 평가수준을 조율하였다. 그 후, 본 평가에서는 4명의 연구자가 독립적으로 논문의 질 평가를 수행하였다.
- 두 번째 단계로, 논문에 사용된 측정 속성 검증이 고전검사이론(Classical test theory)에 바탕을 둔 것인지 아니면 문항반응이론(Item response theory)에 기반한 것인지 평가한다. 세번째 단계로, 논문에서 검증된 측정 속성(내 적일관성, 신뢰도, 측정오차, 내용타당도, 구성타당도, 가설검증, 문화간 타당도, 준거타당도 및 반응성) 각각에 대해 평가한다. 각 측정 속성 영역은 연구설계와 통계적 방법에 관한 5-18문항으로 구성되어 있으며, 각 문항들에 대한 반응범주는 ‘매우 우수’, ‘우수’, ‘보통’, ‘부족’으로 평가한다.
- 셋째, 해석용이성(결측값, 점수분포, 바닥효과, 천장효과)을 파악한다.
- 본 연구의 자료검색은 이 20종 학술지의 홈페이지를 통한 데이터베이스를 이용하였다. 자료검색을 위해 사용된 주요어로는 타당성, 측정도구, 도구개발, 도구검증, 질문지, 설문지, 척도, 타당도, 신뢰도, 심리계량도, 요인분석, 반응성, 그리고 문항반응이론(validation, instrument,measurement, development, instrument test, questionnaire, scale, validity, reliability, psychometrics, factor analysis, responsiveness, and item response theory)이었다. 주요어 검색은 한글과 영문모두를사용하였다.
- 측정 속성에 대한 전체적인질평가에서내적일관성,요인분석을이용한구성타당도,내용타당도의 순으로 많이 검증하였으나, 가설검증, 준거타당도, 반응성과 측정오차의 검증은 부족한 것으로 나타났다. 전체적인 분석 결과를 토대로 각 측정 속성 영역에서 ‘부족’으로 나타난 항목에서 수용 가능한 기준과 해석의 예를 제시하였다. 따라서 국내 간호 측정도구에 대한 평가를 일목요연하게 제시한 본 연구 결과는 간호 연구와 임상실무에서 측정도구를 사용하고자 하는 연구자들과 임상간호사들이 도구를 올바르게 선택하여 사용하는데 기초자료로 활용할 수 있다.
- 첫째, 선정된 논문의 일반적, 측정도구 관련 특성(게재학술지, 년도, 목적, 장소, 개념적 모형/이론, 측정개념, 측정도구명, 표본크기) 을기술한다.
대상 데이터
- 대상논문 선정기준은 1) 자가 보고형 설문 지형 측정도구 개발 연구, 2) 원도구 개발이나 문화적 적응 및 수정을 위한 심리계량적 속성(psychometric properties) 검증 연구, 3) 문항반응이론(item response theory) 연구와 4) 한국인을 대상으로 실시된 연구였다. 232편의원문평가에서총64편이제외하고168편을최종선정하였다. 제외된 논문은 1) 도구개발을 위한 예비논문(n=3), 2) 관찰 사정도구/체크리스트 논문(n=52), 3) 그림도구 논문(n=3), 4) 외국인을대상으로실시된논문(n=3)과5)중복논문(n=3)이었다.
- 이외에 논문의 참고문헌을 통한 수기검색도 포함하였다. 그 결과 데이터베이스를 통해 검색한 예비 논문은416편,수기로검색한논문은8편으로총424편이었다.
- 본 연구에 선정된 168개의 측정도구명과 게재논문 문헌목록은 Appendix 1과 같다. 측정도구 개발 시, 측정하고자 하는 개념에 대한 개념적 모형/이론을 사용한 논문은 31편(18.
- 본 연구에서는 국내 간호학 학술지의 범위를 한국학술진흥재단에 등재(후보)된 학술지로 하였다. 이 가운데 간호학회나 대학교가 출판권을 가지고 있는 간호학술지는 총 20종이었다(2011년 8월 기준).
- 이 가운데 간호학회나 대학교가 출판권을 가지고 있는 간호학술지는 총 20종이었다(2011년 8월 기준). 본 연구의 자료검색은 이 20종 학술지의 홈페이지를 통한 데이터베이스를 이용하였다. 자료검색을 위해 사용된 주요어로는 타당성, 측정도구, 도구개발, 도구검증, 질문지, 설문지, 척도, 타당도, 신뢰도, 심리계량도, 요인분석, 반응성, 그리고 문항반응이론(validation, instrument,measurement, development, instrument test, questionnaire, scale, validity, reliability, psychometrics, factor analysis, responsiveness, and item response theory)이었다.
- 체적인대상논문선정흐름도는Figure 1과같다.예비로선정된 논문 424편의 초록에서 선 정기준에 포함된 논문 232편의 원문 평가를 수행하였다. 대상논문 선정기준은 1) 자가 보고형 설문 지형 측정도구 개발 연구, 2) 원도구 개발이나 문화적 적응 및 수정을 위한 심리계량적 속성(psychometric properties) 검증 연구, 3) 문항반응이론(item response theory) 연구와 4) 한국인을 대상으로 실시된 연구였다.
- 자료검색을 위해 사용된 주요어로는 타당성, 측정도구, 도구개발, 도구검증, 질문지, 설문지, 척도, 타당도, 신뢰도, 심리계량도, 요인분석, 반응성, 그리고 문항반응이론(validation, instrument,measurement, development, instrument test, questionnaire, scale, validity, reliability, psychometrics, factor analysis, responsiveness, and item response theory)이었다. 주요어 검색은 한글과 영문모두를사용하였다.총20종의학술지중,두종의학술지논문검색 데이터베이스에서는 연구제목 검색은 가능하였지만 주요어 검색이 불가능하였다.
이론/모형
- 각 측정 속성에 대 한 전체적 질 평가는 그 영역에서 가장 낮게 평가된 문항의 반응범주에 의해 결정되는 ‘worst score counts’ 방식이 적용된다.
- 선정된 논문으로부터 추출한 자료는 첫째, 논문의 일반적 특성으로 게재학술지, 게재년도, 목적, 자료 수집 장소, 개념적 모형/이론, 측정개념, 측정도구명과 표본의 크기를 파악하였다. 둘째, 선정된 각 논문의 측정 속성의 질 평가는 구조화된 COSMIN 체크리스트를 사용하였다(Mokkink et al., 2010; Terwee et al., 2012). COSMIN 체크리스트 사용과정의 첫 번째 단계는 논문에서 검증된 측정 속성은 어떤 것들이 있는지 표시하는 것이다.
성능/효과
- 구성타당도 검증은 153편(91.1%)에서 실시되었고, 전체 질 평가는 구성타당도에 적절한 표본수와 탐색적 또는 확정적 요인분석 중의 하나를 적합하게 적용한 56.5%(95편) 논문에서 ‘매우 우수’ 한 것으로 평가되었다.
- 첫째, 측정도구 점수가 연속형인 경우 급내상관계수(Intraclass correlation coefficient: ICC)를 제시한 논문이 9편 밖에 없었다는 점이다. 둘째, 12편의 논문만이 자료 수집 시 질문지 적용 방법이 독립적이었다. 즉, 나머지 논문들은 자료 수집 시, 대상자가 직접 질문지를 작성하는 방법과 면접방식을 혼합하여 사용하였다.
- , 2012)를사용하는것이필요하다.둘째, 요인추출에서 적절한 요인수를 결정하기 위해 고유값(eigenvalues)을이용할경우1.0이상이수용가능한기준이며,추출된요인은 일반적으로 전체분산 중 최소한 60%를 설명해야함(Munro, 2005)에도불구하고이보다낮은기준들을제시한경우들이있었다.
- 이 가운데가설검정을 위한 예상되는 상관관계나 평균비교에 대한 절대적 및 상대적 크기 (magnitude)에 대한 근거를 제시하였던 논문은 25%(6편)이었다. 또한 수렴 및 판별타당도 검증 시 사용된 측정도구의 신뢰도와타당도에대한기술이부족했던것으로나타났다.
- 반응성 검증을 실시한 두 편 모두 질 평가에서 ‘부족’한 것으로 나타났다.
- 반응성도 98.8%의 논문에서 검증되지 않은 것으로 나타났다. 반응성을 검증한 논문은 두 편 (1.
- 본 연구에서 선정된 168편의 모든 측정도구 논문은 도구의 측정 속성을평가하기위해고전검사이론을적용한것으로나타났다.문항반응이론을 적용하여 측정 속성을 평가한 논문은 하나도 없었다.
- 본 연구에서 선정된 국내 간호학 논문에서 가장 우수했던 측정 속성은내적일관성이었다.내적일관성은선정된논문의3편중2편에서 ‘매우 우수’로 평가되었다.
- 4%)순으로 가장 많았다. 선정된 논문의 표본크기를 살펴보면, COSMIN 에서 제시한 최소 표본크기인 문항 수의 5배보다 작은 표본크기를 포함한 논문이 37편(22%)이었고, 문항 수의 5배보다 크지만 문항 수의 10배보다 작은 표본크기를 가진 논문이 53편(31.5%), 문항 수의 10배보다큰표본을가진논문은78편(46.4%)이었다(Table 1).
- 세부적으로 보면, 문항들이측정하고자하는구성개념에상응하는가를사정하는전문가 내용타당도는 102편에서 ‘매우 우수’한 것으로 나타났다.
- 즉, 나머지 논문들은 자료 수집 시, 대상자가 직접 질문지를 작성하는 방법과 면접방식을 혼합하여 사용하였다. 셋째, 11편만이 측정하고자 하는 개념이 검사-재검사의 간격 동안 안정된 속성을 지니고 있다는 근거를 제시 하였고, 나머지 논문에서는 측정 개념이 검사 간격동안 안전성을 유지하는지에대한언급이없었다.
- 반면 신뢰도(검사-재검사)는 단 한편 만이 ‘매우 우수’한 것으로 나타났으며 86%(144편)에서 이에 대한 검증을 실시하지 않았다. 신뢰도를 수행한 논문일지라도 결과에 대한 통계치나 유의수준을 제시하지 않은 것으로 나타났다. 일반적으로 수용 가능한 신뢰도는 상관계수가 .
- 이상에서 자가 보고형 질문지를 사용한 국내 간호학 학술지 게재논문 168편의 측정 속성의 질평가를 수행한 결과, 내적일관성, 요인분석을 이용한 구성타당도, 내용타당도의 순으로 많이 검증 하였으나 가설검증, 준거타당도, 반응성과 측정오차의 검증은 부족한 것으로 나타났다. 측정도구 적용 시 COSMIN 체크리스트를 중심으로 측정 속성의 질 평가를 수행하는 것이 요구된다.
- 전반적인 신뢰도에 대한 측성속성 질 평가 결과를 살펴보면, 0.6%(1편)만이 ‘매우 우수’한 것으로 평가되었고, 8.3%(14편)가 ‘우수’, 4.2%(7편)가 ‘보통’, 1.2%(2편)가 ‘부족’으로 나타났다.
- 준거타당도를검증한논문은총23편이었는데이중7.1%(12 편), 4.2%(7편)가 ‘매우 우수’와 ‘우수’로 평가되었다.
- 이 속성 검증을 실시하였던 연구들도 그 질적 평가가 낮았는데 그 주요 이유는 세 가지 측면에서 찾아볼 수 있다. 첫째, 측정도구 점수가 연속형인 경우 급내상관계수(Intraclass correlation coefficient: ICC)를 제시한 논문이 9편 밖에 없었다는 점이다. 둘째, 12편의 논문만이 자료 수집 시 질문지 적용 방법이 독립적이었다.
- 측정 속성의 심리계량적 속성을 검증하는데 문항반응이론을 사용한 논문은 한 편도 없었고, 모든 논문에서 고전검사이론을 적용한 것으로 나타났다. 측정 속성에 대한 전체적인질평가에서내적일관성,요인분석을이용한구성타당도,내용타당도의 순으로 많이 검증하였으나, 가설검증, 준거타당도, 반응성과 측정오차의 검증은 부족한 것으로 나타났다. 전체적인 분석 결과를 토대로 각 측정 속성 영역에서 ‘부족’으로 나타난 항목에서 수용 가능한 기준과 해석의 예를 제시하였다.
- 본 연구는 COSMIN 체크리스트를 이용하여 국내 간호학 학술지에 보고된 자가 보고형 측정도구에 관한 168편의 논문의 측정 속성을 체계적으로 평가하였다. 측정 속성의 심리계량적 속성을 검증하는데 문항반응이론을 사용한 논문은 한 편도 없었고, 모든 논문에서 고전검사이론을 적용한 것으로 나타났다. 측정 속성에 대한 전체적인질평가에서내적일관성,요인분석을이용한구성타당도,내용타당도의 순으로 많이 검증하였으나, 가설검증, 준거타당도, 반응성과 측정오차의 검증은 부족한 것으로 나타났다.
- 측정도구의 내용이 측정하고자 하는 개념을 반영하는 정도인 내용타당도에서는 38.2%가 ‘매우 우수’한 것으로 나타났다.
- 측정오차에 대한 전반적인 질 평가는 모든 논문에서 ‘부족’한 것으로 평가되었다.
후속연구
- 전체적인 분석 결과를 토대로 각 측정 속성 영역에서 ‘부족’으로 나타난 항목에서 수용 가능한 기준과 해석의 예를 제시하였다. 따라서 국내 간호 측정도구에 대한 평가를 일목요연하게 제시한 본 연구 결과는 간호 연구와 임상실무에서 측정도구를 사용하고자 하는 연구자들과 임상간호사들이 도구를 올바르게 선택하여 사용하는데 기초자료로 활용할 수 있다. 또한 국내 간호학 측정도구개발 연구의 장단점을 제시함으로써앞으로도구개발연구의활성화에기여할것이다.
- 따라서 국내 간호 측정도구에 대한 평가를 일목요연하게 제시한 본 연구 결과는 간호 연구와 임상실무에서 측정도구를 사용하고자 하는 연구자들과 임상간호사들이 도구를 올바르게 선택하여 사용하는데 기초자료로 활용할 수 있다. 또한 국내 간호학 측정도구개발 연구의 장단점을 제시함으로써앞으로도구개발연구의활성화에기여할것이다.
- 이를 위하여 가장 많이 사용되는 삶의 질, 스트레스와 같은 측정개념을 중심으로 측정 속성에 대한 체계적 문헌고찰을 제언한다. 또한 국외에서 개발된 측정도구의 사용 시, 먼저 국내 간호대상자를 대상으로 신뢰도, 타당도와 반응성을 포함한 측정 속성이 수립된 것인지 검증한후사용할것을제언한다.
- 측정도구 적용 시 COSMIN 체크리스트를 중심으로 측정 속성의 질 평가를 수행하는 것이 요구된다. 이를 위하여 가장 많이 사용되는 삶의 질, 스트레스와 같은 측정개념을 중심으로 측정 속성에 대한 체계적 문헌고찰을 제언한다. 또한 국외에서 개발된 측정도구의 사용 시, 먼저 국내 간호대상자를 대상으로 신뢰도, 타당도와 반응성을 포함한 측정 속성이 수립된 것인지 검증한후사용할것을제언한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.