[논문]모의실험에 의한 리커트형 설문분석 방법의 비교

김현철; 최승경; 최동호

doi:10.7465/jkdi.2016.27.2.373

모의실험에 의한 리커트형 설문분석 방법의 비교
A simulation comparison on the analysing methods of Likert type data 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.27 no.2, 2016년, pp.373 - 380

김현철 (군산대학교 통계컴퓨터과학과) , 최승경 (숙명여자대학교 통계학과) , 최동호 (성균관대학교 교육학과)

초록
AI-Helper

리커트형 데이터가 순서척도임에도 불구하고 많은 연구자들이 구간척도로 간주하여 모수 방법을 적용하고 있다. 본 연구에서는 리커트형 데이터를 어떻게 분석하는 것이 적절한지 모의 실험을 통하여 알아본다. 다양한 분포를 갖는 5점 리커트형 표본을 추출하여 위치를 비교하고, 순서척도의 경우 위치비교 보다 응답분포를 살펴보는 것이 더 타당하므로 응답분포 검정을 실시한다. 위치를 비교하는 방법으로는 구간척도로 생각하고 분석하는 모수 방법인 t-검정과 순서척도로 생각하는 비모수 방법인 만- 휘트니검정 (M-W검정)을 적용하고, 응답분포를 검정하기 위해서는 카이제곱 검정과 콜모고로프 - 스미르노프검정 (K-S검정)을 실시한다. 네 가지 방법의 효율성을 비교하기 위하여 제 1종 오류 (Type I error)의 비율과 검정력 (power)을 구한다.

Abstract ▼ AI-Helper

Even though Likert type data is ordinal scale, many researchers who regard Likert type data as interval scale adapt as parametric methods. In this research, simulations have been used to find out a proper analysis of Likert type data. The locations and response distributions of five point Likert type data samples having diverse distribution have been evaluated. In estimating samples' locations, we considered parametric method and non-parametric method, which are t-test and Mann-Whitney test respectively. In addition, to test response distribution, we employed Chi-squared test and Kolmogorov-Smirnov test. In this study, we assessed the performance of the four aforementioned methods by comparing Type I error ratio and statistical power.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 때 고려되는 표본크기들은 n = m = 30, 50, 100으로 동일한 경우와 (n=30, m=50), (n=30, m=100), (n=50, m=100)인 총 6가지 표본크기이다. 동일한 분포에서 얻은 이 표본세트는 유의수준 (제1종 오류)이 잘 통제되는지를 평가하기 위한 것이다. 즉 1,000번의 반복에서 같은 모집단에서 얻은 두 표본이 같지 않다고 의사결정을 하는 경우의 비율이 유의수준과 얼마나 일치하는가를 평가한다.
5를 각각 더해주고 비교함으로써 현실적로 발생할 수 없는 응답을 만들어 비교하고 있다. 본 연구에서는 검정력 비교를 위해 서로 다른 분포로부터 얻은 표본을 비교하였다.
본 연구에서는 모의실험을 통해 리커트형 데이터를 어떤 척도로 사용하는 것이 좋은지 알아 보고자 한다. 먼저 다양한 모집단 분포로부터 5점 리커트형 표본자료를 추출하여, 위치비교를 위해 구간척도로 간주하는 모수 방법인 t-검정과 순서척도로 생각하는 비모수 방법인 M-W검정의 효율성을 비교해본다.
이 때 사용되는 표본크기 및 반복 횟수는 첫 번째 방법과 동일하다. 이 표본세트는 서로 다른 모집단에서 얻은 표본으로 실제로 다르다고 의사결정을 하는 비율, 즉 검정력을 비교하기 위한 것이다.

가설 설정

첫 번째 방법으로 추출된 표본세트를 가지고 “H0: 두 모집단의 위치모수는 같다.

제안 방법

15인 편향분포는 본 논문에서 고려한 편향분포와 분석결과가 같다. 그래서 본 논문에서는 왼쪽으로 긴꼬리를 갖는 편향분포만 사용한다.
두 번째는 순서형 자료를 분석할 때는 위치비교 보다는 응답분포를 살펴보는 것이 더 타당하므로 응답분포에 대한 검정으로 카이제곱 검정과 K-S검정을 실시한다. 네가지 방법 중 가장 좋은 방법을 결정하기 위해 제 1종 오류의 크기가 잘 유지되는지에 대한 것과 검정력 (power)을 비교한다. 이런 모의실험은 통계소프트웨어인 R로 구현하였다.
본 연구에서는 모의실험을 통해 리커트형 데이터를 어떤 척도로 사용하는 것이 좋은지 알아 보고자 한다. 먼저 다양한 모집단 분포로부터 5점 리커트형 표본자료를 추출하여, 위치비교를 위해 구간척도로 간주하는 모수 방법인 t-검정과 순서척도로 생각하는 비모수 방법인 M-W검정의 효율성을 비교해본다. 두 번째는 순서형 자료를 분석할 때는 위치비교 보다는 응답분포를 살펴보는 것이 더 타당하므로 응답분포에 대한 검정으로 카이제곱 검정과 K-S검정을 실시한다.
모의실험에서 5점 리커트형 질문의 응답 분포로 균등분포 (uniform type), 종모양 (bell type), 한쪽으로 치우친 정도에 따라 구분한 편향분포 두 종류 (skewed type1, 2), 그리고 양봉분포 (bimodal type) 이렇게 다섯가지 응답분포를 고려하였다. 균등분포의 경우에는 1부터 5까지 각각의 응답률을 0.
동일한 분포에서 얻은 이 표본세트는 유의수준 (제1종 오류)이 잘 통제되는지를 평가하기 위한 것이다. 즉 1,000번의 반복에서 같은 모집단에서 얻은 두 표본이 같지 않다고 의사결정을 하는 경우의 비율이 유의수준과 얼마나 일치하는가를 평가한다.
t-검정과 M-W검정, K-S검정과 카이제곱검정의 효율성을 비교하기 위해 구현된 모집단으로부터 두 표본을 추출한다. 첫 번째 표본 추출방법은 동일 모집단으로부터 다양한 표본크기에 따라 표본 세트 (s1, s2)를 1,000번 반복하여 추출한다. 이 때 고려되는 표본크기들은 n = m = 30, 50, 100으로 동일한 경우와 (n=30, m=50), (n=30, m=100), (n=50, m=100)인 총 6가지 표본크기이다.

데이터처리

” 라는 가설검정을 위해 모수 방법인 t-검정과 비모수 방법인 M-W검정을 실시한다.
5점 척도 리커트형 데이터를 순서형이 아닌 구간형으로 분석을 할 때 발생하는 문제점을 알아보기 위해 위치검정을 위한 모수 방법 t-검정과, 비모수 방법 M-W검정을 고려하고, 분포의 동질성에 대한 검정을 위해 K-S검정과 카이제곱검정을 실시하였다.
먼저 다양한 모집단 분포로부터 5점 리커트형 표본자료를 추출하여, 위치비교를 위해 구간척도로 간주하는 모수 방법인 t-검정과 순서척도로 생각하는 비모수 방법인 M-W검정의 효율성을 비교해본다. 두 번째는 순서형 자료를 분석할 때는 위치비교 보다는 응답분포를 살펴보는 것이 더 타당하므로 응답분포에 대한 검정으로 카이제곱 검정과 K-S검정을 실시한다. 네가지 방법 중 가장 좋은 방법을 결정하기 위해 제 1종 오류의 크기가 잘 유지되는지에 대한 것과 검정력 (power)을 비교한다.
Kromrey와 Hogarty (1998)는 모의실험을 통해, 순서를 갖는 범주형 자료의 집단 차이를 검정하는 네 가지 통계분석 방법을 비교하였다. 분석방법은 평균 차이를 비교하는 모수 방법인 t-검정, 비모수 방법으로 동질성을 검정하는 카이제곱 검정과 Agresti (1996)의 누적 로짓모델, 그리고 Cliff (1993)의 델타 통계량 (delta statistic)이다. 이들은 다양한 표본 크기와 분포 모양에 대해 모의실험을 통해 몬테칼로 방법으로 제 1종 오류가 잘 통제되는지와 검정력을 비교하였다.
Clason과 Dormody (1994)는 Journal of Agricultural Education 27권에서 32권까지에 실린 논문들 중 리커트형 데이터를 사용한 95개 논문들을 보면서 리커트형 데이터를 분석하는 방법들에 대해 소개하였다. 이 논문들에서 사용된 분석방법은 54%는 기술통계 (평균, 표준편차, 범주별 비율), 13%는 두 집단을 비교하는 비모수 검정 (카이제곱 검정, 만- 휘트니 검정 (M-W 검정), 크루스칼- 월리스 검정 (K-W검정)), 그리고 34% 는 모수 검정 (t-검정, 분산분석)이었다.

성능/효과

먼저 같은 분포를 갖는 두 표본을 가지고 네 검정방법을 실시하여 검정방법들이 유의수준을 잘 유지하고 있는지를 제1종 오류의 비율을 가지고 확인 결과 t-검정, M-W검정 그리고 카이제곱검정은 유의수준 5%를 잘 유지하고 있다. 그러나 (1) 표본의 크기가 작거나, (2) 분포의 왜도가 심하거나 (3) 표본의 크기가 많이 차이가 나는 경우에는 t-검정보다는 M-W검정이 더 효과적이라고 확인 되었다. 이 결과는 기존의 연구결과 같았다.
그러나 균일분포와 같은 위치모수를 갖는 양봉모형의 경우에는 전반적으로 검정력이 좋지 않았다. 그리고 종모양인 경우에는 t-검정과 M-W검정은 검정력이 낮고, K-S검정 보다 카이제곱검정의 검정력이 높은 것으로 나타났다. Table 3.
그러나 카이제곱 검정은 모든 경우에 검정력이 좋았다. 네 가지 검정법을 살펴본 결과 카이제곱 검정이 가장 유의수준을 잘 유지하고, 검정력 또한 좋았다.
데이터 척도가 순서형인 경우에는 위치비교보다는 응답별 분포에 대한 검정을 하는 것이 타당한데, 연구 결과를 보면 리커트형 데이터에 대해 카이제곱 검정이 좋은 것으로 확인 되므로 리커트형 데이터는 순서형척도로 간주하고 분포를 비교하는 카이제곱 검정을 사용하는 것이 바람직하다.
이 비율은 검정방법들이 유의수준 5%를 얼마나 잘 유지하고 있는지 나타내는 값이다. 두 번째 방법으로 추출된 표본세트를 가지고 두 가설을 검정한 결과 귀무가설을 기각한다는 것은 옳은 결정이므로, 1,000개의 p-값 중 0.05보다 작은 값의 비율을 통해 검정방법들의 검정력을 구할 수 있다.
두 번째는 다른 분포의 모양을 가지는 두 표본에 대한 네 검정방법의 검정력을 확인해 본 결과 분포의 모양이 차이가 많이 날수록 네 검정법의 검정력은 매우 좋았으나, 비슷한 모양을 갖는 경우에는 t-검정과 M-W검정의 검정력이 좋지 않았고, M-W검정의 검정력이 t-검정보다 좀 더 낫다는 것을 확인 할 수 있었다. 그리고 동일분포인지에 대한 검정에서는 카이제곱검정이 K-S검정 보다 좋은 검정력을 가지고 있다고 할 수 있다.
마지막으로 유의수준이 통제되는 수준이나 검정력을 보면 카이제곱 검정법이 가장 좋은 결과를 보이고 있다. 이 결과는 순서척도의 경우 위치비교 문제보다는 응답별 분포를 비교하는 것이 더 타당하다는 주장을 지지한다.
먼저 같은 분포를 갖는 두 표본을 가지고 네 검정방법을 실시하여 검정방법들이 유의수준을 잘 유지하고 있는지를 제1종 오류의 비율을 가지고 확인 결과 t-검정, M-W검정 그리고 카이제곱검정은 유의수준 5%를 잘 유지하고 있다. 그러나 (1) 표본의 크기가 작거나, (2) 분포의 왜도가 심하거나 (3) 표본의 크기가 많이 차이가 나는 경우에는 t-검정보다는 M-W검정이 더 효과적이라고 확인 되었다.
그리고 표본이 작거나 왜도가 심한 분포인 경우에는 제 1종 오류도 잘 통제되지 않았다. 반면 동질성에 대한 카이제곱 검정은 검정력이 가장 좋으면서 제 1 종 오류의 통제능력도 가지고 있는 가장 좋은 방법이었다. De Winter와 Dodou (2010)도 다양한 분포모양에 대해 t-검정과 M-W 검정을 비교하였는데 두 방법에 거의 차이가 없음을 보고하였다.
Warachan (2011)은 다양한 시나리오에 따라 리커트형 데이터를 생성하여 t-검정, M-W검정 그리고 콜모고로프 - 스미르노프검정 (K-S검정)에 대한 로버스트성과 검정력을 비교하였다. 분석결과 t-검정과 M-W검정은 제 1종 오류를 잘 통제하면서 검정력도 좋았다. 그러나 K-S검정은 모든 경우에서 로버스트성이나 검정력이 좋지 않았다.
이들은 다양한 표본 크기와 분포 모양에 대해 모의실험을 통해 몬테칼로 방법으로 제 1종 오류가 잘 통제되는지와 검정력을 비교하였다. 이들의 모의실험 결과, t-검정과 누적 로짓검정은 제 1종 오류를 잘 통제하는 것으로 나타났으나, 검정력이 가장 좋은 것은 아니었다. 그리고 표본이 작거나 왜도가 심한 분포인 경우에는 제 1종 오류도 잘 통제되지 않았다.

질의응답

핵심어	질문	논문에서 추출한 답변
	리커트형 데이터를 분석하는 방법의 두 가지 흐름은 무엇인가?	리커트형 데이터를 분석하는 방법에는 크게 두 가지 흐름이 있다. 하나는 비록 순서척도이지만 구간 척도로 간주하여 마치 리커트 평가척도의 데이터처럼 모수 방법으로 분석하는 것이고, 다른 하나는 순서 척도로 인식하고 비모수 방법을 적용하는 것이다. 이론적으로는 앞서 언급한 바와 같이 리커트형 데이터는 순서척도이기 때문에, 모수 방법 보다는 비모수 방법을 사용하는 것이 적절하다고 할 수 있다.
	데이터의 측정 척도는 어떻게 나누어 이해하나요?	일반적으로 데이터의 측정 척도는 스티븐스 (Stevens)의 이론에 따라 명목척도 (nominal scale) 순서척도 (ordinal scale), 구간척도 (interval scale) 그리고 비율척도 (ratio scale)로 나누어 이해한다. 이 4가지의 측정 척도에 따라 같은 목적의 통계분석을 하더라도 통계분석방법은 달라진다.
	리커트 평가 척도는 어떤 방법인가?	5점 리커트 척도는 가장 일반적으로 사용되는 척도로서, 1=강한부정, 2=부정, 3=보통, 4=긍정, 5=강한긍정으로 순서화된 답지를 주고 응답자가 느끼는 감정이나 태도를 표시하게 한다. 리커트 평가 척도는 이런 유형의 설문을 여러 개 만들어서 이를 종합하여 응답자의 감정이나 태도를 측정하는 방법이다. Lee (2015)은 전통떡류에 대한 인지도, 활용도, 편의도 및 선호도를 측정하는데 리커트 척도를 사용하고, Lee와 Kown (2015)도 행동통제력 지각, 예견된 후회, 음주운전태도, 주관적 규범, 흡연습관 및 운동습관에 대한 측정을 위해 리커트 척도를 사용하였다.

참고문헌 (11)

Agresti, A. (1996). An introduction to categorical data analysis, Wiley, New York.
Clason, D. L. and Dormody, T. J. (1994). Analyzing data measured by individual Likert-type items. Journal of Agricultural Education, 35, 31-35.
Cliff, N. (1993). Dominance statistics: Ordinal analyses to answer ordinal questions. Psychological Bulletin, 114, 494-509.

상세보기
De Winter, J. C. F. and Dodou, D. (2010). Five-point Likert items: T test versus Mann-Whitney-Wilcoxon. Practical Assemssment, Research & Evaluation, 11, 1-16
Goldstein, G. and Hersen, M. (1984). Handbook of psychological assessment, Pergamon Press, New York.
Kromrey, J. D. and Hogarty, K. Y. (1998). Analysis options for group difference on ordered categorical variables: An empirical investigation of type I error control and statistical power. Multiple Linear Regression Viewpoints, 25, 70-82.
Lee, K. H. and Kwon, Y. M. (2015). Influence of sociopsychological aspects, smoking habit, exercise habit on the intentions of drink-driving. Journal of the Korean Data & Information Science Society, 26, 21-29.

원문보기 상세보기
Lee, M. O. (2015). A study on differences by gender in influence of recognition, usage, convenience and preference on purchase intention for traditional korean rice cake. Journal of the Korean Data & Information Science Society, 26, 875-883.

원문보기 상세보기
Mogey, N. (1999). So you want to use a Likert scale? http://www.icbl.hw.ac.uk/ltdi/cookbook/infolikert scale.
Traylor, M. (1983). Ordinal and interval scaling. Journal of Market Research Society, 25, 297-303.
Warachan, B. (2011). Appropriate statistical analysis for two independent groups of likert-type data. Ph. D. Thesis, American University, Washington D.C..

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증