[논문]다중선택 시험에서 부정행위자 발견을 위한 새로운 통계적 측도

한은수; 임요한; 이경은

doi:10.5351/kjas.2013.26.1.081

다중선택 시험에서 부정행위자 발견을 위한 새로운 통계적 측도
A New Statistical Index for Detecting Cheaters on Multiple Choice Tests 원문보기

응용통계연구 = The Korean journal of applied statistics, v.26 no.1, 2013년, pp.81 - 92

한은수 (국립보건연구원 연구기획과) , 임요한 (서울대학교 통계학과) , 이경은 (경북대학교 통계학과)

초록
AI-Helper

학문적 진실성(academic integrity)을 위반하는 잠재적 부적행위를 판단할 때, 잘못된 결정을 피하기 위해서는 확고한 근거를 마련하는 것이 중요하다. 교육학 연구자들은 부정행위를 발견 혹은 확신 할 수 있는 많은 통계적인 방법들을 발전시켰다. 그러나, 대부분의 방법들은 단순히 상관계수를 기초로한 방법들이어서 종종 응답자들의 패턴을 설명하기가 어렵다. 이 논문에서는, 이런 어려움을 해결하기 해결하기 위하여 표준화된 부호 엔트로피 유사성 점수(Standardized Signed Entropy Similarity Score)라는 새로운 통계적인 측도를 제안한다. 또한, 이 제안한 방법을 실제 시험 자료를 이용 부정행위자를 발견하는데 적용하였고, 다른 기존의 방법들과 비교하였다.

Abstract ▼ AI-Helper

It is important to construct a firm basis for accusing potential violators of academic integrity in order to avoid spurious accusations and false convictions. Educational researchers have developed many statistical methods that can either uncover or confirm cases of cheating on tests. However, most of them rely on simple correlation-based measures, and often fail to account for patterns in responses or answers. In this paper, we propose a new statistical index denoted by a Standardized Signed Entropy Similarity Score to resolve this difficulty. In addition, we apply the proposed method to analyze a real data set and compare the results to other existing methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

S(X, Y)를 표준화하기 위해, S(X, Y)의 평균과 분산을 살펴보자. 먼저, x′_kW_ky_k의 평균과 분산을 각각 µ_k와 #라 하자.
본 논문에서, 우리는 선다형 시험에서 부정행위를 확인하기 위한 새로운 통계적 유사성 측도를 제안했다. 이 지표는 수험자들의 선택한 선택지 빈도의 분포에 따라 가중치를 고려한, 즉 각 문항의 난이도를 반영한 응답일치도로서 정답/오답과 무관하게 된다.
이러한 문제를 해결하기 위하여 본 논문에서는 부호화된 엔트로피(signed entropy)를 정의, 이용하여 문항의 특성을 고려한 새로운 유사성 측도를 제안한다. 각 문항의 부호화된 엔트로피는 해당 문항의 각 선택항목에 대하여 수험자들의 응답의 통일성을 나타내는 측도로 문항당 선택항목들에 대하여 비중을 정의한다.
이번 절에서는 Angoff (1974), Bellezza와 Bellezza (1989), Crawford (1930), 그리고 Kling (Holland, 1996)에 의하여 제안된 네 가지의 유사성 측도에 대하여 간단히 소개하려고 한다.

가설 설정

N명 수험자는 K개 문제로 이루어진 시험을 치는 것을 가정한다. 게다가 각 문제는 J 선택지를 가지는 것을 가정한다.
N명 수험자는 K개 문제로 이루어진 시험을 치는 것을 가정한다. 게다가 각 문제는 J 선택지를 가지는 것을 가정한다. 그들의 응답들은 {X_i}, 여기서 i = 1, 2, .
를 가지는 함께 곱 다항분포(Product Multinomial distribution), 수험자들 사이의 독립성, 그리고 각 수험자들의 응답사이의 독립성을 가정한다. 실제로, 수험자들 사이의 독립성과 각 수험자들의 응답사이의 독립성에 대한 가정은 어느 정도 이상적일 수 있다.
이러한 기존의 측도들은 난이도와 같은 문항의 특성이 반영되어 있지 못한 단점이 있다. 보다 구체적으로 이야기하면 A문항은 난이도가 높아 수험자이 모두 틀리는 문항이고 B문항은 난이도가 낮아 모두가 맞추는 문항이라 가정하자. 만일 두 수험자가 A문항을 같이 맞추고 B문항을 같이 다르게 답하면서 틀리는 경우가 그 반대의 경우 (B문항을 같이 맞추고 A문항을 다르게 답하며 두 수험자 모두 오답을 하는 경우)보다 유사성 측도가 높아야 한다.
일반성을 잃지 않고 각 문항이 J개의 선택지가 있고 정답이 모두 1번인 K개의 문항으로 구성된 시험이라고 가정하자. 수험자 A와 B의 답안을 각각

제안 방법

52명의 수험자들(모든 수험자들은 1∼52까지 숫자로 표시)이 강의실 두 곳(Table 4.1 참조)에서 나누어서 시험을 쳤다.
80문항들에 대한 수험자들의 답을 선택한 유형을 살펴보기 위하여 각 문항의 정답을 1이 되도록 변경하여 답에 대한 수험자들의 상대적 빈도수(×100)를 heatmap(밝을수록 빈도수가 높음)을 이용하였다(Figure 4.3과 Figure 4.4 참조).
Bellezza와 Bellezza (1989)은 두 수험자의 공통 오답 수(오답의 일치와는 상관없이 같이 틀린 문항수) 중 두 수험자의 오답일치수의 분포를 이용하여 p-값을 계산하였고, 1979년 Frederick Kling이 처음 K-지표를 고안했으며 (발표된 논문이 없었음) Holland (1996)가 K-지표와 관련한 이론적인 것들을 발표하였다. K-지표는 관측된 두 수험자의 오답일치수보다 더 많은 오답일치수를 얻을 확률을 구하는 데, 이항 분포를 이용해서 이 확률을 구했다. 이러한 기존의 측도들은 난이도와 같은 문항의 특성이 반영되어 있지 못한 단점이 있다.
먼저, Crawford의 지표는 부정행위를 하지 않은 수험자들(근처 자리가 아닌 수험자들)의 랜덤표본을 추출하여 각 쌍들의 오답일치수의 상대적비율들의 평균과 표준편차를 이용하여 특정수험자들의 오답일치 수의 상대적 비율이 평균비율과 차이나는 지 검정한 것이다. 시험이 강의실 두 곳에서 이루어졌기 때문에, 강의실 다른 수험자들은 부정행위 혐의가 전혀 없으므로 그러한 수험자들의 쌍들, 675(= 27 × 25)쌍들의 오답일치수의 상대적 비율들을 이용하였다.
)에 오답수에 대한 상대적 비율을 사용하였다. 부정행위를 하지 않은 수험자들(근처 자리가 아닌 수험자들)의 랜덤표본을 추출하여 각 쌍들의 오답비율의 평균과 두 수험자의 오답비율 차이 검정통계량을 이용한 유사성 측도를 제안 하였다.
시험은 총 80문항으로 이루어졌으며 이 중, 46문항이 사지선다형 문제이며, 34문항이 참(True), 거짓(False)문항이다. 전체 표본은 m = (52 × 51)/2 = 1326 쌍의 수험자들로 이루어져 있다.
시험이 강의실 두 곳에서 이루어졌기 때문에, 강의실 다른 수험자들은 부정행위 혐의가 전혀 없으므로 그러한 수험자들의 쌍들, 675(= 27 × 25)쌍들의 오답일치수의 상대적 비율들을 이용하였다.
이번 절에서는 실제 시험 자료에 우리가 제안한 SSESS와 이전에 사용된 네가지 방법들을 적용하려고 한다. 이 자료는 2010년 1학기 때 경북대학교 통계학과 학생들의 전공기초과목의 기말고사 자료이다.

대상 데이터

000038를 이용하였으며 Storey (2003)의 positiveFalse Discovery Rate(pFDR)인 q-값(q-value)도 참고로 명시하였다. 결과표는 총 1326쌍의 결과를 p-값의 오름차순으로 정렬한다음 상위 10쌍만 혹은 작은 p-값 가지는 쌍들을 본 논문에 게재 하였다.
이번 절에서는 실제 시험 자료에 우리가 제안한 SSESS와 이전에 사용된 네가지 방법들을 적용하려고 한다. 이 자료는 2010년 1학기 때 경북대학교 통계학과 학생들의 전공기초과목의 기말고사 자료이다. 52명의 수험자들(모든 수험자들은 1∼52까지 숫자로 표시)이 강의실 두 곳(Table 4.

이론/모형

다중비교시 실험별 오류(Family Wise Error Rate)를 관리하기 위하여 본페로니 방법(Bonferroni’s method)으로 교정된 αPC = α/m = 0.05/1326 = 0.000038를 이용하였으며 Storey (2003)의 positiveFalse Discovery Rate(pFDR)인 q-값(q-value)도 참고로 명시하였다.

성능/효과

Bellezza와 Bellezza의 ESA 지표 계산에서 사용된 P_ESA는 부정행위가 없는 수험자들의 쌍들만 고려하기 위하여 Crawford 지표처럼 다른 강의실에서 치른 수험자들의 쌍만을 고려하여 Q_AB/W_AB의 평균이며, 전체문항을 모두 고려한 경우는 0.63이며 사지 선다형 문제만 고려한 경우는 0.47이다.
우리가 제안한 Standardized Signed Entropy Simlarity Score 방법에서 찾은 상위 10개 쌍들을 보면 앞의 방법들에 의해 찾은 쌍들과는 다른 유형들을 보이는 데, W_AB이나 Q_AB는 상대적으로 작은 값을 가지고 있음을 알 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Angoff는 어떠한 지표를 개발하였는가?	Crawford (1930)는 두 수험자의 전체 오답수(각 수험자의 오답수의 합)에 대한 두수험자의 일치하는 오답수의 상대적인 비율을 구한 후 부정행위가 없는 모든 쌍들의 상대적인 오답비율의 평균과 표준편차를 이용해 표준화 시킨 지표를 제안하였고, Angoff (1974)는 두 수험자의 오답일치수(같은 오답을 선택한 문항수)를 표준화 시킨 지표를 개발하였다. Bellezza와 Bellezza (1989)은 두 수험자의 공통 오답 수(오답의 일치와는 상관없이 같이 틀린 문항수) 중 두 수험자의 오답일치수의 분포를 이용하여 p-값을 계산하였고, 1979년 Frederick Kling이 처음 K-지표를 고안했으며 (발표된 논문이 없었음) Holland (1996)가 K-지표와 관련한 이론적인 것들을 발표하였다.
	Crawford의 지표는 무엇인가?	먼저, Crawford의 지표는 부정행위를 하지 않은 수험자들(근처 자리가 아닌 수험자들)의 랜덤표본을 추출하여 각 쌍들의 오답일치수의 상대적비율들의 평균과 표준편차를 이용하여 특정수험자들의 오답일치 수의 상대적 비율이 평균비율과 차이나는 지 검정한 것이다. 시험이 강의실 두 곳에서 이루어졌기 때문에, 강의실 다른 수험자들은 부정행위 혐의가 전혀 없으므로 그러한 수험자들의 쌍들, 675(= 27 × 25) 쌍들의 오답일치수의 상대적 비율들을 이용하였다.
	Angoff의 B-지표의 분포는 무엇에 따라 많이 달라질 수 있는가?	Angoff의 B-지표는 Wi · Wj의 비슷한 값들끼리 묶어 그룹으로 묶어 그 그룹안에서 QAB를 표준화한것이다. 그룹 수에 따라 B-지표의 분포는 많이 달라질 수 있다. 그룹 수를 1개에서 부터 점차 늘려보았는데, 그룹 수에 따라 지표의 변동이 심한 것을 볼 수 있었고, Table 4.

참고문헌 (7)

Angoff, W. H. (1974). The development of statistical indices for detecting cheaters, Journal of the American Statistical Association, 69, 44-49.

상세보기
Bellezza, F. S. and Bellezza, S. F. (1989). Detection of cheating on multiple-choice tests by using error similarity analysis, Teaching of Psychology, 16, 151-155.

상세보기
Buss, W. G. and Novick, M. R. (1980). The detection of cheating on standardized tests: Statistical and legal analysis, Journal of Law and Education, 9, 1-64.
Crawford, C. C. (1930). Dishonesty in objective tests, School Review, 38, 776-781.

상세보기
Haney, W. M. (1993). Cheating and escheating on standardized tests, Paper presented at the annual meeting of the American Educational Research Association, Atlanta, GA.
Holland, P. W. (1996). Assessing unusual agreement between the incorrect answers of two examinees using the K-Index: Statistical theory and empirical support, ETS Research Report No.96-7. Princeton, NJ: Educational Testing Service.
Storey, J. D. (2003). The positive False Discovery Rate: A Bayesian interpretation and the q-value, The Annals of Statistics, 6, 2013-2035.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증