선다형 문제의 경우 특정 위치의 답을 선호하는 수험생의 응답경향이 시험 결과에 미치는 영향을 최소화하기 위하여 정답배열을 특정위치에 편중되지 않고 고르게 분포할 필요가 있다. 이는 정답배열이 특정 번호에 편중되어 있으면 정답을 모를 때 중앙 또는 외곽 번호에 응답경향이 있는 수험생이 추측으로 문항의 답을 맞힐 수 있으므로 시험점수가 학생의 능력을 제대로 반영하지 못하는 결과를 초래할 수 있기 때문이다. 본 논문에서는 2017학년도 대학수학능력시험의 영역별 정답배열에 대하여 Bartels rank test, Wald-Wolfowitz runs test, turning point test, Cox Stuart trend test, differencesign test, Mann-Kendall rank test 등을 실시하여 정답배열이 고르게 분포되었는지 확인하였다. 또한 정답 번호와 배점 사이에 독립성이 지켜지지 않을 경우에도 특정 번호를 정답으로 선호하는 경향을 가진 수험생의 점수는 학생의 능력을 제대로 반영하지 못할 수 있기 때문에 정답의 위치와 배점 사이의 독립성 검정을 추가로 실시하였다.
선다형 문제의 경우 특정 위치의 답을 선호하는 수험생의 응답경향이 시험 결과에 미치는 영향을 최소화하기 위하여 정답배열을 특정위치에 편중되지 않고 고르게 분포할 필요가 있다. 이는 정답배열이 특정 번호에 편중되어 있으면 정답을 모를 때 중앙 또는 외곽 번호에 응답경향이 있는 수험생이 추측으로 문항의 답을 맞힐 수 있으므로 시험점수가 학생의 능력을 제대로 반영하지 못하는 결과를 초래할 수 있기 때문이다. 본 논문에서는 2017학년도 대학수학능력시험의 영역별 정답배열에 대하여 Bartels rank test, Wald-Wolfowitz runs test, turning point test, Cox Stuart trend test, difference sign test, Mann-Kendall rank test 등을 실시하여 정답배열이 고르게 분포되었는지 확인하였다. 또한 정답 번호와 배점 사이에 독립성이 지켜지지 않을 경우에도 특정 번호를 정답으로 선호하는 경향을 가진 수험생의 점수는 학생의 능력을 제대로 반영하지 못할 수 있기 때문에 정답의 위치와 배점 사이의 독립성 검정을 추가로 실시하였다.
In test with multiple choices, it is necessary to have the position of correct answers of each question spreaded evenly over all the questions in order to minimize the influence of answering tendency of test takers with preference to specific position of multiple choices. The scores of tests with co...
In test with multiple choices, it is necessary to have the position of correct answers of each question spreaded evenly over all the questions in order to minimize the influence of answering tendency of test takers with preference to specific position of multiple choices. The scores of tests with correct answers in specific positions would not reflect exactly the academic aptitude of examinees who do not know correct answers but have the biased answering tendency. In this paper, we have randomness test for the positioning of correct answers at the 2017 College Scholastic Ability Test (CSAT) using Bartels rank test, the Wald-Wolfowitz runs test, the turning point test, the Cox Stuart trend test, the difference sign test and the Mann-Kendall tank test, etc. We also do independence test between the location of correct answer and the allocation of score in each question, for it may result in overestimating the test-taker with specific position preference in marking correct answers.
In test with multiple choices, it is necessary to have the position of correct answers of each question spreaded evenly over all the questions in order to minimize the influence of answering tendency of test takers with preference to specific position of multiple choices. The scores of tests with correct answers in specific positions would not reflect exactly the academic aptitude of examinees who do not know correct answers but have the biased answering tendency. In this paper, we have randomness test for the positioning of correct answers at the 2017 College Scholastic Ability Test (CSAT) using Bartels rank test, the Wald-Wolfowitz runs test, the turning point test, the Cox Stuart trend test, the difference sign test and the Mann-Kendall tank test, etc. We also do independence test between the location of correct answer and the allocation of score in each question, for it may result in overestimating the test-taker with specific position preference in marking correct answers.
본 연구에서는 2017학년도 대학수학능력시험의 각 영역벼 정답 배열에 대한 임의성 검정 및 정답과 배점에 대한 독립성 검정을 실시하였다. 임의성 검정 결과 다른 영역에 비해 ‘국어영역의 짝수형’ 영역에서 임의성이 강하게 지켜지지 않은 결과를 보여주었다.
제안 방법
크게 3 영역(1. 국어, 수학, 영어, 한국사 영역의 짝수형, 홀수형; 2. 사회탐구 영역; 3. 과학탐구 영역)으로 나누어 임의성 검정을 하였다.
대상 데이터
정답이 특정 위치에 편중되지 않고 고르게 분포되어야 하는 이유는 수험생들의 응답경향이 시험에 미치는 영향을 최소화하기 위한 것으로, 특정 문항의 답지를 선호하는 응답경향이 있는 수험생에게 이익이나 불이익을 받지 않도록 하는 것이다. 즉, 이처럼 2017학년도 대학수학능력시험의 국어 짝수형 영역에 대한 논란이 있었기에, 국어 짝수형 영역을 포함한 2017학년도 대학수학능력시험의 영역별 정답 배열의 임의성을 검정하고자 한다.
데이터처리
1은 ‘국어’, ‘수학’, ‘영어’, ‘한국사’ 영역의 정답 배열에 임의성이 있는지 여러 가지 통계 기법으로 검정한 결과이다. 양측검정 시행 후 임의성이 없을 경우 단측검정을 시행하여 추세를 알아보았다. 어떤 추세가 있는지 알기위하여 시행한 단측검정에서 유의수준 0.
2절에서는 임의성 검정 방법에 대하여 간략하게 소개하고 3절에서 각 영역별 정답 배열의 임의성 검정 결과를 보여준다. 영역별 정답 배열에 대하여 Bartels rank test, Wald-Wolfowitz runs test, turning point test로 음 또는 양의 상관관계가 있는지 검정하고, Cox Stuart trend test, difference sign test, Mann- Kendall rank test로 상향 또는 하향 추세가 있는지 검정한다. 음 또는 양의 상관관계 및 상향 또는 하향 추세가 있으면 정답 배열이 고르게 분포되었다고 할 수 없다.
성능/효과
정답과 배점에 대한 독립성 검정에서는 ‘국어영역 짝수형’ 영역과 ‘사회탐구 세계사’ 영역에서 정답과 배점이 종속관계로 나타났다. 분석 결과를 종합하여 볼 때 다른 영역에 비하여 ‘국어영역 짝수형’이 정답 배열의 임의성 및 정답과 배점의 독립성이 지켜지지 않아 수험생의 응답경향이 시험 결과에 영향을 미치므로 문제가 된다. 이 결과를 교훈삼아 추후 시행되는 대학수학능력시험에서는 정답 배열의 임의성 및 정답과 배점의 독립성을 지키는 데 만전을 기하여야할 것이다.
본 연구에서는 2017학년도 대학수학능력시험의 각 영역벼 정답 배열에 대한 임의성 검정 및 정답과 배점에 대한 독립성 검정을 실시하였다. 임의성 검정 결과 다른 영역에 비해 ‘국어영역의 짝수형’ 영역에서 임의성이 강하게 지켜지지 않은 결과를 보여주었다. 정답과 배점에 대한 독립성 검정에서는 ‘국어영역 짝수형’ 영역과 ‘사회탐구 세계사’ 영역에서 정답과 배점이 종속관계로 나타났다.
임의성 검정 결과 다른 영역에 비해 ‘국어영역의 짝수형’ 영역에서 임의성이 강하게 지켜지지 않은 결과를 보여주었다. 정답과 배점에 대한 독립성 검정에서는 ‘국어영역 짝수형’ 영역과 ‘사회탐구 세계사’ 영역에서 정답과 배점이 종속관계로 나타났다. 분석 결과를 종합하여 볼 때 다른 영역에 비하여 ‘국어영역 짝수형’이 정답 배열의 임의성 및 정답과 배점의 독립성이 지켜지지 않아 수험생의 응답경향이 시험 결과에 영향을 미치므로 문제가 된다.
후속연구
분석 결과를 종합하여 볼 때 다른 영역에 비하여 ‘국어영역 짝수형’이 정답 배열의 임의성 및 정답과 배점의 독립성이 지켜지지 않아 수험생의 응답경향이 시험 결과에 영향을 미치므로 문제가 된다. 이 결과를 교훈삼아 추후 시행되는 대학수학능력시험에서는 정답 배열의 임의성 및 정답과 배점의 독립성을 지키는 데 만전을 기하여야할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
선다형 문제에서 필요한 것은?
선다형 문제의 경우 특정 위치의 답을 선호하는 수험생의 응답경향이 시험 결과에 미치는 영향을 최소화하기 위하여 정답배열을 특정위치에 편중되지 않고 고르게 분포할 필요가 있다. 이는 정답배열이 특정 번호에 편중되어 있으면 정답을 모를 때 중앙 또는 외곽 번호에 응답경향이 있는 수험생이 추측으로 문항의 답을 맞힐 수 있으므로 시험점수가 학생의 능력을 제대로 반영하지 못하는 결과를 초래할 수 있기 때문이다.
선다형 문제의 경우 특정 위치의 답을 선호하는 수험생의 응답경향이 시험 결과에 미치는 영향을 최소화하기 위하여 정답 배열을 특정 위치에 편중되지 않고 고르게 분포할 필요가 있는 이유는?
선다형 문제의 경우 특정 위치의 답을 선호하는 수험생의 응답경향이 시험 결과에 미치는 영향을 최소화하기 위하여 정답배열을 특정위치에 편중되지 않고 고르게 분포할 필요가 있다. 이는 정답배열이 특정 번호에 편중되어 있으면 정답을 모를 때 중앙 또는 외곽 번호에 응답경향이 있는 수험생이 추측으로 문항의 답을 맞힐 수 있으므로 시험점수가 학생의 능력을 제대로 반영하지 못하는 결과를 초래할 수 있기 때문이다. 본 논문에서는 2017학년도 대학수학능력시험의 영역별 정답배열에 대하여 Bartels rank test, Wald-Wolfowitz runs test, turning point test, Cox Stuart trend test, difference sign test, Mann-Kendall rank test 등을 실시하여 정답배열이 고르게 분포되었는지 확인하였다.
2017학년도 대학수학능력시험의 영역별 정답배열에 대하여 무엇을 실시하여 정답배열이 고르게 분포되었는지 확인했는가?
이는 정답배열이 특정 번호에 편중되어 있으면 정답을 모를 때 중앙 또는 외곽 번호에 응답경향이 있는 수험생이 추측으로 문항의 답을 맞힐 수 있으므로 시험점수가 학생의 능력을 제대로 반영하지 못하는 결과를 초래할 수 있기 때문이다. 본 논문에서는 2017학년도 대학수학능력시험의 영역별 정답배열에 대하여 Bartels rank test, Wald-Wolfowitz runs test, turning point test, Cox Stuart trend test, difference sign test, Mann-Kendall rank test 등을 실시하여 정답배열이 고르게 분포되었는지 확인하였다. 또한 정답 번호와 배점 사이에 독립성이 지켜지지 않을 경우에도 특정 번호를 정답으로 선호하는 경향을 가진 수험생의 점수는 학생의 능력을 제대로 반영하지 못할 수 있기 때문에 정답의 위치와 배점 사이의 독립성 검정을 추가로 실시하였다.
참고문헌 (13)
Attali, Y. and Bar-Hillel M. (2003). Guess where: The position of correct answers in multiple-choice test items as a psychometric variable, Journal of Educational Measurement, 40, 109-128.
Bar-Hillel, M. and Attali, Y. (2002). Seek whence: answer sequences and their consequences in key-balanced multiple-choice tests, The American Statistician, 56, 299-303.
Brockwell, P. J. and Davis, R. A. (2002). Introduction to Time Series and Forecasting (2nd ed.), Springer, New York.
Burton, S. J. (1991). How to prepare better multiple-choice test items: Guidelines for university faculty, Brigham Young University Testing Services and The Department of Instructional Science.
Cox, D. R. and Stuart, A. (1955). Some quick sign test for trend in location and dispersion, Biometrika, 42, 80-95.
Han, Y. S. and Kim, M. S. (2014). A study on the item characteristics differences of response position, response length, and question types of multiple-choice aptitude tests, Journal of the Korea Academia-Cooperation Society, 15, 3609-3615.
Kendall, M. (1990). Rank Correlation Methods (5th ed.), Oxford University Press, Oxford.
Kim, Y. M. (2016). Examinees are just completely blown because of '4444544'... correct answer relay during Korean language area test in College Scholastic Ability Test, JoongAng Daily, from: http://news.joins.com/article/20889947.
Mann, H. B. (1945). Nonparametric test against trend, Econometrica, 13, 245-259.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.