세계 주요 선진국에서는 국가 경쟁력 제고를 위하여 국가 수준에서 교육의 질을 체계적으로 관리하고 학교 교육 책무성을 강화하기 위한 정책의 일환으로 국가수준 학업성취도 평가 체제를 개발하여 주기적으로 실시하고 있다. 우리나라에서도 국가 수준에서 학교 교육의 질을 점검하고 개선하기 위하여 교육의 성과를 체계적으로 평가하려는 노력이 이루어지고 있으며, 학생들의 성취도 변화 추이를 파악하여 국가 경쟁력 제고를 위한 교육의 방향을 설정하고 구체적이고 실효성 있는 정책을 개발하는 기본적 준거를 제공하고자 시행되고 있다(정은영, 최인봉, 김희경, 김소영, 유진은, 2009).
국가수준 학업성취도 평가와 관련한 기존의 연구들은 대부분 고전검사이론이나 ...
세계 주요 선진국에서는 국가 경쟁력 제고를 위하여 국가 수준에서 교육의 질을 체계적으로 관리하고 학교 교육 책무성을 강화하기 위한 정책의 일환으로 국가수준 학업성취도 평가 체제를 개발하여 주기적으로 실시하고 있다. 우리나라에서도 국가 수준에서 학교 교육의 질을 점검하고 개선하기 위하여 교육의 성과를 체계적으로 평가하려는 노력이 이루어지고 있으며, 학생들의 성취도 변화 추이를 파악하여 국가 경쟁력 제고를 위한 교육의 방향을 설정하고 구체적이고 실효성 있는 정책을 개발하는 기본적 준거를 제공하고자 시행되고 있다(정은영, 최인봉, 김희경, 김소영, 유진은, 2009).
국가수준 학업성취도 평가와 관련한 기존의 연구들은 대부분 고전검사이론이나 문항반응이론을 적용하여 결과를 분석하고 있다. 이 이론들로 평가 결과를 분석하면 학생들의 전반적인 성취수준에 대한 정보를 제공해줄 수 있지만 학생의 구조적인 인지 상태에 관한 정보는 제공해주지 못한다. 그러나 인지진단이론은 학생들이 습득해야할 인지요소별 도달 정도를 추정하여 인지구조에 대한 진단을 가능하게 한다. 개별 학생의 인지구조를 파악하는 일은 교육평가 본연의 목적을 달성하기 위해 중요한 부분이며, 이러한 인지진단 결과는 학생들의 인지과정에서 강점과 약점을 진단하여 학생들의 수행능력을 설명할 수 있고, 학생들의 학습에 대한 구체적인 정보를 파악하여 적절한 교수-학습을 구성하는데 도움을 줄 수 있다.
이와 같은 맥락에서 본 연구의 목적은 실제 학업성취도 평가 상황에 인지진단모형을 적용하여 그 결과를 분석함으로써, 기존 검사이론에서 제공하는 능력추정치보다 상세한 인지구조에 대한 정보를 제공하는데 있다. 이를 위해 학생들의 인지상태를 진단하기 위한 새로운 측정이론인 인지진단이론 및 인지진단모형을 소개하고, 인지진단모형 중 하나인 DINA 모형을 활용하여 국가수준 학업성취도 평가 초등학교 6학년 수학 검사 자료를 분석하고자 한다.
본 연구에서 분석한 자료는 국가수준 학업성취도 평가 초등학교 6학년 수학 검사로 한국교육과정평가원에서 개발한 검사이다. 분석에 사용한 자료는 2008년에 시행된 국가수준 학업성취도 평가 초등학교 6학년 수학 A형 검사를 치른 학생들 중 5%를 단순무선표집한 946명의 선다형 문항 응답 자료이다.
인지진단모형 중 하나인 DINA 모형으로 분석하기 위해 초등학교 교사 2인, 수학 교과 전문가 1인, 연구자가 함께 검사 도구의 선다형 문항을 분석하고 인지요소를 추출하여 Q-행렬을 개발하였다. 개발한 Q-행렬과 분석 자료를 DINA 모형으로 분석하기 위해 Ox 프로그램을 사용하였고, 분석 대상 전체 학생들에 대한 분석과 더불어 성별, 성취수준별 분석을 시행하였다. 이를 통해 추정된 결과인 문항모수의 특성을 비교해보고, 집단별 인지상태를 진단하였다.
이상의 절차를 거쳐 도출된 본 연구의 결과는 다음과 같다.
첫 번째, 분석 대상 전체, 성별, 성취수준별로 구분하여 부주의 모수, 추측 모수, 변별도 모수를 살펴보았다. 분석 대상 전체, 성별, 성취수준별 학생들의 문항 모수 추정 결과를 살펴보면 Q-행렬에서 정의한 인지요소를 숙달하였지만 실수하여 그 문항을 틀릴 확률이 높은 문항들과 Q-행렬에서 정의한 인지요소를 숙달하지 못하였지만 추측하여 그 문항을 맞출 확률이 높은 문항들과 부주의와 추측 효과를 배제하였을 때 피험자가 해당 문항을 맞출 확률이 높은 문항과 낮은 문항들이 발견되었다. 그리고 분석 대상 전체, 성별, 성취수준별에 따라 문항 모수치가 상이하게 추정되었음을 볼 때, 문항의 부주의, 추측, 변별도 정도가 학생들의 집단에 따라 다르게 작용함을 알 수 있었다.
두 번째, 수학적 인지요소 숙달 정도를 파악하기 위해 인지요소 숙달 비율을 살펴보았다. 인지요소 숙달 비율은 분석 대상 전체, 성별, 성취수준별 학생들이 해당 인지요소에 숙달한 비율의 평균으로 산출하였다. 이 결과를 통해 분석 대상 전체, 성별, 성취수준별 학생들이 어떤 인지요소를 많이 숙달하고 있는지, 성별과 성취수준별에 따라 인지요소 숙달 비율에 유의한 차이가 있는지를 알아볼 수 있었다.
세 번째, 수학적 인지요소 숙달 정도에서 숙달한 인지요소 수의 비율을 살펴보았다. 숙달한 인지요소 수를 산출하기 위해 인지요소를 숙달함과 숙달하지 못함을 구분하는 기준을 0.5로 정하여 구분하였다. 이 결과를 통해 분석 대상 전체, 성별, 성취수준별 학생들이 가장 많이 숙달하고 있는 인지요소의 수는 몇 개인지, 성별과 성취수준별에 따라 숙달한 인지요소의 수에 차이가 있는지를 알아볼 수 있었다.
네 번째, 수학적 인지요소 숙달 정도에서 숙달한 인지요소 수에 따른 유형을 살펴보았다. 숙달한 인지요소 수에 따른 유형 또한 인지요소를 숙달함과 숙달하지 못함을 구분하는 기준을 0.5로 정하고 분석하였다. 이 결과를 통해 학생들이 숙달한 인지요소 수가 같아도 어떤 인지요소를 숙달하였는지에 따라서 학생들의 인지상태는 다르게 형성될 수 있음을 확인할 수 있었다.
다섯 번째, 학생 개개인이 습득한 인지요소패턴으로 수학적 인지요소 숙달 정보를 제공할 수 있는 프로파일을 작성하였다. 이 프로파일을 통해 기존의 평가 결과에서 보고하던 종합적인 점수 이외에 인지요소 프로파일을 제시하여 검사에서 평가하고 있는 인지요소별 숙달 여부를 보고할 수 있었고, 학생들이 맞춘 문항 수가 같아서 동일한 점수를 받았다고 하더라도 학생들마다 맞춘 문항이 다르고 문항을 맞추기 위해 요구되는 인지요소가 다르기 때문에 학생들의 인지상태가 다르게 추정되어 프로파일이 다르다는 것을 확인할 수 있었다.
이와 같이 Q-행렬을 개발하여 인지진단모형으로 분석을 실시하였을 때 검사 문항 모수뿐만 아니라 학생들이 수학적 인지요소를 숙달할 확률은 어느 정도인지, 어떤 수학적 인지요소를 숙달하고 있는지, 학생들의 인지상태는 얼마나 다르게 형성되는지, 프로파일을 통해 제공해줄 수 있는 정보가 무엇인지를 살펴볼 수 있었다. 평가 결과에 인지진단모형을 적용하고 분석하여 그 정보를 활용한다면 보다 효율적인 교수-학습을 가능하게 하여 학생, 교사, 학교 및 교육 당국에 실질적으로 기여할 수 있을 것이다. 그러므로 향후에도 인지진단모형을 적용한 평가 결과 분석이 지속적으로 이루어져야 한다.
본 연구 결과를 토대로 인지진단모형을 적용한 결과 분석이 지속적으로 이루어지기 위해서는 국가수준 학업성취도 평가 결과를 초등학교 이외에 중학교와 고등학교, 수학 평가 이외에 다른 교과목, 선다형 문항 이외에 구성형 문항으로 확대하여 인지진단모형을 적용하는 연구가 수행되어야 한다. 또한 인지진단모형으로 분석한 학생들의 평가 결과가 학교 현장에서 활용되고 지속적으로 이루어지기 위해서는 인지진단모형을 프로그램화한 소프트웨어가 널리 보급되어야 한다. 더 나아가 인지진단모형으로 분석한 프로파일 결과를 교수-학습에 직접적으로 활용하기 위한 연구도 수행되어야 한다.
세계 주요 선진국에서는 국가 경쟁력 제고를 위하여 국가 수준에서 교육의 질을 체계적으로 관리하고 학교 교육 책무성을 강화하기 위한 정책의 일환으로 국가수준 학업성취도 평가 체제를 개발하여 주기적으로 실시하고 있다. 우리나라에서도 국가 수준에서 학교 교육의 질을 점검하고 개선하기 위하여 교육의 성과를 체계적으로 평가하려는 노력이 이루어지고 있으며, 학생들의 성취도 변화 추이를 파악하여 국가 경쟁력 제고를 위한 교육의 방향을 설정하고 구체적이고 실효성 있는 정책을 개발하는 기본적 준거를 제공하고자 시행되고 있다(정은영, 최인봉, 김희경, 김소영, 유진은, 2009).
국가수준 학업성취도 평가와 관련한 기존의 연구들은 대부분 고전검사이론이나 문항반응이론을 적용하여 결과를 분석하고 있다. 이 이론들로 평가 결과를 분석하면 학생들의 전반적인 성취수준에 대한 정보를 제공해줄 수 있지만 학생의 구조적인 인지 상태에 관한 정보는 제공해주지 못한다. 그러나 인지진단이론은 학생들이 습득해야할 인지요소별 도달 정도를 추정하여 인지구조에 대한 진단을 가능하게 한다. 개별 학생의 인지구조를 파악하는 일은 교육평가 본연의 목적을 달성하기 위해 중요한 부분이며, 이러한 인지진단 결과는 학생들의 인지과정에서 강점과 약점을 진단하여 학생들의 수행능력을 설명할 수 있고, 학생들의 학습에 대한 구체적인 정보를 파악하여 적절한 교수-학습을 구성하는데 도움을 줄 수 있다.
이와 같은 맥락에서 본 연구의 목적은 실제 학업성취도 평가 상황에 인지진단모형을 적용하여 그 결과를 분석함으로써, 기존 검사이론에서 제공하는 능력추정치보다 상세한 인지구조에 대한 정보를 제공하는데 있다. 이를 위해 학생들의 인지상태를 진단하기 위한 새로운 측정이론인 인지진단이론 및 인지진단모형을 소개하고, 인지진단모형 중 하나인 DINA 모형을 활용하여 국가수준 학업성취도 평가 초등학교 6학년 수학 검사 자료를 분석하고자 한다.
본 연구에서 분석한 자료는 국가수준 학업성취도 평가 초등학교 6학년 수학 검사로 한국교육과정평가원에서 개발한 검사이다. 분석에 사용한 자료는 2008년에 시행된 국가수준 학업성취도 평가 초등학교 6학년 수학 A형 검사를 치른 학생들 중 5%를 단순무선표집한 946명의 선다형 문항 응답 자료이다.
인지진단모형 중 하나인 DINA 모형으로 분석하기 위해 초등학교 교사 2인, 수학 교과 전문가 1인, 연구자가 함께 검사 도구의 선다형 문항을 분석하고 인지요소를 추출하여 Q-행렬을 개발하였다. 개발한 Q-행렬과 분석 자료를 DINA 모형으로 분석하기 위해 Ox 프로그램을 사용하였고, 분석 대상 전체 학생들에 대한 분석과 더불어 성별, 성취수준별 분석을 시행하였다. 이를 통해 추정된 결과인 문항모수의 특성을 비교해보고, 집단별 인지상태를 진단하였다.
이상의 절차를 거쳐 도출된 본 연구의 결과는 다음과 같다.
첫 번째, 분석 대상 전체, 성별, 성취수준별로 구분하여 부주의 모수, 추측 모수, 변별도 모수를 살펴보았다. 분석 대상 전체, 성별, 성취수준별 학생들의 문항 모수 추정 결과를 살펴보면 Q-행렬에서 정의한 인지요소를 숙달하였지만 실수하여 그 문항을 틀릴 확률이 높은 문항들과 Q-행렬에서 정의한 인지요소를 숙달하지 못하였지만 추측하여 그 문항을 맞출 확률이 높은 문항들과 부주의와 추측 효과를 배제하였을 때 피험자가 해당 문항을 맞출 확률이 높은 문항과 낮은 문항들이 발견되었다. 그리고 분석 대상 전체, 성별, 성취수준별에 따라 문항 모수치가 상이하게 추정되었음을 볼 때, 문항의 부주의, 추측, 변별도 정도가 학생들의 집단에 따라 다르게 작용함을 알 수 있었다.
두 번째, 수학적 인지요소 숙달 정도를 파악하기 위해 인지요소 숙달 비율을 살펴보았다. 인지요소 숙달 비율은 분석 대상 전체, 성별, 성취수준별 학생들이 해당 인지요소에 숙달한 비율의 평균으로 산출하였다. 이 결과를 통해 분석 대상 전체, 성별, 성취수준별 학생들이 어떤 인지요소를 많이 숙달하고 있는지, 성별과 성취수준별에 따라 인지요소 숙달 비율에 유의한 차이가 있는지를 알아볼 수 있었다.
세 번째, 수학적 인지요소 숙달 정도에서 숙달한 인지요소 수의 비율을 살펴보았다. 숙달한 인지요소 수를 산출하기 위해 인지요소를 숙달함과 숙달하지 못함을 구분하는 기준을 0.5로 정하여 구분하였다. 이 결과를 통해 분석 대상 전체, 성별, 성취수준별 학생들이 가장 많이 숙달하고 있는 인지요소의 수는 몇 개인지, 성별과 성취수준별에 따라 숙달한 인지요소의 수에 차이가 있는지를 알아볼 수 있었다.
네 번째, 수학적 인지요소 숙달 정도에서 숙달한 인지요소 수에 따른 유형을 살펴보았다. 숙달한 인지요소 수에 따른 유형 또한 인지요소를 숙달함과 숙달하지 못함을 구분하는 기준을 0.5로 정하고 분석하였다. 이 결과를 통해 학생들이 숙달한 인지요소 수가 같아도 어떤 인지요소를 숙달하였는지에 따라서 학생들의 인지상태는 다르게 형성될 수 있음을 확인할 수 있었다.
다섯 번째, 학생 개개인이 습득한 인지요소패턴으로 수학적 인지요소 숙달 정보를 제공할 수 있는 프로파일을 작성하였다. 이 프로파일을 통해 기존의 평가 결과에서 보고하던 종합적인 점수 이외에 인지요소 프로파일을 제시하여 검사에서 평가하고 있는 인지요소별 숙달 여부를 보고할 수 있었고, 학생들이 맞춘 문항 수가 같아서 동일한 점수를 받았다고 하더라도 학생들마다 맞춘 문항이 다르고 문항을 맞추기 위해 요구되는 인지요소가 다르기 때문에 학생들의 인지상태가 다르게 추정되어 프로파일이 다르다는 것을 확인할 수 있었다.
이와 같이 Q-행렬을 개발하여 인지진단모형으로 분석을 실시하였을 때 검사 문항 모수뿐만 아니라 학생들이 수학적 인지요소를 숙달할 확률은 어느 정도인지, 어떤 수학적 인지요소를 숙달하고 있는지, 학생들의 인지상태는 얼마나 다르게 형성되는지, 프로파일을 통해 제공해줄 수 있는 정보가 무엇인지를 살펴볼 수 있었다. 평가 결과에 인지진단모형을 적용하고 분석하여 그 정보를 활용한다면 보다 효율적인 교수-학습을 가능하게 하여 학생, 교사, 학교 및 교육 당국에 실질적으로 기여할 수 있을 것이다. 그러므로 향후에도 인지진단모형을 적용한 평가 결과 분석이 지속적으로 이루어져야 한다.
본 연구 결과를 토대로 인지진단모형을 적용한 결과 분석이 지속적으로 이루어지기 위해서는 국가수준 학업성취도 평가 결과를 초등학교 이외에 중학교와 고등학교, 수학 평가 이외에 다른 교과목, 선다형 문항 이외에 구성형 문항으로 확대하여 인지진단모형을 적용하는 연구가 수행되어야 한다. 또한 인지진단모형으로 분석한 학생들의 평가 결과가 학교 현장에서 활용되고 지속적으로 이루어지기 위해서는 인지진단모형을 프로그램화한 소프트웨어가 널리 보급되어야 한다. 더 나아가 인지진단모형으로 분석한 프로파일 결과를 교수-학습에 직접적으로 활용하기 위한 연구도 수행되어야 한다.
Most advanced nations in the world systematically manage the quality of education at the government level in order to enhance national competitiveness, develop and implement National Assessment of Educational Achievement(NAEA) system as a policy to strengthen school education responsibility. For the...
Most advanced nations in the world systematically manage the quality of education at the government level in order to enhance national competitiveness, develop and implement National Assessment of Educational Achievement(NAEA) system as a policy to strengthen school education responsibility. For the aforementioned reasons, NAEA system is also being implemented in Korea at the government level as well to examine the quality of education and its achievement via more systemized methods, to direct a best educational course for national competitiveness enhancement, and to set concrete and practical policies.
Previous studies about NAEA conducted analysis based on Classical Test Theory(CTT) and Item Response Theory(IRT) in most cases. When evaluation results are analyzed based on these theories, it is possible to provide relative information on students’ overall achievement level, but it does not provide information on each students’ structural cognitive status. However, Cognitive Diagnosis Theory(CDT) not only accurately diagnose attributes that students acquired, but also accurately assume students’ learning development and progress. Examining internal structure of students is one of purposes of educational evaluation, and the cognitive diagnosis results find strong and weak points of students in cognitive progress, explain students’ performance and help making proper educational courses by identifying concrete information on students’ learning.
Therefore, the purpose of this study is to introduce CDT and Cognitive Diagnosis Model(CDM) which are new measuring theories for diagnosing students’ cognitive status, and to offer a new method for analyzing mathematics data of 6th graders of NAEA elementary school students by utilizing DINA model, one of CDM.
This study analyzed data from mathematics data of 6th graders of NAEA elementary school students developed by Korea Institute for Curriculumand Evaluation(KICE). The data used in the analysis are multiple-choice item responses of 946 students who were randomly sampled as 5% out of the students who took A-type test of 6th graders of NAEA elementary school conducted in 2008.
To conduct the analysis through DINA Model, two elementary school teachers, one educational expert in mathematics and a researcher cooperated to analyze multiple choice items of the test tool, extracted attributes and developed Q-Matrix. After applying the developed Q-Matrix to DINA Model, Ox program was used to assume item parameter of DINA Model by the entire subjects of analysis, sex, and achievement level.
The results are as follows.
First, slip parameter, guess parameter, and discrimination parameters were accordingly analyzed by entire target, gender of the targets, and the level of achievements of the targets. According to the estimate of the results of item parameters, items that are highly possible to be mistakenly missed by the targets although the targets have mastered the attributions defined by the Q-Matrix, items that are highly possible to be guessed correctly although the targets have not mastered the attributions defined by the Q-Matrix, and the items that are both highly possible to be guessed either correctly or incorrectly when the slip-guess effect was excluded were discovered. Additionally, different estimate of item parametric statistics was measured according to the level of entire target, gender of the targets and the level of achievements of the targets indicated that item slip, guess, discrimination degree are dependent on the category of the targets.
Secondly, attribute mastery ratio was to be calculated to apprehend the mastery degree of mathematical attributes. The ratio was the average of the mastery ratio of relevant attributes in each category of entire target, the gender of the targets, and the level of achievements of the targets. The results reflected the possible attentive difference among each categories of entire target, the gender of the targets, and the level of achievements of the targets regarding mastery degree of mathematical attributes.
Third, the number of attributes mastered in mastery degree of mathematical attributes was focused on. The criterion set to distinguish and analyze the mastery and non-mastery level was 0.5. The results found how many attributes that the targets particularly mastered in each category of entire target, the gender of the targets, and looked for if there is attentive difference among the numbers of each category.
Fourth, the types that are dependent on the number of mastered attributes of the mastery degree of mathematical attributes were examined. The criterion number of 0.5 was also set to distinguish and analyze the mastery and non-mastery level. And the results confirmed that each students’ level of cognitive attribution is more dependent on which category they peculiarly developed their attributions even though the number of attributes they mastered are identical.
Lastly, profiles that can provide information of the targets’ mastery of mathematical attribution were made after the examination, according to the patterns of attributions each individual targets achieved. The profiles created provided not only the overall score that the previous studies reported, but also the possibility of mastery of each attributes which are to be examined on this study by suggesting the profiles of attributes.
As these findings show, when Q-Matrix is developed and analysis is conducted through CDM, not only test item parameters, but also whether how much students mastered mathematical attributes, which attributes are mastered, how differently students’ cognitive status are formed, and what information could be offered through profiles were examined. Analysis and application of CDM to the information derived from the results of the examination will make a practical contribution to the authorities of the education that includes the body of students, teachers, and educational institutions, capacitating the efficient teaching-learning system. Accordingly, continuous analysis of the evaluation via application of CDM is in need.
For continuous analysis of evaluation results through application of CDM based on this study’s results, there is a need for a study which expands the NAEA results into not only elementary school, but also middle and high schools; not only mathematical evaluation, but also other subjects; and not only multiple-choice item, but also constructed-response item, and conducts analysis through CDM. Moreover, programmed CDM software should be popularized in order to continue the application of CDM analyzed student test results at the site of school. And there is also a need for a study which offers profile results analyzed through CDM to students, utilizing the results for teaching and learning.
Most advanced nations in the world systematically manage the quality of education at the government level in order to enhance national competitiveness, develop and implement National Assessment of Educational Achievement(NAEA) system as a policy to strengthen school education responsibility. For the aforementioned reasons, NAEA system is also being implemented in Korea at the government level as well to examine the quality of education and its achievement via more systemized methods, to direct a best educational course for national competitiveness enhancement, and to set concrete and practical policies.
Previous studies about NAEA conducted analysis based on Classical Test Theory(CTT) and Item Response Theory(IRT) in most cases. When evaluation results are analyzed based on these theories, it is possible to provide relative information on students’ overall achievement level, but it does not provide information on each students’ structural cognitive status. However, Cognitive Diagnosis Theory(CDT) not only accurately diagnose attributes that students acquired, but also accurately assume students’ learning development and progress. Examining internal structure of students is one of purposes of educational evaluation, and the cognitive diagnosis results find strong and weak points of students in cognitive progress, explain students’ performance and help making proper educational courses by identifying concrete information on students’ learning.
Therefore, the purpose of this study is to introduce CDT and Cognitive Diagnosis Model(CDM) which are new measuring theories for diagnosing students’ cognitive status, and to offer a new method for analyzing mathematics data of 6th graders of NAEA elementary school students by utilizing DINA model, one of CDM.
This study analyzed data from mathematics data of 6th graders of NAEA elementary school students developed by Korea Institute for Curriculumand Evaluation(KICE). The data used in the analysis are multiple-choice item responses of 946 students who were randomly sampled as 5% out of the students who took A-type test of 6th graders of NAEA elementary school conducted in 2008.
To conduct the analysis through DINA Model, two elementary school teachers, one educational expert in mathematics and a researcher cooperated to analyze multiple choice items of the test tool, extracted attributes and developed Q-Matrix. After applying the developed Q-Matrix to DINA Model, Ox program was used to assume item parameter of DINA Model by the entire subjects of analysis, sex, and achievement level.
The results are as follows.
First, slip parameter, guess parameter, and discrimination parameters were accordingly analyzed by entire target, gender of the targets, and the level of achievements of the targets. According to the estimate of the results of item parameters, items that are highly possible to be mistakenly missed by the targets although the targets have mastered the attributions defined by the Q-Matrix, items that are highly possible to be guessed correctly although the targets have not mastered the attributions defined by the Q-Matrix, and the items that are both highly possible to be guessed either correctly or incorrectly when the slip-guess effect was excluded were discovered. Additionally, different estimate of item parametric statistics was measured according to the level of entire target, gender of the targets and the level of achievements of the targets indicated that item slip, guess, discrimination degree are dependent on the category of the targets.
Secondly, attribute mastery ratio was to be calculated to apprehend the mastery degree of mathematical attributes. The ratio was the average of the mastery ratio of relevant attributes in each category of entire target, the gender of the targets, and the level of achievements of the targets. The results reflected the possible attentive difference among each categories of entire target, the gender of the targets, and the level of achievements of the targets regarding mastery degree of mathematical attributes.
Third, the number of attributes mastered in mastery degree of mathematical attributes was focused on. The criterion set to distinguish and analyze the mastery and non-mastery level was 0.5. The results found how many attributes that the targets particularly mastered in each category of entire target, the gender of the targets, and looked for if there is attentive difference among the numbers of each category.
Fourth, the types that are dependent on the number of mastered attributes of the mastery degree of mathematical attributes were examined. The criterion number of 0.5 was also set to distinguish and analyze the mastery and non-mastery level. And the results confirmed that each students’ level of cognitive attribution is more dependent on which category they peculiarly developed their attributions even though the number of attributes they mastered are identical.
Lastly, profiles that can provide information of the targets’ mastery of mathematical attribution were made after the examination, according to the patterns of attributions each individual targets achieved. The profiles created provided not only the overall score that the previous studies reported, but also the possibility of mastery of each attributes which are to be examined on this study by suggesting the profiles of attributes.
As these findings show, when Q-Matrix is developed and analysis is conducted through CDM, not only test item parameters, but also whether how much students mastered mathematical attributes, which attributes are mastered, how differently students’ cognitive status are formed, and what information could be offered through profiles were examined. Analysis and application of CDM to the information derived from the results of the examination will make a practical contribution to the authorities of the education that includes the body of students, teachers, and educational institutions, capacitating the efficient teaching-learning system. Accordingly, continuous analysis of the evaluation via application of CDM is in need.
For continuous analysis of evaluation results through application of CDM based on this study’s results, there is a need for a study which expands the NAEA results into not only elementary school, but also middle and high schools; not only mathematical evaluation, but also other subjects; and not only multiple-choice item, but also constructed-response item, and conducts analysis through CDM. Moreover, programmed CDM software should be popularized in order to continue the application of CDM analyzed student test results at the site of school. And there is also a need for a study which offers profile results analyzed through CDM to students, utilizing the results for teaching and learning.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.