현재 국가수준 학업성취도 평가의 경우 고등학교 2학년 국어, 수학, 영어 과목에서 학생들이 작성한 서답형 답안을 채점하는 데에 약 4,000명의 인력과 14억 원의 비용이 발생하는 등, 대규모 평가의 서답형 문항 채점에 막대한 자원을 소모하고 있다. 이에 컴퓨터 공학의 다양한 기법들을 활용하여 서답형 문항을 자동 채점하려는 연구가 꾸준히 진행되고 있다.
본 논문은 자동 채점 문제를 기계 학습의 관점에서 접근하였다. 지도학습과 ...
현재 국가수준 학업성취도 평가의 경우 고등학교 2학년 국어, 수학, 영어 과목에서 학생들이 작성한 서답형 답안을 채점하는 데에 약 4,000명의 인력과 14억 원의 비용이 발생하는 등, 대규모 평가의 서답형 문항 채점에 막대한 자원을 소모하고 있다. 이에 컴퓨터 공학의 다양한 기법들을 활용하여 서답형 문항을 자동 채점하려는 연구가 꾸준히 진행되고 있다.
본 논문은 자동 채점 문제를 기계 학습의 관점에서 접근하였다. 지도학습과 준 지도학습 기법을 이용, 문항에 대한 채점 정보를 채점 시스템이 학습하도록 하여 채점을 자동으로 수행하는 시스템을 소개한다. 지도학습 시스템은 문항별 채점 기준표를 시스템이 인식할 수 있는 형태로 기술하고 이를 이용하여 채점을 수행한 다음 시스템이 채점하지 못한 나머지 답안들을 클러스터링하여 수작업 채점한다. 준 지도학습 시스템은 채점자가 채점한 초기 학습 데이터를 이용하여 시스템 안의 학습 모델을 학습시킨 다음 채점과 학습 모델 갱신을 반복하며 자동 채점을 수행한다.
지도학습, 준 지도학습 자동 채점 시스템의 성능을 평가하기 위해 채점 실험을 수행하였다. 2014년도 학업성취도 평가 사회 과목의 14개 문항에 각 7442개의 학생 답안을 대상으로 지도학습 시스템을 실험 및 평가하였으며, 14개 문항 중 문장 수준의 답안을 요구하는 2개 문항에 대하여 준 지도학습 시스템의 성능을 실험 및 평가하였다.
현재 국가수준 학업성취도 평가의 경우 고등학교 2학년 국어, 수학, 영어 과목에서 학생들이 작성한 서답형 답안을 채점하는 데에 약 4,000명의 인력과 14억 원의 비용이 발생하는 등, 대규모 평가의 서답형 문항 채점에 막대한 자원을 소모하고 있다. 이에 컴퓨터 공학의 다양한 기법들을 활용하여 서답형 문항을 자동 채점하려는 연구가 꾸준히 진행되고 있다.
본 논문은 자동 채점 문제를 기계 학습의 관점에서 접근하였다. 지도학습과 준 지도학습 기법을 이용, 문항에 대한 채점 정보를 채점 시스템이 학습하도록 하여 채점을 자동으로 수행하는 시스템을 소개한다. 지도학습 시스템은 문항별 채점 기준표를 시스템이 인식할 수 있는 형태로 기술하고 이를 이용하여 채점을 수행한 다음 시스템이 채점하지 못한 나머지 답안들을 클러스터링하여 수작업 채점한다. 준 지도학습 시스템은 채점자가 채점한 초기 학습 데이터를 이용하여 시스템 안의 학습 모델을 학습시킨 다음 채점과 학습 모델 갱신을 반복하며 자동 채점을 수행한다.
지도학습, 준 지도학습 자동 채점 시스템의 성능을 평가하기 위해 채점 실험을 수행하였다. 2014년도 학업성취도 평가 사회 과목의 14개 문항에 각 7442개의 학생 답안을 대상으로 지도학습 시스템을 실험 및 평가하였으며, 14개 문항 중 문장 수준의 답안을 요구하는 2개 문항에 대하여 준 지도학습 시스템의 성능을 실험 및 평가하였다.
Korea Institute for Curriculum and Evaluation, which supervises National Assessment of Educational Achievement spends a lot of resources that includes time, human and finance for the scoring short answers that is written by students. There are already many ongoing researches which try to resolve the...
Korea Institute for Curriculum and Evaluation, which supervises National Assessment of Educational Achievement spends a lot of resources that includes time, human and finance for the scoring short answers that is written by students. There are already many ongoing researches which try to resolve the scoring problem with various techniques of computer science.
In this paper, I approached the scoring problem as standpoint of machine learning. This paper introduces the automatic scoring system which learns information that are needed for the scoring, by using supervised and semi-supervised learning. For the supervised scoring system, I designed the file structure which is capable of storing the information that is needed for the scoring of the specific question. The system learns the information then scores the answers which is written by students. The answers that are not scored by the system are clustered and scored manually. Semi-supervised scoring system uses initial training data that are manually-scored by human-raters for the learning. After the initial training, the system repeats scoring-updating learning model process.
To evaluate the performance of the scoring systems, scoring experiments were performed. Student answers of 14 social study questions in NAEA ’14 were used for the experiment. I used student answers of 14 questions for the evaluation of supervised scoring system, and two questions that requires sentence level answer for the evaluation of semi-supervised scoring system.
Korea Institute for Curriculum and Evaluation, which supervises National Assessment of Educational Achievement spends a lot of resources that includes time, human and finance for the scoring short answers that is written by students. There are already many ongoing researches which try to resolve the scoring problem with various techniques of computer science.
In this paper, I approached the scoring problem as standpoint of machine learning. This paper introduces the automatic scoring system which learns information that are needed for the scoring, by using supervised and semi-supervised learning. For the supervised scoring system, I designed the file structure which is capable of storing the information that is needed for the scoring of the specific question. The system learns the information then scores the answers which is written by students. The answers that are not scored by the system are clustered and scored manually. Semi-supervised scoring system uses initial training data that are manually-scored by human-raters for the learning. After the initial training, the system repeats scoring-updating learning model process.
To evaluate the performance of the scoring systems, scoring experiments were performed. Student answers of 14 social study questions in NAEA ’14 were used for the experiment. I used student answers of 14 questions for the evaluation of supervised scoring system, and two questions that requires sentence level answer for the evaluation of semi-supervised scoring system.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.