[논문]한국어 서답형 문항 자동채점 시스템의 성능 개선

천민아; 김창현; 김재훈; 노은희; 성경희; 송미영; 박종임; 김유향

한국어 서답형 문항 자동채점 시스템의 성능 개선
Performance Comparison of Automated Scoring System for Korean Short-Answer Questions 원문보기

한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회, 2016 Oct. 07, 2016년, pp.181 - 185

천민아 (한국해양대학교, 컴퓨터공학과) , 김창현 (한국전자통신연구원) , 김재훈 (한국해양대학교, 컴퓨터공학과) , 노은희 (한국교육과정평가원) , 성경희 (한국교육과정평가원) , 송미영 (한국교육과정평가원) , 박종임 (한국교육과정평가원) , 김유향 (한국교육과정평가원)

초록
AI-Helper

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2014년도에 개발된 프로토타입을 개선한 한국어 서답형 자동채점 시스템을 간략하게 소개하고 2014년도에 개발된 자동채점 시스템의 성능과 보완된 자동채점 시스템의 성능을 비교 분석하였다. 2015 자동채점 시스템은 ‘언어 처리 단계’에서 여러 문장으로 구성된 답안에서 문장들을 분리하는 기능을 추가하였으며, 부정표현을 인식하는 기능도 추가하였다.
본 논문에서는 2014년에 개발한 ‘한국어 문장 수준 서답형 문항 자동 채점 시스템[11-15]’의 결과를 바탕으로 성능을 개선한 시스템의 결과를 비교 분석한 결과를 제시한다.

제안 방법

‘채점 단계’에서는 기존의 Logistic Regression 분류기와 k-Nearest Neighborhood 분류기를 결합한 방식에서 채점 결과의 안정성과 신뢰성을 높이기 위하여 k-Nearest Neighborhood 분류기 대신 안정적인 채점 결과를 내는 Nearest Centroid 분류기를 사용하였으며, AdaBoosting 분류기를 추가하였다.
채점 단계는 Logistic Regression과 k-Nearest Neighborhood 알고리즘[16]을 이용하여 구현하였으며, 크게 다섯 단계로 구성되어 있다. 1) 초기 채점 단계로서 언어 처리 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 해당 유형에 속한 답안의 빈도순으로 정렬한다. 그 뒤, 인간채점자가 고빈도 학생 답안을 수동으로 채점한다.
그 뒤, 인간채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질을 추출하고, 선택한 자질의 가중치를 학습한다. 3) 미채점 답안의 군집화로 학습된 결과를 바탕으로 미채점 답안을 군집화하여 분류한다.
그러나 이 척도들은 자동채점 시스템의 경우, 기계학습을 위한 ‘초기 학습용 답안’의 생성, 자동채점의 반복 수행 후에 채점 결과가 산출되지 않은 미판단 답안의 ‘수작업 채점’에는 채점자의 판단을 필요로 하기 때문에 자동채점 시스템의 성능평가에 그대로 적용하기에는 적절하지 않다. 따라서 본 논문에서는 표 2와 같이 채점 답안을 분류하여 본래 의미를 최대한 유지하는 방향으로 정확률과 재현율을 계산한다. 표 2의 각 항목의 의미는 아래와 같다[12].
k-Nearest Neighborhood 분류기의 경우 문항에 따른 채점 결과의 편차가 심해서 그와 유사하지만 안정적인 성능을 보이는 Nearest Centroid로 변경했다[12]. 또한 자동채점의 신뢰성을 더 높이기 위해 AdaBoosting 분류기를 추가하여 세 가지의 분류기의 결과가 일치하고, 분류 확률이 해당 단계의 임계값(threshold)보다 높은 결과만 자동채점의 결과로 확정하여 채점자에게 보이도록 알고리즘을 보완했다.
또한, 2014 자동채점 시스템은 단문장 답안에 초점을 맞춰 설계되었으나 2015 자동채점시스템은 다문장(多文章) 답안에 대비하기 위해 문장 분리 기능이 추가되었다. 문장 분리 기능은 문장부호 정보와 앞 어절의 어미 정보, 뒤 어절의 어두 정보를 사용한 기계학습을 통해 구현했다. 그 외에도 부정부사(‘못’, ‘안’, ‘아니’), 부정 보조용언구(‘~지 못하/않/아니하’, ‘~지 마라’, ‘~지 말자’), 부정 구묶음(‘~ㄹ/을 수 없’), 부정용언(‘아니다’, ‘없다’) 등을 이용하여 부정문과 이중부정 표현(‘~지 않으면 안 된다’)[17]을 인식하기 위한 부정표현 인식 기능[18]을 추가했다.
프로그램의 성능을 비교하기 위해서는 채점자에 의한 점수 확인 및 오류 정정의 영향을 덜 받는 ‘채점자 미개입’의 경우를 비교하는 것이 더 적절하다. 이 장에서는 채점자가 미개입한 2014 자동 채점 시스템과 2015 자동채점 시스템의 성능을 비교 분석한다.
각 유형에 속한 문장들의 수를 내림차순으로 정렬하여 채점자가 상위 유형에 점수를 부여한다. 이렇게 채점된 답안들과 모범 답안들을 학습 자료로 간주하여 자질을 추출하고 자동채점 분류기를 학습한다. 학습된 시스템은 미채점 학생 답안을 자동으로 채점하고, 채점 결과의 신뢰성이 답안에 대해서 인간 채점자가 확인한다.

이론/모형

5) 2)~4)의 과정을 미채점 답안이 존재하지 않을 때까지 반복한다. 2013년 학업성취도 평가의 서답형 문항을 사용하였다. 문항별 1,000개의 학생 답안을 추출하여 채점시간과 정확률을 평가한 결과, 채점 정확률은 평균 약 97.
언어 처리 단계가 끝나면 채점을 진행한다. 채점 단계는 Logistic Regression과 k-Nearest Neighborhood 알고리즘[16]을 이용하여 구현하였으며, 크게 다섯 단계로 구성되어 있다. 1) 초기 채점 단계로서 언어 처리 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 해당 유형에 속한 답안의 빈도순으로 정렬한다.
평가에 사용된 서답형 문항은 2014년에 시행된 “국가 수준 학업성취도 평가”의 국어, 사회, 과학 교과 문항 중 1문장 수준의 문항을 선택했다[19].

성능/효과

‘채점 단계’에서는 기존의 Logistic Regression 분류기와 k-Nearest Neighborhood 분류기를 결합한 방식에서 채점 결과의 안정성과 신뢰성을 높이기 위하여 k-Nearest Neighborhood 분류기 대신 안정적인 채점 결과를 내는 Nearest Centroid 분류기를 사용하였으며, AdaBoosting 분류기를 추가하였다. 그 결과 자동채점의 평균 재현율은 기존의 시스템보다 약 3.4%p 감소하여 65.6%의 성능을 보였으나, 평균 완전 일치도가 96.0%로 기존의 시스템의 완전 일치도보다 약 9.4%p 증가하였으며, 자동채점의 평균 정확률은 82.7%로 약 8.9%p 증가했다. 재현율이 다소 감소하였으나 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 2015년 자동채점 시스템은 2014년도에 개발된 프로토타입보다 자동채점의 성능이 향상되었다고 판단할 수 있다.
2013년 학업성취도 평가의 서답형 문항을 사용하였다. 문항별 1,000개의 학생 답안을 추출하여 채점시간과 정확률을 평가한 결과, 채점 정확률은 평균 약 97.95%로 나타났다.
3개의 분류기의 결과가 완전히 일치해야만 채점이 되었다고 인식하기 때문에, 미채점 답안의 수가 증가한 것이 재현율 하락의 원인이다. 완전일치도가 평균 9.4%p, 정확률이 8.9% 증가한 것과 비교했을 때 재현율은 3.4%p 정도 하락했으므로, 2015 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

후속연구

향후에는 문항별로 다양한 기계학습 분류기의 성능을 테스트하여 초기 학습용 답안으로 채점할 유형의 수와 문항별로 어떤 분류기의 조합이 좋은 성능을 내는지 실험을 통해 판단하고, 실험 결과에 따라 문항에 맞춰 분류기의 조합을 달리하여 효율적인 결과를 낼 수 있도록 시스템을 개선하는 방안을 연구할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근 교육과정에서 학생들의 능력 평가는 어떻게 변화하고 있는가?	최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다.
	2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'과 비교하여 2015년도 자동채점 시스템의 개선된 능력은?	성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.
	서답형 문항의 한계점은?	최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국어 서답형 문항 자동채점 시스템의 성능 개선
Performance Comparison of Automated Scoring System for Korean Short-Answer Questions 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국어 서답형 문항 자동채점 시스템의 성능 개선 Performance Comparison of Automated Scoring System for Korean Short-Answer Questions 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국어 서답형 문항 자동채점 시스템의 성능 개선
Performance Comparison of Automated Scoring System for Korean Short-Answer Questions 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper