[논문]BLEU 를 활용한 단기 서술형 답안의 자동 채점

조정현; 정현기; 박찬영; 김유섭

BLEU 를 활용한 단기 서술형 답안의 자동 채점
An Autonomous Assessment of a Short Essay Answer by Using the BLEU 원문보기

한국HCI학회 2009년도 학술대회, 2009 Feb. 09, 2009년, pp.606 - 610

조정현 (한림대학교 컴퓨터공학과) , 정현기 (한림대학교 컴퓨터공학과) , 박찬영 (한림대학교 컴퓨터공학과) , 김유섭 (한림대학교 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 단기 서술형 답안의 자동 채점을 위하여 기계 번역 자동 평가에서 널리 사용되는 BLEU(BiLingual Evaluation Understudy)를 활용한 방법을 제안한다. BLEU 는 기계가 번역한 것이 사람이 번역한 것과 비슷할수록 기계번역의 질이 좋을 것이다 라는 것을 가정하여 평가한다. 즉, 특정 문장을 여러 사람이 번역한 문장을 기계가 번역한 문장과 n-gram 방식으로 비교해 점수를 매기는 것이다. 이와 비슷하게 본 연구에서는 여러 개의 정답 문장과 학생의 답안 문장을 BLEU 와 같은 방식으로 상호 비교하여 학생의 답안을 채점하였다. 실험에서는 이러한 채점 방식의 정확도를 평가하기 위하여 사람이 채점한 점수와의 상관관계를 계산하였다.

Abstract ▼ AI-Helper

We propose a method utilizing BLEU(BiLingual Evaluation Understudy), which is widely used in automatic evaluation of machine translations, for an autonomous assessment of a short essay answer. BLEU evaluates translations with an assumption that the translation by a machine is supposed to be more accurate as it is getting to be more similar to the translation by a human. BLEU scores the translation by comparing the n-grams of translations by a machine and humans. Similarly we score students answers by comparing to multiple reference answers with BLEU. In the experiment, we compute correlation coefficient values between scores of our system and human instructors.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 BLEU 를 활용한 간단한 서술형 주관식 자동 채점 방법을 제안하였다. 비록 자동 채점한 점수와 사람이 채점한 점수가 차이가 있지만 사람이 채점한 점수가 높으면 자동 채점 점수도 높았으며 반대로 낮으면 자동 채점 점수도 낮았다.
본 논문에서는 간단한 서술형 주관식 자동 채점을 빠르고 간단하게 하기 위해 BLEU[4]를 활용한 방법을 제안한다. 먼저 이전에 BLEU 를 활용하여 자동 채점을 시도한 연구가 있었으나[5] 이것은 영어나 스페인어와 같은 굴절어를 대상으로 하고 있으며, 또한 채점의 대상이 되는 답안의 길이가 30 내지 50 단어 정도로 매우 길었다.

가설 설정

문제가 객관식이나 단답형의 주관식은 자동으로 채점하기 어렵지 않을 것이다. 하지만 학생의 답과 모범답안의 색인어를 미리 구축한 유의어 사전에서 검색하여 나온 유의어와 색인어를 단순 비교한 방법[1], 의미커널을 구축하고 학생의 답과 모범답안을 벡터로 구성하여 이 답안간의 유사도를 의미커널을 통해 계산하는 방법[2], [2]와 유사하게 LSA(Latent Semantic Analysis)를 이용한 방법[3] 등과 같은 기존 서술형 주관식 문제 채점 연구에서 볼 수 있듯이 자연 언어 처리를 하여 분석을 해야 하기 때문에 많은 어려움이 있다.

제안 방법

실험은 uni-gram 과 bi-gram, tri-gram 으로 n-gram 길이에 따른 자동 채점 실험과 코퍼스의 크기, 즉 모범답안의 개수에 따른 실험을 하였다. 그리고 이 실험의 평가는 두 가지로 첫 번째는 자동 채점 점수와 사람이 수동 채점한 점수와의 상관관계를 구하고 두 번째는 학생의 답을 사람이 정답과 오답을 판별해 놓고 자동 채점한 점수를 0.01 에서 1.0 까지 Threshold 로 놓고 0.01 단위로 변경하면서 F-Measure 와 정확도(Accuracy)를 측정해 이 값이 가장 큰 Threshold 를 기준으로 잡고 정답과 오답을 자동으로 판별하였다. 그리고 이것을 증명하기 위해 4-fold cross-validation 을 이용해 F-Measure와 정확도(Accuracy)의 평균을 측정하였다.
다음은 앞서 설명한 것과 같이 학생의 답을 사람이 정답과 오답을 판별해 놓고 자동 채점한 점수를 0.01 에서 1.0 까지 Threshold 로 놓고 0.01 단위로 변경하면서 F-Measure 와 정확도(Accuracy)를 측정해 이 값이 가장 큰 Threshold 를 기준으로 잡고 정답과오답을 자동으로 판별하고 4-fold cross-validation 을 이용해 F-Measure 와 정확도(Accuracy)의 평균을 측정해 검증한 실험이다. 4-fold cross-validation 은 총 100명의 학생이 쓴 답을 무작위로 25개씩 추출하여 4 개 군으로 나누어 하나는 학습샘플로 나머지는 시험 샘플로 해서 총 4 번의 평균치를 내는 것이다.
따라서 본 연구에서는 교착어의 특성을 가지고 있는 한국어에 대하여 이 방식을 적용하여 그 결과를 분석하였으며, 또한 기존 연구와는 달리 1-2 문장으로 이루어진 짧은 길이의 답안의 채점에 이 방법을 새롭게 적용하였다.
위 그림과 같이 코퍼스와 학생의 답을 n-gram 으로 나누고 그 둘을 수정된 precision 값을 구하는 방법으로 자동채점 하는 것이다. 먼저 uni-gram 으로 하나의 코퍼스와 학생의 답을 한 개씩 차례로 총 30 개를 비교한다. 코퍼스나 학생의 답에서 어절이 겹치는 것은 하나로 간주하고 비교하게 된다.
이렇게 각 문제당 5 개의 모범 답안으로 이루어진 총 30 개의 코퍼스를 준비했다. 실험은 uni-gram 과 bi-gram, tri-gram 으로 n-gram 길이에 따른 자동 채점 실험과 코퍼스의 크기, 즉 모범답안의 개수에 따른 실험을 하였다. 그리고 이 실험의 평가는 두 가지로 첫 번째는 자동 채점 점수와 사람이 수동 채점한 점수와의 상관관계를 구하고 두 번째는 학생의 답을 사람이 정답과 오답을 판별해 놓고 자동 채점한 점수를 0.

대상 데이터

고사성어를 제시하고 그 뜻을 풀이하는 문제이다. 문제는 총 30 문제로 각 학생당 30 문제를 100 명의 학생이 풀었다. 모범 답안은 한문제당 5 개로 그 뜻은 동일하다.
실험에 사용한 문제는 고사성어 문제이다. 고사성어를 제시하고 그 뜻을 풀이하는 문제이다.
모범 답안은 한문제당 5 개로 그 뜻은 동일하다. 이렇게 각 문제당 5 개의 모범 답안으로 이루어진 총 30 개의 코퍼스를 준비했다. 실험은 uni-gram 과 bi-gram, tri-gram 으로 n-gram 길이에 따른 자동 채점 실험과 코퍼스의 크기, 즉 모범답안의 개수에 따른 실험을 하였다.
이 부분은 4 장 실험 및 결과에서 자세히 설명 할 것이다. 일단 문제는 총 30 문제이고 100 명의 학생이 답을 적었다. 한 문제당 모범 정답은 5 개씩 있다.

데이터처리

01 단위로 변경하면서 F-Measure 와 정확도(Accuracy)를 측정해 이 값이 가장 큰 Threshold 를 기준으로 잡고 정답과 오답을 자동으로 판별하였다. 그리고 이것을 증명하기 위해 4-fold cross-validation 을 이용해 F-Measure와 정확도(Accuracy)의 평균을 측정하였다.

이론/모형

BLEU 는 전문 번역인이 번역한 뜻이 같은 여러 개의 번역을 하나의 코퍼스로 준비하여 이 코퍼스와 기계가 번역한 것을 비교한다. 비교는 n-gram(단어) 비교 매치 방법을 사용하여 수정된 P(Precision)을 구한다. 일반 precisions 의 식은 코퍼스의 n-gram 중에 기계번역의 n-gram 과 매치되는 총 횟수 / 기계번역의 총 n-gram 수 이지만 수정된 precision 의 식은 코퍼스의 n-gram 중에 기계번역의 n-gram 과 매치되는 최대값 / 기계번역의 총 n-gram 수 이다.
주관식 문제는 고사성어 문제를 사용하였다. 즉,고사성어를 보여 주고 그 뜻을 푸는 문제이다.

성능/효과

표 1 에서는 수동 채점과 uni-gram, bi-gram, tri-gram 자동 채점의 평균점수를 비교해 보여주고 있는데 uni-gram 의 평균 점수가 수동 채점 평균점수와 가장 근접한 것을 볼 수 있다. 표 2 는 모범 답안 개수와 n-gram 의 길이에 따른 수동 채점과 자동 채점 점수와의 상관계수로 uni-gram, bi-gram, tri-gram 모두에서 모범답안 개수가 늘어남에 따라 상관계수 역시 커짐을 볼 수 있다. 이는 모범답안의 개수가 5 개 까지는 그 개수가 늘어날수록 수동 채점과의 연관성이 높아진다고 볼 수 있다.
표 3, 표 4, 표 5, 표 6 에서 공통적으로 상관계수와 마찬가지로 모범답안이 5 개일 때 그리고 n-gram 의 길이가 uni-gram 일 때 F-Measure 와 정확도가 가장 높은 것을 볼 수 있었다. 표 3 과 표 5 에서는 자동 채점한 점수가 0.

후속연구

따라서 간단한 서술형 주관식 자동 채점의 한 방법으로 BLEU 를 이용하면 형태소 분석 등과 같은 복잡한 자연언어 처리를 하지 않고 간단히 자동 채점이 가능할 것이다. 이후 연구에서는 BLEU 방식을 개선하여 사람이 채점한 점수와 자동 채점 점수의 차이를 조금 더 근소하게 해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	e-learning은 어떤 보급으로 인해 늘어나고 있는가?	인터넷, 컴퓨터, 광랜의 보급으로 인해 e-learning 이 늘어나고 있다. 따라서 e-learning 에서의 시험등과 같은 평가 또한 많아지고 있다.
	BLEU는 어떤 시스템의 자동 평가 방법 중 하나인가?	BLEU(biLingual Evaluation Understudy)는 기계번역(Machine Translation) 시스템의 자동 평가 방법 중 하나이다. 또한 현재 많은 기계번역 연구에서 사용되고 있는 평가 방법이다.
	BLEU를 이용하여 어떤 요인에 점수를 매기는가?	BLEU 는 기계번역의 자동 평가에서 많이 사용하는 방법이다. 이 방법을 이용해 기계번역의 품질에 점수를 매기는 것이다. 사람의 번역과 기계의 번역을 비교하여 얼마나 사람의 번역에 가까운지를 보는 것이다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

BLEU 를 활용한 단기 서술형 답안의 자동 채점
An Autonomous Assessment of a Short Essay Answer by Using the BLEU 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

BLEU 를 활용한 단기 서술형 답안의 자동 채점 An Autonomous Assessment of a Short Essay Answer by Using the BLEU 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

BLEU 를 활용한 단기 서술형 답안의 자동 채점
An Autonomous Assessment of a Short Essay Answer by Using the BLEU 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper