선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 단문형 영작문 문제를 자동으로 채점할 수 있는 자동 채점 시스템을 개발하였다. 이와 같은 자동 채점시스템은 학교 현장뿐만 아니라 컴퓨터와 인터넷 사용이 가능한 곳이라면 어디서든 수시로 사용할 수 있다는 점에서 학생들의 영작문 실력 향상에 지대한 공헌을 할 수 있을 것으로 생각된다.
- 영어를 제 2 외국어로 접한 지 얼마 되지 않은 학생들의 경우에는 에세이에 대한 평가보다는 개별 문장의 기본 문법에 대한 채점을 세밀하게 하고 피드백을 줄 수 있는 시스템이 더 도움이 될 수 있다. 이런 이유로 본 연구에서는 중학교 3학년 수준의 영어 작문 자동 채점 시스템을 개발하였다. 이 시스템은 단일 문장에 대한 채점을 수행하며 발견된 오류에 대한 피드백을 줄 수 있다.
제안 방법
- Critique는 문법 (grammar), 용법 (usage), 구두점 사용, 자주 혼동되는 단어 사용의 정확성, 작문 스타일의 오류 등을 검사하고 오류가 있을 시 피드백을 제시한다. Critique 는 대량의 코퍼스로부터 추출한 N 그램 정보나 상호정보 (mutual information)를 이용하여 문장 내의 수/인칭의 일치 (agreement error) 오류, 동사형태 (verb formation) 오류, 단어 사용의 오류, 문장부호 오류, 철자 오류 등을 검사하였다. E-ratet®는 실제 영작문 평가 시스템으로 사용되고 있다.
- (그림 2)에서 보는 바와 같이 형태소 분석하여 사전의 어휘정보를 적재하고 동시에 사전에 등재되어 있지 않은 단어에 대해 형태소오류를 인식한다. 각 단어에 대한 어휘정보와 구문규칙을 이용하여 구문 분석한다. 구문분석 과정에서 오류규칙에 의해 분석된 구절에서는 구문 오류가 인식된다.
- 가령, 오류인 a flowers'를처리하기 위한 규칙과 a flower'를 처리하기 위한 규칙은 관사와 명사 사이의 수(number) 정보가 일치해야 한다는 조건을 제외하고는 동일하다. 그렇기 때문에 본 논문에서는 비문을 처리하는 규칙을 정문을 처리하는 규칙 내의 조건절 (CONDITION)i- 완화시킴으로써 구현하였다. (그림 4)의 예제 규칙에서 조건절을 검사하는 함수 '-CHECK_DN_AGR' 은 관사와 뒤따르는 명사 사이의 수 일치를 검사하는 함수로써, 함수의 반환값(return)이 '참'일 때는 일반 규칙처럼 작용하나, 반환값이 '참'이 아닌 경우는 오류규칙으로 동작하면서 'DN_AGR_ERR' 오류가 발생했음을 알려준다.
- 우선 각 문항별로 시스템이 부여한 점수와 인간채점자가 부여한 점수의 차이에 대한 평균을 계산하였다. 동일한 답안에 대해 2명이 채점하였기 때문에, 2명의 인간채점자의 점수 평균과 시스템의 점수 차이를 계산하였다. 19문항에 대한 점수차이의 평균은 0.
- 20이였다. 동일한 문항에 대해 2명의 인간채점자가 채점을 수행했기 때문에 2명의 인간채점자 사이의 점수차이의 평균도 구해보았다. 인간채점자 사이에도 0.
- 수험자의 문장도 구문 분석의 결과를 토대로 단순화된 의존구조로 만든다. 두 개의 의존구조를 비교하면서 매핑 오류를 찾아내고 정답과의 유사도를 계산한다.
- 수험자의 답안과 정답을 제대로 비교하기 위해서는 사전에 동의어 정보를 갖고 있어야 한다. 본 논문에서는 Princeton 대학에서 오랫동안 개발해온 WordNet®[l] 에서부터 추출한 동의어 집합(synsets) 정보와 집합 간의 계층구조를 이용하여 각 단어나 구의 동의어 정보로 사용한다. 동의어 정보는 사전의 각 엔트리가 갖고 있는 .
- 그러나, 구문분석이 실패하면서 6점 중 0 점을 받게 되는 상황이 발생할 수 있다. 본 논문에서는 이와 같이 정답문장과 매우 유사함에도 불구하고 구문분석이 실패한다거나 전혀 다른 의존구조가 만들어짐으로써 매핑이 제대로 이루어지지 못하는 수험자 답안을 고려하기 위해 스트링 비교를 이용한 점수 계산 모형을 부가적으로 사용하였다. 즉, 구문분석의 불완전성으로 인해 발생하는 문제점을 보완하기 위해 수험자 답안과 정답 스트링의 스트링 비교만을 통해 보완 점수를 계산해 낸다.
- 본 논문에서는 형태소 단계, 구문 단계, 매핑 단계의 세 단계로 나누어 점수를 계산하였으며 이 세 단계의 점수를 합산하여 최종 점수화하였다. 각 단계마다 (广2점 사이의 점수가 할당되어 있기 때문에 최종 점수의 총점은 6점이다.
- 수험자 답안과 정답집합의 정답들을 스트링 대 스트링으로 비교하여 그 차이를 계산한다. 한 스트링을 다른 스트링으로 변환시키기 위한 편집거리(edit distance)를 최소화하면서 두 스트링 사이의 차이를 다이나믹 프로그래밍(dynamic programming) 방식으로 계산해 내는 최소편집거리 (minimum edit distance) 방식을 이용한다.
- 자동 채점 과정은 우선, 교사가 제공한 정답집합에 대해 형태소분석, 구문분석을 수행하여 단순화된 의존구조를 만들어 놓는다. 수험자가 영어 문장 입력을 종료하면 입력된 문장에 대해 형태소 분석, 구문 분석을 동일하게 수행하는데, 수험자가 작성한 문장에는 오류가 있을 수 있기 때문에 오류 발생을 허용하면서 분석한다. 수험자의 문장도 구문 분석의 결과를 토대로 단순화된 의존구조로 만든다.
- <표 3>에 실험결과를 정리하였다. 우선 각 문항별로 시스템이 부여한 점수와 인간채점자가 부여한 점수의 차이에 대한 평균을 계산하였다. 동일한 답안에 대해 2명이 채점하였기 때문에, 2명의 인간채점자의 점수 평균과 시스템의 점수 차이를 계산하였다.
- 시스템의 구문 오류 처리 방법을 다루었다. 이 연구에서는 두 단계의 구문분석을 수행하여 구문 오류를 검사하였다. 첫 번째 단계로 차트기반의 구문분석을 수행한다.
- 첫째 모듈은 '문장내 오류 검출' 모듈로서, 단일문장 내에서 검사할 수 있는 오류만을 인식한다. 입력 문장에 대해 형태소 분석과 구문 분석을 수행하면서 문장부호사용 오류, 철자 오류, 구문 오류 등을 검출한다. 두 번째는 '문장간 오류 검출' 모듈로서 이는 정답문장과의 비교를 통해서만 오류를 인식할 수 있다.
- 그렇기 때문에 교사는 정답으로 간주될수 있는 영어 문장들을 정답집합으로 제공해야 한다. 정답 집합의 문장들 중에서 수험자가 작성한 문장과 가장 유사한 문장을 결정하고, 두 문장 사이의 차이점을 비교하여 매핑오류를 찾아낸다.
- 본 논문에서는 이와 같이 정답문장과 매우 유사함에도 불구하고 구문분석이 실패한다거나 전혀 다른 의존구조가 만들어짐으로써 매핑이 제대로 이루어지지 못하는 수험자 답안을 고려하기 위해 스트링 비교를 이용한 점수 계산 모형을 부가적으로 사용하였다. 즉, 구문분석의 불완전성으로 인해 발생하는 문제점을 보완하기 위해 수험자 답안과 정답 스트링의 스트링 비교만을 통해 보완 점수를 계산해 낸다.
- 이 연구에서는 두 단계의 구문분석을 수행하여 구문 오류를 검사하였다. 첫 번째 단계로 차트기반의 구문분석을 수행한다. 이 단계에서 사용하는 규칙은 부분구문규칙(partial grammar)이기 때문에 구문 분석의 결과는 명사구(noun phrase), 전치사구(prepositional phrase)와 같은 구절 단위가 된다.
대상 데이터
- (그림 3)에서 표제어 'give_up' 정보에는 'SYNONYM, 필드에 'abandon'이라는 값이 저장되어 있는데, 이는 'abandon'이 'give_up'의 동의어임을 알려준다. 본 연구에서 구축한 사전(lexicon)에는 6, 285개의 사전 엔트리와 7, 500 여개의 동의어 집합이 포함되어 있다.
- 영작문 자동 채점 시스템의 성능을 평가하기 위해 중학교 3학년 수준의 영작문 19문항을 개발하여 실제로 서울의 두 중학교 3학년 학생들(각 학교당 약 5개 학급, 총 282명)을대상으로 시험을 실시하였다. 문항은 중학교 3학년 현직 영어 교사와의 협의하에 개발되었으며, 우리나라 중 3 영어 교과서 공통 문법 영역을 분석한 결과를 바탕으로 개발되었다.
- 수험자가 작성한 영어 에세이로부터 채점을 위한 50여 개의 속성정보를 추출해 내고 통계 모델(statistical model)을 이용하여 속성정보를 1~6점 범위로 점수화하였다. 이를 위해 실제 수험자가 작성한 270 여 개의 에세이를 사람이 채점한 코퍼스가 학습용으로 사용되었다. Critique는 문법 (grammar), 용법 (usage), 구두점 사용, 자주 혼동되는 단어 사용의 정확성, 작문 스타일의 오류 등을 검사하고 오류가 있을 시 피드백을 제시한다.
데이터처리
- E-ratei応는 에세이 작성에 사용된 구문의 다양성(syntactic variety), 에세이의 구성, 주제(topic)의 부합 여부, 어휘사용의 복잡성 (lexical complexity) 등을 이용하여 점수를 부여한다. 수험자가 작성한 영어 에세이로부터 채점을 위한 50여 개의 속성정보를 추출해 내고 통계 모델(statistical model)을 이용하여 속성정보를 1~6점 범위로 점수화하였다. 이를 위해 실제 수험자가 작성한 270 여 개의 에세이를 사람이 채점한 코퍼스가 학습용으로 사용되었다.
이론/모형
- 작문에서 오용된 단어들을 찾아낼 수 있다. 이 연구에서는 단어 의미의 모호성 해소 (word sense disambiguation) 방법을 이용하여 쓰임이 적절치 않은 단어의 사용을 찾아낸다. 대 량의 코퍼 스로부터 바이 그램과 트라이 그램을 추출하고 바이그램과 트라이그램의 단어들 사이의 상호정보 (mutual information) 값을 저장해 놓는다.
- 시스템을 구현하였다. 이 연구에서는 오류를 포함하고 있는 문장을 분석하기 위한 오류규칙 (mal-rules)을 이용하여 오류를 인식한다. 오류규칙은 사용자들이 가장 자주 범하는 오류에 대해 오류를 포함하는 규칙을 직접 작성하되, 하나의 문장에서는 많아야 하나의 요소만이 생략될 수 있다는 가정하에 오류 규칙을 작성하였다.
- 입력 문장의 구문 구조를 파악하는 구문규칙은 구구조 문법 (phrase structure grammar)을 기본으로 하여 작성되었다. 규칙들은 영어의 정문(grammatical sentences)을 분석하는 일반 규칙과 구문 오류(syntactic errors)# 포함하고 있는 비문(ungrammatical sentences)을 분석하는 오류 규칙으로 구분된다.
- 이렇게 계산한 편집거리(d)가 2 이하이고 삭제된 요소가 문장의 필수성분이 아닌 경우에는 (그림 7)에서 계산된 값을 무시하고, 6점 만점 중 고정된 점수 SCORE2를 부여하였다. 최종적인 점수계산 방법은 (그림 8)과 같으며, 본 논문에서는 SCORE2로 5점을 사용하였다.
- 비교하여 그 차이를 계산한다. 한 스트링을 다른 스트링으로 변환시키기 위한 편집거리(edit distance)를 최소화하면서 두 스트링 사이의 차이를 다이나믹 프로그래밍(dynamic programming) 방식으로 계산해 내는 최소편집거리 (minimum edit distance) 방식을 이용한다. 두 스트링 사이의 편집거리는 삽입(insertion) 오류, 삭제(deletion) 오류, 치환(substitution) 오류의 세 종류가 가능하다.
성능/효과
- 첫째, WordNet에서 추출한 동의어 정보가 중학교 수준의 동의어 정보에 적합하지 않았다. 동의어 정보를 대상 영역에 맞도록 재조정해야 한다.
후속연구
- 품사 중의성이나 구문구조 중의성을 해결할 수 있는 좀 더 효율적인 알고리즘이 사용되어야 할 것이다. 셋째, 오류가 중복되어 계산되는상황들이 발생하는데 중복 오류를 검사할 수 있는 방법론이 고려되어야 할 것이다.
- 둘째, 문장 분석에서 발생하는 중의성을 해결하는데 좀 더 신중을 기해야 한다. 품사 중의성이나 구문구조 중의성을 해결할 수 있는 좀 더 효율적인 알고리즘이 사용되어야 할 것이다. 셋째, 오류가 중복되어 계산되는상황들이 발생하는데 중복 오류를 검사할 수 있는 방법론이 고려되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.