[논문]영어 논술 자동 평가를 위한 언어 유창성 측정 방법

양민철; 김민정; 임해창

문제 정의

앞서 기술한 것과 같이 본 연구에서의 유창성은 다양한 표현을 사용하는 것을 포함한다. 따라서 본 연구에서는 작성자가 바꿔쓰기 (Parapharsing)를 능숙히 할 수 있는 어휘력을 가지고 있는지 측정한다. 바꿔쓰기란 비슷한 뜻을 표현할 때 같은 단어를 반복적으로 사용하는 것이 아니라 동의어나 다른 표현을 사용하는 것이다.
본 논문에서는 비영어권 수험생들의 영어 논술을 보다 정확하게 자동 평가하기 위하여 언어 유창성 평가에 집중된 측정 방법을 제안하였다. 제안하는 방법은 크게 작성자의 어휘력, 에세이의 문장 구조 다양성, 혼잡도를 계산하여 기존 연구 방법에 추가하였다.
TOEFL Writing의 평가 기준 중 [언어 유창성/어휘 수준/작문 스타일]만 평가하는 세부 점수를 정답으로 둔 비교 실험 결과는 표 3과 같다. 이 실험은 유창성 자질 중에서 본 연구에서 제안한 자질이 얼마나 유용한지 살펴보기 위함이다. 그래서 기존 연구에서 제안한 유창성 자질만 이용한 실험[F₃]과 본 연구에서 제안한 자질까지 포함한 실험[F₃+F₄] 결과를 비교하였다.
또한‘neighbors'와‘quality'간의 수일치가 이루어지지 않는 문법적 오류도 보였다. 이런 비영어권 수험생 에세이의 오류를 분석하여 이를 잘 반영한 언어 유창성 측정 방법을 제안하고자 한다.
대부분 한국 대학생들은 관사, 수일치 등의 오류가 많았다. 이를 통해 한국 수험생들이 자주 범하는 오류가 언어 유창성과 많은 관련이 있으며 이를 파악하는데 중점을 두어 영어 논술 자동 평가시스템에 적용하고자 한다.

가설 설정

자동 채점 시스템만 잘 갖춘다면 전문가의 비용이 들지 않으므로 적은 비용의 평가가 가능하다. 3) 사용 접근성이 용이하다. 전문 평가자와의 복잡한 연결 없이 웹 상으로 손쉽게 접근이 가능하고 그 자리에서 평가 또는 피드백을 받을 수 있다.

제안 방법

3장에서 제시한 언어 유창성이 영어 자동 평가에 얼마나 영향을 미치고 제안한 자질의 유용성을 평가하기 위해 시스템 결과와 전문 평가자 점수 간 상관관계와 정확도를 평가하였다. 본 장에서는 먼저 학습 데이터 구축 등 실험 환경에 대해 살펴보고 실험 결과를 소개한 후 이에 대한 분석을 하도록 한다.
이 방법은 경험적으로 얻어진 확률 분포로부터 가능한 정답에 가까운 모델을 찾는데 제한된 자질 안에서 분류하는 방법에 적합하다. 각 실험 환경 별로 최적의 상태를 찾기 위하여 상관관계 기반 자질 선택을 적용하였고, 각 자질 값 간 범위를 맞추어주기 위해 순위 기반 정규화 방법을 사용하였다. 또한 학습 문서와 실험 문서를 분류하기 위해 10-묶음 교차 검증 방법을 이용하였다.
표 2는 유창성 자질이 영어 논술 자동 평가 시스템에 얼마나 도움이 되는지 살펴보기 위한 실험 결과이다. 그래서 기존 연구에서 제안한 자질 중 유창성 자질을 제외한 실험[F₁+F₂]과 유창성 자질까지 포함한 실험 [F₁+F₂+F₃+F₄] 결과를 비교하였다. 모든 평가 방법에서 소폭의 성능 향상을 보였는데 이것은 영어 논술 평가에서 유창성을 평가하는 부분이 의미가 있음을 알 수 있다.
그림 1의 예시와 같이 문장 구조가 단조로운 글을 판별하기 위해 문서 내 문장 구조의 다양성을 측정한다. 문장 구조를 파악하기 위해 품사 열을 이용하며, 다양성 측정은 특정 품사 N-gram의 반복 빈도수로 측정한다. 품사는 어휘와 달리 가짓수가 한정 되어 있으므로 짧은 N-gram으로는 모호할 수 있고, 긴 N-gram을 사용하여도 자료 부족 문제가 심각하지 않다.
이를 위해서는 어휘력이 풍부해야 하며, 실제로 그림 1의 예시와 같이 잘 쓴 에세이에서 많이 볼 수 있다. 본 연구 에서는 같은 품사의 어휘들을 쌍으로 묶고 각 쌍의 관계가 유사 관계인지를 워드넷[11]을 이용하여 판별한다. 이 때 고려하는 품사는 명사/명사구, 동사, 부사, 형용사의 어휘만으로 국한한다.
본 연구에서 영어 논술 자동 평가는 기계 학습을 이용한 분류 방식으로 접근한다. 따라서 전체 시스템 구조는 그림 2와 같다.
3장에서 제시한 언어 유창성이 영어 자동 평가에 얼마나 영향을 미치고 제안한 자질의 유용성을 평가하기 위해 시스템 결과와 전문 평가자 점수 간 상관관계와 정확도를 평가하였다. 본 장에서는 먼저 학습 데이터 구축 등 실험 환경에 대해 살펴보고 실험 결과를 소개한 후 이에 대한 분석을 하도록 한다.
초기의 연구는 문서 분류 방법을 그대로 적용하였다[6]. 사용한 자질로는 단어 수, 어휘 수, 문장 수, 특정 길이 이상 단어 수 등의 단순한 자질만 사용하여 문서의 표면적인 특성만 고려하였고 언어 유창성에 대한 평가는 하지 않았다.
영어 논술의 작문 스타일을 자동 평가한 연구[7]에서는 이전 연구에서 제안한 자질 이외에 각 단어 빈도수 별 비율과 반복어 간 사이의 길이도 측정하였다. 시스템의 평가는 작문 스타일 점수만 정답으로 이용하여 유창성 평가에 중점을 두었다. 하지만 반복어구에만 집중 하였고 문서의 내재적인 언어 유창성에 대한 평가는 이루어지지는 못했다.
또한 언어 밀도는 ‘어휘 수 / 단어 수’로 구하며 대부분 문서 품질을 측정할 때 가장 유용한 자질로 알려져 있다. 유창성 자질은 1장에서 정의한 유창성을 측정하는 자질로 기존 연구 [7]에서 제안한 자질[F₃]과 본 연구에서 제안한 자질[F₄]을 따로 분류하였다.
이 중 TOEFL, GRE, GMAT에서는 영어 논술 평가를 실시한다. 이 시험을 통해 수험자의 논리력, 글의 구성, 어휘력 등을 평가하여 최종적으로 영작문 능력을 측정한다. 최근 들어 실생활 영어가 중요해짐에 따라 영어 말하기, 쓰기 영역 또한 중요해지고 있다.
작문 실력이 검증된 사람이 쓴 영어와 비슷한 영어로 썼다면 그 영어 에세이는 유창한 영어로 썼다고 볼 수 있다. 이러한 직관을 반영하기 위해 본 연구에서는 대량의 외부 문서 집합으로 학습한 언어 모델을 이용하여 에세이의 혼잡도 (Perplexity)를 측정하여 영어 논술 자동 평가의 자질로 이용한다. 어휘 열과 품사 열을 모두 고려하며 어휘 열은 3-gram, 품사 열은 5-gram을 각각 언어 모델의 단위로 사용한다.
본 논문에서는 비영어권 수험생들의 영어 논술을 보다 정확하게 자동 평가하기 위하여 언어 유창성 평가에 집중된 측정 방법을 제안하였다. 제안하는 방법은 크게 작성자의 어휘력, 에세이의 문장 구조 다양성, 혼잡도를 계산하여 기존 연구 방법에 추가하였다.
자연어 처리 결과를 이용하여 학습 및 분류에 필요한 자질을 추출하며 이때 자질 선택기에서 유용한 자질을 선별한다. 학습 과정에서는 전문 평가자가 채점한 결과와 각 학습 문서의 자질들을 이용하여 분류 모델을 학습하며 실험 과정에서는 이 학습 모델을 이용하여 새로 입력된 각 실험 문서의 등급을 분류한다.

대상 데이터

3.3절의 언어 모델을 구성하는데 사용한 자원은 NEWS 데이터로 약 3300만 문장으로 구성되어 있다. 언어 모델 구축과 혼잡도 계산은 SRILM toolkit[12]을 이용하였다.
실험에 사용된 문서들은 모두 한국 수험생들이 작성한 것으로 총 10개의 주제에 대한 영어 에세이이다. 각 주제 별 에세이 수는 차이가 있지만 모두 3,093개로 두 명의 전문 평가자에 의해 최종 점수와 유창성이나 작문 스타일만 고려한 세부 점수까지 채점 되었다.

데이터처리

이 실험은 유창성 자질 중에서 본 연구에서 제안한 자질이 얼마나 유용한지 살펴보기 위함이다. 그래서 기존 연구에서 제안한 유창성 자질만 이용한 실험[F₃]과 본 연구에서 제안한 자질까지 포함한 실험[F₃+F₄] 결과를 비교하였다. 표 3을 보면 유창성 자질로만 평가하는데 제한이 있어서 전체적인 성능은 대체로 낮지만 모든 평가 방법에서 성능 향상을 보였고 이를 통해 제안하는 자질이 유창성 측정에 도움이 됨을 알 수 있었다.
각 실험 환경 별로 최적의 상태를 찾기 위하여 상관관계 기반 자질 선택을 적용하였고, 각 자질 값 간 범위를 맞추어주기 위해 순위 기반 정규화 방법을 사용하였다. 또한 학습 문서와 실험 문서를 분류하기 위해 10-묶음 교차 검증 방법을 이용하였다.
등급 점수는 TOEFL Writing채점 양식에 맞게 1점 ~ 6점까지의 범위로 채점하였다. 분류 모델의 학습과 시스템 결과의 평가에 사용하는 점수는 두 채점자의 평균의 값의 올림을 사용하였다.

이론/모형

분류 모델을 위한 기계 학습 방법은 Maximum Entropy[13]를 이용하였다. 이 방법은 경험적으로 얻어진 확률 분포로부터 가능한 정답에 가까운 모델을 찾는데 제한된 자질 안에서 분류하는 방법에 적합하다.
3절의 언어 모델을 구성하는데 사용한 자원은 NEWS 데이터로 약 3300만 문장으로 구성되어 있다. 언어 모델 구축과 혼잡도 계산은 SRILM toolkit[12]을 이용하였다.

성능/효과

실제 비영어권인 한국 수험생들을 대상으로 실험해보았고, 이 실험을 통해 언어 유창성 자질들이 영어 논술 자동 평가의 성능 향상시킴을 알 수 있었다. 또한 제안 하는 유창성 자질들이 기존 연구에서 제안한 유창성 자질보다 더 성능 향상에 도움이 됨을 알 수 있었다. 이런 결과는 비영어권 수험생들이 자신의 생각을 영어로 표현 /번역하는 과정에서도 문제가 있음을 알 수 있었고 영어 논술 자동 평가 시스템에서도 이를 반영해주어야 한다.
이런 결과는 비영어권 수험생들이 자신의 생각을 영어로 표현 /번역하는 과정에서도 문제가 있음을 알 수 있었고 영어 논술 자동 평가 시스템에서도 이를 반영해주어야 한다. 또한 제안하는 시스템은 영어 유창성 평가만 할 수 있는 시스템으로 변형이 가능하기 때문에 영어 학습용으로도 활용이 가능하다.
그래서 기존 연구에서 제안한 자질 중 유창성 자질을 제외한 실험[F₁+F₂]과 유창성 자질까지 포함한 실험 [F₁+F₂+F₃+F₄] 결과를 비교하였다. 모든 평가 방법에서 소폭의 성능 향상을 보였는데 이것은 영어 논술 평가에서 유창성을 평가하는 부분이 의미가 있음을 알 수 있다. 두 실험 모두 Adjacent Match 결과를 볼 때 1점 이내로는 거의 맞춤을 볼 수 있다.
실제 비영어권인 한국 수험생들을 대상으로 실험해보았고, 이 실험을 통해 언어 유창성 자질들이 영어 논술 자동 평가의 성능 향상시킴을 알 수 있었다. 또한 제안 하는 유창성 자질들이 기존 연구에서 제안한 유창성 자질보다 더 성능 향상에 도움이 됨을 알 수 있었다.
그래서 기존 연구에서 제안한 유창성 자질만 이용한 실험[F₃]과 본 연구에서 제안한 자질까지 포함한 실험[F₃+F₄] 결과를 비교하였다. 표 3을 보면 유창성 자질로만 평가하는데 제한이 있어서 전체적인 성능은 대체로 낮지만 모든 평가 방법에서 성능 향상을 보였고 이를 통해 제안하는 자질이 유창성 측정에 도움이 됨을 알 수 있었다.

후속연구

예를 들면 혼잡도 자질에서는 문서 내 문장 혼잡도의 평균을 구하여 문서의 대표 값을 구하고, 특정 임계 값 이상의 문장 수를 구하여 언어 모델과 어울리지 않는 문장 수를 구한다. 또한 문서 내 문장 혼잡도의 최대/최소 값과 분산을 구하여 평균만을 통해서 알 수 없는 다른 특성에 대해서도 파악이 가능하다. 또 다른 예로 많이 쓰이는 방식은 문서의 특성에 영향을 미치지 않기 위해 단어 수에 기반한 절대적인 수치가 아닌 정규화를 통한 상대적인 수치를 이용하는 방법이다.
향후에는 언어 모델 구축 시 에세이 성격과 비슷한 대용량의 문서집합을 이용할 것이고, 의미적 파싱 결과를 이용하여 기존보다 자세하게 문장 구조와 단어 간 의미적 관계를 추출하여 더 정확한 영어 논술 자동 평가 방법을 연구할 것이다.

핵심어	질문	논문에서 추출한 답변
	영어 논술 자동 평가 시스템의 장점은 무엇인가?	영어 논술 자동 평가 시스템의 장점은 다음과 같다.1) 실시간으로 평가를 받을 수 있다. 전문 평가자와 같은 사람의 개입이 없기 때문에 언제든지 평가가 가능하고 처리속도 또한 빠르다.2) 적은 비용으로도 평가 받을 수 있다. 자동 채점 시스템만 잘 갖춘다면 전문가의 비용이 들지 않으므로 적은 비용의 평가가 가능하다.3) 사용 접근성이 용이하다. 전문 평가자와의 복잡한 연결 없이 웹 상으로 손쉽게 접근이 가능하고 그 자리에서 평가 또는 피드백을 받을 수 있다.
	영어 논술 자동 평가 시스템이란 무엇인가?	영어 논술 자동 평가 시스템은 사람의 개입 없이 자동으로 시스템이 수험자의 영어 에세이에 대해서 점수를 내어주고 피드백을 주는 실시간 시스템이다. 현재 e-rater, IEA (Intelligent Essay Assessor) 등의 영어 논술 자동 평가 시스템은 웹상으로 특정 요금만 지불하면 이용가능하다[1, 2].
	바꿔쓰기란 무엇인가?	따라서 본 연구에서는 작성자가 바꿔쓰기 (Parapharsing)를 능숙히 할 수 있는 어휘력을 가지고 있는지 측정한다. 바꿔쓰기란 비슷한 뜻을 표현할 때 같은 단어를 반복적으로 사용하는 것이 아니라 동의어나 다른 표현을 사용하는 것이다. 이를 위해서는 어휘력이 풍부해야 하며, 실제로 그림 1의 예시와 같이 잘 쓴 에세이에서 많이 볼 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영어 논술 자동 평가를 위한 언어 유창성 측정 방법
Assessment of Writing Fluency For Automated English Essay Scoring 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영어 논술 자동 평가를 위한 언어 유창성 측정 방법 Assessment of Writing Fluency For Automated English Essay Scoring 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영어 논술 자동 평가를 위한 언어 유창성 측정 방법
Assessment of Writing Fluency For Automated English Essay Scoring 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper