[논문]순환 신경망 기반 언어 모델을 활용한 초등 영어 글쓰기 자동 평가

박영기

doi:10.14352/jkaie.2017.21.2.161

순환 신경망 기반 언어 모델을 활용한 초등 영어 글쓰기 자동 평가
Automatic Evaluation of Elementary School English Writing Based on Recurrent Neural Network Language Model 원문보기

정보교육학회논문지 = Journal of the Korean Association of Information Education, v.21 no.2, 2017년, pp.161 - 169

초록
AI-Helper

작성된 문서의 문법적 오류 교정을 할 때 맞춤법 검사기를 사용하는 것이 일반적이다. 그러나 초등학생들이 작성한 글 중에는 문법적으로는 옳더라도 자연스럽지 않은 문장이 있을 수 있다. 본 논문에서는 동일한 의미를 가진 2개의 문장이 주어졌을 때, 어떤 것이 더 자연스러운 문장인지 자동 판별할 수 있는 방법을 소개한다. 이 방법은 순환 신경망(recurrent neural network)을 이용하여 장기 의존성(long-term dependencies) 문제를 해결하고, 보조 단어(subword)를 사용하여 희소 단어(rare word) 문제를 해결한다. 약 200만 문장의 단일어 코퍼스를 통해 순환 신경망 기반 언어 모델을 학습하였다. 그 결과, 초등학생들이 주로 틀리는 표현들과 그에 대응하는 올바른 표현을 입력으로 주었을 때, 모든 경우에 대해 자연스러운 표현을 자동으로 선별할 수 있었다. 본 소프트웨어가 스마트 기기에 사용될 수 있는 형태로 구현된다면 실제 초등학교 현장에서 활용 가능할 것으로 기대된다.

Abstract ▼ AI-Helper

We often use spellcheckers in order to correct the syntactic errors in our documents. However, these computer programs are not enough for elementary school students, because their sentences are not smooth even after correcting the syntactic errors in many cases. In this paper, we introduce an automated method for evaluating the smoothness of two synonymous sentences. This method uses a recurrent neural network to solve the problem of long-term dependencies and exploits subwords to cope with the rare word problem. We trained the recurrent neural network language model based on a monolingual corpus of about two million English sentences. In our experiments, the trained model successfully selected the more smooth sentences for all of nine types of test set. We expect that our approach will help in elementary school writing after being implemented as an application for smart devices.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 통계 언어 모델과 순환 신경망 기반 언어 모델을 비교하였다. 그리고 순환 신경망 모델을 이용하여 초등학생들이 잘못 작성한 문장과 올바른 문장 중 어떤 것이 더 자연스러운지 평가하게 했다. 실험 결과, 모든 9가지의 경우에 대해 자연스러운 문장을 잘 판별하는 것을 확인할 수 있었다.
본 논문에서는 컴퓨터를 이용해 초등학생들의 글쓰기 학습을 자동으로 도와줄 수 있는 보조 도구를 개발하는 것에 초점을 맞춘다¹⁾ . 교사가 직접 초등학생들이 쓴 글을 보고 1:1 교정해 주는 방식[18, 22]으로 교육할 수 있다면 가장 좋겠지만, 그러기 위해서는 교사가 상당히 많은 시간을 투자해야 하기 때문에 이와 같은 자동화된 도구가 있다면 도움이 된다.
본 논문에서는 통계 언어 모델과 순환 신경망 기반 언어 모델을 비교하였다. 그리고 순환 신경망 모델을 이용하여 초등학생들이 잘못 작성한 문장과 올바른 문장 중 어떤 것이 더 자연스러운지 평가하게 했다.
영어권 국가의 초등학생들이 글쓰기를 할때 자주 실수하는 표현들과 그에 대응하는 올바른 표현들을⁸⁾ 테스트 데이터로 활용하였다. 즉, 자주 실수하는 표현들과 그에 대응하는 올바른 표현들을 각각 입력으로 주었을 때, 어떤 로그 확률 값이 나타나는지를 보는 것이다. 로그 확률 값을 계산하는 방법은 3.
그렇다면 컴퓨터가 자동으로 어떤 문장이 자연스러운 문장인지를 검증할 수 있는가? 조금 더 문제를 단순화하면, 만약 어떤 두 문장이 주어졌을 때, 두 문장 중 더 자연스러운 문장이 어떤 것인지 컴퓨터가 자동으로 분류할 수 있는가? 예를 들어 다음과 같은 두 개의 문장이 있을 때, 사람의 관점에서는 첫 번째 문장보다 두 번째 문장이 더 자연스럽다는 것을 쉽게 알 수 있다. 컴퓨터가 최신의 언어 모델 학습 방법을 활용한다면 이것을 잘할 수 있는지 검증하는 것이 본 논문의 목표이다.

제안 방법

어휘의 개수 |V|는 약 30000이며, 임베딩 벡터의 차원의 수는 500, 순환 신경망의 차원의 수는 1000이다. 단일 GPU를 이용하여 학습하였고 3일 후 수렴하였다.
[Table 1]은 실험 결과를 나타낸다. 첫 번째 컬럼은 9가지 종류의 문제를 나타내며, 두 번째 컬럼은 어색한 문장(첫 번째 문장)과 그에 대응하는 자연스러운 문장(두 번째 문장)을 나타냈다. 세 번째 컬럼에서는 우리가 학습한 모델이 계산한 로그 확률 값을 나타낸 것으로, 더 높은 값일수록 더 자연스럽다고 판단한 것이다.

대상 데이터

영어 모델을 학습하였으므로 영어 데이터로 테스트할 필요가 있다. 영어권 국가의 초등학생들이 글쓰기를 할때 자주 실수하는 표현들과 그에 대응하는 올바른 표현들을⁸⁾ 테스트 데이터로 활용하였다. 즉, 자주 실수하는 표현들과 그에 대응하는 올바른 표현들을 각각 입력으로 주었을 때, 어떤 로그 확률 값이 나타나는지를 보는 것이다.
학습을 위해 Europarl 뉴스 데이터[10]를 사용하였다. 해당 데이터는 병렬 코퍼스를 제공하지만, 언어 모델을 만들 때에는 단일어 코퍼스만 사용하였다.

이론/모형

Deep Learning 프레임워크인 Theano를 활용하였고, DL4MT-material⁷⁾ 에 구현되어 있는 GRU 기반의 순환 신경망을 사용하여 언어 모델을 학습하였다. 어휘의 개수 |V|는 약 30000이며, 임베딩 벡터의 차원의 수는 500, 순환 신경망의 차원의 수는 1000이다.
본 논문에서는 N-gram 모델의 단점을 극복하기 위해 순환 신경망을 활용한 언어 모델[4]을 사용한다. 인코더- 디코더 아키텍처⁵⁾ 를 단순화한 신경망이라고도 볼 수 있다.

성능/효과

두 번째로, 만약 우리 말뭉치에 ‘chases a llama’라는 표현이 매우 적게 나타난다면, N-gram 모델에서는 이 확률 값을 매우 낮게 계산할 것이다.
언어에 따라서는 어휘의 개수가 100만개 이상이 되는 경우도 있기 때문에, 그런 경우에는 GPU 메모리에 신경망을 모두 불러오기 어렵고 학습 속도도 매우 느려지게 된다. 두 번째로, 말뭉치에 존재하지 않는 완전히 새로운 단어가 나타나게 될 경우 확률 값을 계산할 수 없다. 예를 들어 ‘lower’는 말뭉치에 있지만 ‘lowest’는 말뭉치에 없을 경우, ‘lowest’에 대한 확률 값을 계산하기 어렵다.
dog, cat, rabbit, llama 등은 모두 동물이기에 비슷한 임베딩 벡터를 가지게 될 것이기 때문이다. 세 번째로, (Fig. 2)에 나타낸 바와 같이 N-gram 모델에서는 이전 (N-1) 단어만 고려 하여 확률 값을 계산하지만, 순환 신경망 기반 언어 모델은 모든 이전 단어를 고려한다는 장점이 있다.
그리고 순환 신경망 모델을 이용하여 초등학생들이 잘못 작성한 문장과 올바른 문장 중 어떤 것이 더 자연스러운지 평가하게 했다. 실험 결과, 모든 9가지의 경우에 대해 자연스러운 문장을 잘 판별하는 것을 확인할 수 있었다. 순환 신경망 모델을 이용한 언어 모델이 초등 글쓰기 교육에 도움이 될 수 있다는 가능성을 보인 것이 본 논문이 공헌한 점이다.
따라서 언어 모델은 두 번째 문장이 더 자연스러운 문장으로 판단하며, 이는 사람의 생각과 같다. 실험 결과, 언어 모델은 모든 경우에 대해 첫 번째 문장보다 두 번째 문장이 더 자연스럽다고 판단했다. 즉, 모든 경우에 대해 자동으로 자연스러운 문장을 잘 분류해낼 수 있었다.

후속연구

두 번째 향후 연구는, 지금보다 더 많고 다양한 데이터를 활용하는 것이다. 학습에 사용하는 데이터의 수가 더 많아질수록 학습 시간이 오래 걸리기 때문에 많은 데이터를 활용하기 어렵지만, 보통 많은 데이터를 학습할수록 성능이 높아지기 때문에 추가 데이터를 학습해 볼 필요가 있다.
마지막으로, 본 연구가 실제 교육현장에서 적용되기 위해서는 스마트 기기에서 사용될 수 있는 형태로 구현되는 작업이 필요하다. 라즈베리 파이 등 초소형 PC가 보급될 수 있다면, MS Word의 추가 기능으로 구현되어도 좋다.
세 번째 향후 연구는, 로그 확률을 더 잘 구하는 방법에 관한 것이다. 현재의 방식은 많이 나타나는 단어에 높은 확률 값을 부여하고, 반대로 고유명사나 숫자와 같이 자주 나타나지 않는 단어인 경우에는 확률 값을 상대적으로 낮게 부여한다.
따라서 로그 확률의 절대적인 값은 문장의 자연스러움과 큰 관련성이 없다. 어떻게 로그 확률 값을 계산해야 이 값이 어느 수치 미만일 때 자연스럽지 않은 문장이라 말할 수 있는가? 이 문제를 해결할 수 있다면 글쓴이에게 어색한 문장을 알려주고 다른 문장을 추천해 주는 등의 작업을 수행할 수 있을 것이다.
1GB)보다 1000배 이상 많은 수준이다. 일반적으로 데이터가 많으면 많을수록 성능이 좋아지기 때문에 더 많고 다양한 단일어 코퍼스로 학습한다면 성능이 지금보다 개선될 것으로 기대하며, 이는 추후 연구로 남긴다. 영어 단일어 코퍼스만 사용하였으므로 영어 모델만 학습하게 되지만, 다른 언어의 모델도 동일한 방식으로 학습이 가능하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	지금까지 제안된 ICT 기반 교육 방법들은 수학, 과학, 사회, 국어, 영어 등 다양한 과목을 대상으로 하였는데, 이러한 교육 방법들의 예는 무엇이 있는가?	지금까지 제안된 ICT 기반 교육 방법들은 수학, 과학, 사회, 국어, 영어 등 다양한 과목을 대상으로 하였다. 예를 들어, 수학/과학 과목을 위해 ICT 콘텐츠를 만든 사례[15], 데이터 로깅 로봇을 이용한 과학 교육[11], 사회 교육을 위한 교수-학습용 시스템[12], TTS (Text-to-speech) 기술을 이용한 영어 교육[6, 19], 영어 /국어 교육을 위한 객관식 빈칸 채우기 문제 생성 및 유사 문장 자동 선별[16, 17] 등이 제안되었다. 기초학력을 진단, 보정하는 웹 기반 시스템[8], 진로교육을 위한 웹기반 인터페이스[13] 등 특정 과목과 직접적인 관련은 없지만 교육적 효과가 있는 사례도 제시되었다.
	대표적인 글쓰기 보조 프로그램은?	교사가 직접 초등학생들이 쓴 글을 보고 1:1 교정해 주는 방식[18, 22]으로 교육할 수 있다면 가장 좋겠지만, 그러기 위해서는 교사가 상당히 많은 시간을 투자해야 하기 때문에 이와 같은 자동화된 도구가 있다면 도움이 된다. 가장 대표적인 글쓰기 보조 프로그램은 맞춤법 검사기다. 그러나 이 프로그램들의 주목적은 문법적 오류를 교정하는 것이어서 초등학생들의 글에서 나타나는 다양한 오류들을 바로잡기에는 한계가 있다.
	맞춤법 검사기의 한계는?	가장 대표적인 글쓰기 보조 프로그램은 맞춤법 검사기다. 그러나 이 프로그램들의 주목적은 문법적 오류를 교정하는 것이어서 초등학생들의 글에서 나타나는 다양한 오류들을 바로잡기에는 한계가 있다. 다시 말하면, 초등학생이 쓴 글에서 문법적 오류를 모두 수정하더라도 그 문장이 자연스러울 것이라 보장할 수는 없다.

참고문헌 (23)

Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation By Jointly Learning to Align and Translate. In Proceedings of the International Conference on Learning Representations, 1-15.
Cho, K. (2015). Deep Learning for Machine Translation. DL4MT Winter School.
Gonzalez, Y., Saenz, L., Bermeo, J. & Chaves, A. (2013). The Role of Collaborative Work in the Development of Elementary Students’ Writing Skills. Profile Issues in Teacher’ Professsional Development, 15(1), 11-25.
Graves, A. (2013). Generating Sequences with Recurrent Neural Networks. arXiv:1308.0850.
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-term Memory. Neural Computation, 9(8), 1735-1780.

상세보기
In, J. & Han, J. (2016). The Prosodic Changes of Korean English Learners in Robot Assisted Learning. Journal of the Korean Association of Information Education, 20(4), 323-332.

원문보기 상세보기
Jang, S., Chun, S. (2016). A Study on Teachers’ Use of Applications in Teaching-Learning Activities. Journal of the Korea Association of Information Education, 20(1), 1-12.

원문보기 상세보기
Jeon, S. & Kim, H. (2016). A Study on Improvement of Web-based Diagnosis-Supplement System for Basic Academic Skills, 20(5), 487-498.
Kim, C. (2014). A Study on the Educational Use of Tiny PC in an Elementary School. Journal of the Korean Assocation of Information Education, 18(1). 101-110.

원문보기 상세보기
Koehn, P. (2005). Europarl: A Parallel Corpus for Statistical Machine Translation. MT Summit.
Lee, J. & Yoo, S. (2014). A Data Logging Smart r-Learning Effect on Students’ Logical Thinking. Journal of the Korean Association of Information Education, 18(1), 25-33.

원문보기 상세보기
Lee, M. & Ham, S. (2015). The Development and Effectiveness of the Smart System for Supporting Instructional Materials. Journal of the Korean Association of Information Education, 19(4), 399-408.

원문보기 상세보기
Lee, Y., Oh, D. & Park, S. (2015). The Web-Based Interface Design for University Students’ Activity-Oriented Career Education. Journal of the Korean Association of Information Education, 19(3), 345-360.

원문보기 상세보기
Luong, M., Pham, H. & Manning, C. D. (2015). Effective Approaches to Attention-based Neural Machine Translation. arXiv:1508.04025.
Park, S., Han, K., Lee, D., Shin, B. & Lee, J. (2015). Designing and Developing ICT Contents of Mathematics and Science in Agricultural, Mountain and Fishing Villages. Journal of the Korean Association of Information Education, 19(2), 215-224.

원문보기 상세보기
Park, Y. (2016). Automatic Generation of Multiple-Choice Questions Based on Statistical Language Model. Journal of the Korean Association of Information Education, 20(2), 197-206.
Park. Y. (2016). Automatic Selection of Similar Sentences for Teaching Writing in Elementary School. Journal of the Korean Assocation of Information Education, 20(4), 333-340.
Pham, T. (2012). A Study on Teaching and Learning Korean Grammars Method Based on Paraphrasing Activities. Master's Thesis, Seoul National University.
Ryu, M. & Han, S. (2016). Development of Smart Application for English Speaking. Journal of the Korean Association of Information Education, 20(4), 367-374.
Sennrich, R., Haddow, B. & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, arXiv:1508.07909.
Suh, S. & Goh, Y. (2016). Study on School Teachers’ Perception of and Usage of SMART Education. Journal of the Korean Association of Information Education, 20(2), 139-150.
Thornbury, S. (2000). How to Teach Grammar. Longman.
Xu, K., Ba, J. L., Kiros, R., Cho, K., Courville, A., Salakhutdinov, R., Zemel, R. S. & Bengio, Y. (2015). Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증