[논문]영어 회화 교육을 위한 예제 기반 대화 시스템

이성진; 이청재; 이근배

영어 회화 교육을 위한 예제 기반 대화 시스템
Example-based Dialog System for English Conversation Tutoring 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.37 no.2, 2010년, pp.129 - 136

이성진 (POSTECH 컴퓨터공학과) , 이청재 (POSTECH 컴퓨터공학과) , 이근배 (POSTECH 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 영어 회화 교육을 위한 예제 기반 대화 시스템에 대해 논한다. 기존의 획일적인 멀티미디어 영어 학습에서 벗어나 자연어 처리 및 대화 기술을 이용하여 지능적인 일대일 영어 회화 교육 제공을 목적으로 한다. 본 시스템은 미숙한 학습자 발화를 이해할 수 있으므로 불완전한 언어 구사 능력으로도 대화를 참여할 수 있는 체험형 학습을 제공한다. 이를 통해 학습자에게 영어를 배우려는 흥미로운 동기를 부여한다. 또한 학습자의 표현력 향상을 위한 교육적인 도움 기능을 갖추고 있다. 이를 위해 우리는 학습자의 미숙한 표현을 이해하는 담화 상황 고려 발화의도 인식 모델, 도메인 확장성이 뛰어난 예제 기반 대화 관리 모델, 교육 및 평가 기능을 개발하였다. 실험 결과 학습자의 발화에 에러가 많아도 높은 발화의도 인식 성능을 보였으며 대화 상황에 적합한 피드백을 제공하여 학습자가 회화 연습을 끝까지 마치도록 도와 교육 효과에 이바지함을 알 수 있었다.

Abstract ▼ AI-Helper

In this paper, we present an Example-based Dialogue System for English conversation tutoring. It aims to provide intelligent one-to-one English conversation tutoring instead of old fashioned language education with static multimedia materials. This system can understand poor expressions of students and it enables green hands to engage in a dialogue in spite of their poor linguistic ability, which gives students interesting motivation to learn a foreign language. And this system also has educational functionalities to improve the linguistic ability. To achieve these goals, we have developed a statistical natural language understanding module for understanding poor expressions and an example-based dialogue manager with high domain scalability and several effective tutoring methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러므로 본 연구에서는 발음 교육이나 문법 교육과같이 특정 영역만 연습할 수 있는 시스템보다 전반적인 영어 회화 유창성 향상을 목적으로 한 텍스트 입력, 음성 출력 기반의 영어 교육 대화 시스템을 다루고자 한다. 그리고 기존의 문법 오류를규칙 기반규칙기반 기술의 단점을 해결하기 위해서 통계 기반의 언어 이해 및 교육 피드백 기술을 연구하였다.
따라서 얼마나 피드백이 상황에 맞는 표현을 추천하여 대화 성공률을 높이는지 알아보는 실험하였다. 이를 위해 문법 오류 비율을 증가시키면서 각 수준별로 200 개의 대화를 수행하고 대화 성공율(Dialog Completion Rate - DCR)과 평균 대화 길이를 측정하였다.
이는 외국어 교사들이 대화 상황을 통해서 학습자의 발화 의미를 유추 하듯이 풍부한 담화 정보를 고려할 때만 가능한 것이다. 따라서 이 연구에서는 풍부한 담화 정보를 효과적으로 사용하는 통계 모델 기반의 화행/주행 인식기를 개발하였다. 일반적으로 자동으로 수행되는 단어나 형태소 같은 발화 정보 태깅에 비해 담화 정보는 태깅이 어려움으로 다양한 담화 정보(표 3)를 포함한 대량의 데이터를 구하기 어렵다.
본 연구에서는 기존의 발음 및 문법 교육과 같이 특정 영역교육에 그쳤던 연구들과 달리 통계 기반 자연어 이해, 예제 기반 대화관리, 영어교육 및 평가 기능을 통합하여 전반적인 영어회화 능력을 배양할 수 있는 교육 시스템을 개발하였다. 또한 발화내의 오류가 많은 저 수준 학습자들의 입력을 처리할 수 있도록 문법 오류 규칙에 기반한 방법이 아닌 통계 기반 언어 이해 방법을 연구하였으며 학습자 발화의 수많은 에러에도 불구하고 높은 발화 의도 인식 성능을 내기 위해 일반적으로 사용되는 발화 정보뿐 아니라 다양한 담화 정보까지 고려한 학습자 발화 의도 인식 모델을 제안하였다.

제안 방법

발화 의도를 인식한다. 그러나 에러가 많이 포함된 영어 학습자 발화의 의도를 정확히 인식하기 위해서 우리는 담화 정보와 발화 정보를 동시에 고려한 발화 의도 인식 모델을 제안하였다. 따라서 우리가 제안한 모델이 학습자의 발화에 포함된 에러의 비율에 따라서 발화정보 기반 모델만 사용한 경우보다 얼마만큼 더 좋은 성능을 보이는지 실험하였다.
그리고 기존의 문법 오류를규칙 기반규칙기반 기술의 단점을 해결하기 위해서 통계 기반의 언어 이해 및 교육 피드백 기술을 연구하였다. 이와 같은 영어 회화 교육 대화 시스템은 기존의 음성 인식 기술을 활용한 발음 교정 교육과 더불어 전체 영어 회화 교육에 사용되는 시스템의 중요한 구성 요소가 될 것이다.
다양한 수준의 학습자를 테스트하기 위해 문법 오류 비율(Grammar Error Rate)를 변화시키면서 각 수준당 200개의 대화씩 진행하였다. 그림 4에서 발화 모델(Ut terance model)은 발화 정보 기반 모델 하이브리드 모델(Hybrid mod니)은 우리가 제안한 모델의 성능을 보여준다.
그러나 에러가 많이 포함된 영어 학습자 발화의 의도를 정확히 인식하기 위해서 우리는 담화 정보와 발화 정보를 동시에 고려한 발화 의도 인식 모델을 제안하였다. 따라서 우리가 제안한 모델이 학습자의 발화에 포함된 에러의 비율에 따라서 발화정보 기반 모델만 사용한 경우보다 얼마만큼 더 좋은 성능을 보이는지 실험하였다.
시스템을 개발하였다. 또한 발화내의 오류가 많은 저 수준 학습자들의 입력을 처리할 수 있도록 문법 오류 규칙에 기반한 방법이 아닌 통계 기반 언어 이해 방법을 연구하였으며 학습자 발화의 수많은 에러에도 불구하고 높은 발화 의도 인식 성능을 내기 위해 일반적으로 사용되는 발화 정보뿐 아니라 다양한 담화 정보까지 고려한 학습자 발화 의도 인식 모델을 제안하였다. 제안된 모델은 발화 정보기반 모델만 사용하는 기존의 대화 시스템들보다 학습자 발화에러에 대해 더 나은 성능을 보였다.
이것은 의미 구조(semantic frame)를 먼저 정의하고 학습자 의도 인식기가 입력된 발화로부터 의미 구조를 채우는 문제로 볼 수 있다. 본 연구에서 표 2와 같이 화행 (dialog act), 주행(main action), 구성 성분(component slots)들로 이루어진 의미 구조 정의를 사용하였다.1)
도와주는 기능이다. 올바른 표현 피드백 기능과 달리 학습자의 발화 정보가 없기 때문에 담화 상황 정보 기반 인식 결과만을 사용하여 표현 예제 데이터베이스를 검색한다. 검색 결과가 여러 개일 때 무작위 선택으로 최종 표현 예제를 선택하여 스크린에 보여준다.
이 대화 코퍼스는 학습자 에러가 없는 원어민 발화들로만 구성되어있다. 이 연구에서는 다양한 수준의 학습자에 대해 많은 실험을 하기 위해 실제 학습자 대신 학습자 시뮬레이터를 이용하였다. 학습자 시뮬레이터는 일반 사용자 시뮬레이터[14]에서 만들어진 발화에 에러를 포함시키는 방식으로 구현되었다[15, 16].
따라서 얼마나 피드백이 상황에 맞는 표현을 추천하여 대화 성공률을 높이는지 알아보는 실험하였다. 이를 위해 문법 오류 비율을 증가시키면서 각 수준별로 200 개의 대화를 수행하고 대화 성공율(Dialog Completion Rate - DCR)과 평균 대화 길이를 측정하였다. 그림 5 의 결과에서 보면 문법 오류 비율이 증가함에 따라 발화 의도 인식 성능은 감소하여도 대화 성공율은 감소하지 않는다.
하는지를 학습자에게 알려준다. 평가 데이터 항목은 학습 테마 완수 여부(mission completion level), 소요 시간(elapsed time), 올바른 표현 피드백 횟수(recast feedback frequency), 표현 추천 피드백 횟수(sugges tion feedback frequency)로 구성되며 각 항목의 값에 따라 학습자의 개선 방향에 대해 정보를 제공한다.
그림 3은 피드백 생성 과정을 블럭도로 보여준다. 학습자 발화가 입력되면 발화가 발화 의도 인식기를 통해 발화 의도를 추정하고 추정된 발화 의도를 바탕으로 표현 예제 데이터베이스(Example Expression DB) 에서표현 예제를 검색한다. 표현 예제 데이터베이스는 사용자 발화 의도를 색인키로 하여 각 발화 의도에 해당하는 양질의 표현들을 저장하고 있다.
그림 1은 이 모델의 블럭도를 보여준다. 학습자 발화를 대상으로 발화 정보 기반 모델에서 발화 의도와 신뢰도를 추정하고, 동시에 담화 정보 기반 모델에서 대화 관리자로부터 얻은 현재 담화 상황을 대상으로 발화 의도와 신뢰도를 추정하여 두 결과를 합성하여 최종 결과를 추출한다. 이 모델을 수식으로 나타내면 다음과 같다.
학습자 시뮬레이터는 일반 사용자 시뮬레이터[14]에서 만들어진 발화에 에러를 포함시키는 방식으로 구현되었다[15, 16]. 한국인 영어 학습자와 유사한 에러를 만들기 위해 한국 대학생들의 영어 에세이를 모은 Korean Student English Essay(KSEE) 코퍼스에서 에러 분포(표 4)를 추출하였고 이 분포에 따라 에러를 발생 시 켰다.

대상 데이터

발화 의도 인식 모델과 대화 관리 모델을 훈련시키기위해 192개의 대화와 총 3, 517개의 발화로 이루어진 입출국 도메인의 대화 코퍼스를 이용하였다. 이 대화 코퍼스는 학습자 에러가 없는 원어민 발화들로만 구성되어있다.

이론/모형

뽑아낸다. 그다음 입력 발화를 대상으로 순차적 분류 모델인 CRF(Conditional Random Field)[10] 를이용하여 개체명을 뽑아낸다. 자세한 확률적 모델은 이전 연구[11]를 따랐다.
확장이 어려운 단점이 있다. 영어 교육 대화 시스템은 다양한 학습 테마를 지원해야 하므로 규칙 기반 모델 대신 도메인 확장성이 뛰어난 예제 기반 대화 관리[12] 방법을 사용하였다. 예제 기반 대화 모델은 대화 예제 말뭉치로부터 자동으로 모델을 학습하므로 저렴한 비용으로 새로운 도메인을 지원할 수 있다[13].
그다음 입력 발화를 대상으로 순차적 분류 모델인 CRF(Conditional Random Field)[10] 를이용하여 개체명을 뽑아낸다. 자세한 확률적 모델은 이전 연구[11]를 따랐다.
이 연구에서는 다양한 수준의 학습자에 대해 많은 실험을 하기 위해 실제 학습자 대신 학습자 시뮬레이터를 이용하였다. 학습자 시뮬레이터는 일반 사용자 시뮬레이터[14]에서 만들어진 발화에 에러를 포함시키는 방식으로 구현되었다[15, 16]. 한국인 영어 학습자와 유사한 에러를 만들기 위해 한국 대학생들의 영어 에세이를 모은 Korean Student English Essay(KSEE) 코퍼스에서 에러 분포(표 4)를 추출하였고 이 분포에 따라 에러를 발생 시 켰다.

성능/효과

제안된 모델은 발화 정보기반 모델만 사용하는 기존의 대화 시스템들보다 학습자 발화에러에 대해 더 나은 성능을 보였다. 그리고 단지 학습자의 발화 에러만 고치는 피드백이 아니라 대화 상황에 맞는 피드백을 제공하여서 학습자가 대화를 끝까지 성공적으로 마치도록 돕고 그 결과 회화 교육의 효과를 높일 수 있음을 보였다. 향후 연구계획으로는 다양한 도메인의 대화 시스템에 적용하여 교실 환경에서 실제 학습자들이 사용하도록 하여 실제 사용자 행동을 분석을 수행할 예정이며 학습자 음성인식에러를 시뮬레이션하여 제안된 모델이 음성 환경에서도 효과적임을 검증할 예정이다.
그림 4에서 발화 모델(Ut terance model)은 발화 정보 기반 모델 하이브리드 모델(Hybrid mod니)은 우리가 제안한 모델의 성능을 보여준다. 문법 오류 비율이 증가할수록 발화 정보 기반 모델의 성능은 급격히 감소하는 것에 비해 제안된 모델은 천천히 성능이 감소하는 것을 볼 수 있으며 그 차이가 매우 큰 것을 통해 제안된 모델이 담화 정보를 활용하여 높은 문법 오류 비율에서도 좋은 성능을 보일 수 있음을 확인하였다.
또한 발화내의 오류가 많은 저 수준 학습자들의 입력을 처리할 수 있도록 문법 오류 규칙에 기반한 방법이 아닌 통계 기반 언어 이해 방법을 연구하였으며 학습자 발화의 수많은 에러에도 불구하고 높은 발화 의도 인식 성능을 내기 위해 일반적으로 사용되는 발화 정보뿐 아니라 다양한 담화 정보까지 고려한 학습자 발화 의도 인식 모델을 제안하였다. 제안된 모델은 발화 정보기반 모델만 사용하는 기존의 대화 시스템들보다 학습자 발화에러에 대해 더 나은 성능을 보였다. 그리고 단지 학습자의 발화 에러만 고치는 피드백이 아니라 대화 상황에 맞는 피드백을 제공하여서 학습자가 대화를 끝까지 성공적으로 마치도록 돕고 그 결과 회화 교육의 효과를 높일 수 있음을 보였다.
표현 예제 데이터베이스는 사용자 발화 의도를 색인키로 하여 각 발화 의도에 해당하는 양질의 표현들을 저장하고 있다. 표현 예제 데이터베이스 검색 결과 중 입력된 학습자 발화와 일치하는 예문이 없으면 학습자 발화가 에러를 포함한 것으로 판단하여 어휘 유사도가 가장 높은 발화를 올바른 표현 피드백으로 선택한다. 반면 검색 발화 중 입력 발화와 일치하는 발화가 있으면 학습자의 발화가 올바른 것임으로 검색 결과 중 입력 발화와 다른 발화를 대체 표현 피드백으로 선택하여 보여준다.

후속연구

그리고 단지 학습자의 발화 에러만 고치는 피드백이 아니라 대화 상황에 맞는 피드백을 제공하여서 학습자가 대화를 끝까지 성공적으로 마치도록 돕고 그 결과 회화 교육의 효과를 높일 수 있음을 보였다. 향후 연구계획으로는 다양한 도메인의 대화 시스템에 적용하여 교실 환경에서 실제 학습자들이 사용하도록 하여 실제 사용자 행동을 분석을 수행할 예정이며 학습자 음성인식에러를 시뮬레이션하여 제안된 모델이 음성 환경에서도 효과적임을 검증할 예정이다.

참고문헌 (16)

Mayfield, L., Wang, L., and Eskenazi, M., "An empirical study of the effectiveness of speechrecognition-based pronunciation training," In Proceedings of the 6th ICSLP, Volume 1, pp.677-680, 2000.
Swain, M., The output hypothesis: Theory and research in E. Hinkel (ed.): Handbook of Research in Second Language Teaching and Learning, Mahwah, NJ: Lawrence Erlbaum Associates, pp. 471-83. 2005.
Long, M. H. The role of the linguistic environment in second language acquisition in W. C. Ritchie and T. K. Bhatia (eds): Handbook of Second Language Acquisition. New York: Academic Press, pp.413-68. 1996.
Schneider, David, and McCoy K. F. Recognizing Syntactic Errors in the Writing of Second Language Learners. In Proceedings of the Thirty-Sixth Annual Meeting of the Association for Computational Linguistics and the Seventeenth International Conference on Computational Linguistics (COLING-ACL), Volume 2. 1998.
Raux, A. and Eskenazi, M. Using Task-Oriented Spoken Dialog Systems for Language Learning. Potential, Practical Applications and Challenges, Proceedings INSTIL. 2004.
Morton, H. and Jack, M. A. Scenario-Based Spoken Interaction with Virtual Agents, Computer Assisted Language Learning, 18:3 pp.171-191. 2005.

상세보기
Ratnaparkhi, A., "Maximum Entropy Models for Natural Language Ambiguity Resolution," PhD thesis, University of Pennsylvania, 1998.
Dasarathy, B. V., Nearest neighbor (NN) norms: NN pattern classification techniques, Los Alamitos: IEEE Computer Society Press. 1990.
Lee, S., and Lee, G., "Recognizing Language Learners' Intention using Dialog Context," Korean Society of Speech Sciences 2008.
Lafferty, J., McCallum, A., and Pereira, F., "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data," Proc. Int'l Conf. Machine Learning, 2001.
Lee, C., Eun, J., Jeong, M., Lee, G., Hwang, Y., and Jang, M., "A multi-strategic concept spotting approach for robust spoken Korean understanding," ETRI journal, vol.29, no.2. pp.178-188, 2007.
Lee, C., Jung, S., Kim, S., Lee, G. Example-based dialog modeling for practical multi-domain dialog system. Speech Communications, 51:5 (466-484), May, 2009.

상세보기
Lee, C., Jung, S., Eun, J., Jeong, M., and Lee, G., "Chat and Goal-oriented Dialog Together: A Unified Example-based Architecture for Multidomain Dialog Management," in Proceedings of the IEEE Spoken Language Technology Workshop, pp.194-197. 2006.
Jung S., Lee C., Kim K., Lee G., "An integrated dialog simulation technique for evaluating spoken dialog systems," Proceedings of the COLING workshop on Speech Processing for Safety Critical Translation and Pervasive Applications. 2008.
Foster J., "Treebanks Gone Bad: Parser evaluation and retraining using a treebank of ungrammatical sentences," International Journal on Document Analysis and Recognition, 10(3-4), 129-145. 2007.

상세보기
Lee, S., and Lee, G., "Realistic grammar error simulation using markov logic," in Proceedings of the ACL 2009, Singapore, August 2009.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증