[논문]외국어 학습용 어플리케이션의 음성 인식 기술 활용 현황 - 영어와 프랑스어 말하기 학습을 중심으로 -

김선희; 정현훈

doi:10.9728/dcs.2018.19.4.621

[국내논문] 외국어 학습용 어플리케이션의 음성 인식 기술 활용 현황 - 영어와 프랑스어 말하기 학습을 중심으로 -
A Study on the Utilization of Speech Recognition Technology in Foreign Language Learning Applications - Focusing on English and French Speech - 원문보기

디지털콘텐츠학회 논문지 = Journal of Digital Contents Society, v.19 no.4, 2018년, pp.621 - 630

김선희 (네이버(주) 클로바) , 정현훈 (서울대학교 융합과학기술대학원)

초록
AI-Helper

본 연구는 외국어 학습 어플리케이션에서의 음성 인식 기술의 활용 현황에 관한 연구로서, 외국어 말하기 교육에 적용된 음성인식 기술의 현황과 그 한계를 파악하는 것을 그 목적으로 한다. 연구 대상으로 선정된 영어와 프랑스어 학습 어플리케이션에 대하여 말하기 학습을 중심으로 살펴 본 결과, 음성 인식 기술의 활용은 학습자의 말하기 연습 환경을 만들고 말하기 평가를 기반으로 한 피드백을 줄 수 있다는 장점이 있으나, 학습자들에게 오류를 스스로 교정할 수 있는 적절한 교정 피드백을 제공하지 않는 한계를 보이고 있음을 알 수 있었다.

Abstract ▼ AI-Helper

This paper presents a case study on foreign language learning applications based on the speech recognition technology, aiming to grasp their current status and limitations of the technology applied to the foreign language speaking education, especially for English and French. As a result of examining the characteristics of the selected English and French applications by drawing on speech learning, it is shown that the use of speech recognition technology has the advantage of creating a speaking practice environment and giving feedback. However, in the case of feedback, there is a lack of appropriate calibration feedback which can help learners correct errors by themselves.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그런데, 최근 음성기술을 기반으로 한 컴퓨터 보조 언어 학습(Computer-Assisted Language Learning: CALL) 혹은 컴퓨터 보조 발음 교육(Computer-Assisted Pronunciation Training: CAPT)과 같이 컴퓨터를 이용한 학습 방식에 대한 연구와 개발이 활발하게 진행됨에 따라, 말하기 교육에 음성기술이 적용되고 있는 사례들이 많아지고 있다[3]. 본 연구는 외국어 학습 어플리케이션에서의 음성 인식 기술의 활용 현황에 관한 연구로서 영어와 프랑스어의 말하기 교육을 중심으로 고찰하고자 한다. 이와 같은 연구를 통하여 현재 외국어 말하기 교육에 적용된 음성기술의 현황과 그 한계를 파악하여 이후 음성기술뿐만 아니라 음성인터페이스 기반의 말하기 교육 시스템을 개발하는 데 있어서 실질적으로 기여하고자 한다.
본 연구는 외국어 학습 어플리케이션에서의 음성 인식 기술의 활용 현황에 관한 연구로서 영어와 프랑스어의 말하기 교육을 중심으로 고찰하고자 한다. 이와 같은 연구를 통하여 현재 외국어 말하기 교육에 적용된 음성기술의 현황과 그 한계를 파악하여 이후 음성기술뿐만 아니라 음성인터페이스 기반의 말하기 교육 시스템을 개발하는 데 있어서 실질적으로 기여하고자 한다.
본 연구에서는 음성인식 기술을 기반으로한 영어 및 프랑스어 말하기 교육 어플리케이션 사례를 분석하기 위하여 [19]에서 제안된 분석 대상 선정 기준에 인지도에 대한 기준을 추가하였다. 선정 기준은 다음과 같다.

제안 방법

또한, 음성인식 기술을 기반으로 하는 말하기 중심의 어플리케이션을 상위 업체 순으로 검토한 결과 시원스쿨 계열에서 말하기를 더 집중적으로 다루는 교육인 ‘위런영어 리얼트레이닝’3) 그리고 스피킹맥스4)를 선정하였다.
앞서 살펴본 영어 학습 어플리케이션인 로제타스톤, 시원스쿨 위런영어 리얼트레이닝, 스피킹맥스 그리고 엘사영어에 대하여 그 특징을 비교하여 다음 로 나타내었다.
본 연구는 외국어 학습 어플리케이션에서의 음성 인식 기술의 활용 현황에 관한 연구로서, 대상 어플리케이션의 선정을 위하여 4가지 기준을 제안하고, 이러한 기준에 의거하여 영어와 프랑스어 어플리케이션을 각각 4개씩 선정하였다. 선정된 영어와 프랑스어 브랜드들에 대하여 말하기 학습에 초점을 맞추어 그 특징을 살펴본 결과, 영어와 프랑스어의 교육 사례를 통해 본 음성인식 기술의 활용은 학습자의 말하기 연습 환경을 만들고 피드백을 줄 수 있다는 장점이 있지만, 음향 패턴 비교를 통한 피드백이나 점수 제공은 모국어 화자와 소리를 비슷하게 내는 방식을 연습하도록 유도하는 것에 그치고, 학습자들로 하여금 정확한 발음을 연습하도록 하는 데에는 어려움이 있었다.

대상 데이터

프랑스어의 경우는 기본적으로 컴퓨터 기반 언어교육을 제공하며 동시에 인지도 있는 글로벌 외국어 교육 어플리케이션 중 프랑스어 교육을 제공하는 로제타스톤, ‘몬들리(Mondly),’ ‘부수(Busuu),’ 그리고 ‘듀오링고 (Duolingo)’를 선정하였다.
동일한 기준으로 프랑스어 사례 분석을 위한 교육 어플리케이션도 4개를 선정하였다.
글로벌 영어 교육 어플리케이션으로는 먼저, 컴퓨터 기반 외국어 학습 어플리케이션으로 널리 알려져 있는 ‘로제타스톤 (Rosetta Stone)’5)과 국내의 모바일 어플리케이션 스토어에서 내려받을 수 있는 ‘엘사영어(Elsa Speak)’6)를 선정하였다.
이러한 기준에 근거하여 영어 사례 분석을 위한 교육 어플리케이션으로 국내 영어 교육 어플리케이션 2개, 그리고 국내에서 모바일 앱 등을 통해 교육을 받는 글로벌 영어 교육 어플리케이션 2개로 최종적으로 4개를 선정하였다. 초급 학습자의 말하기 교육을 중심으로 하고있는 국내 어플리케이션으로는 ‘야나두’, ‘시원스쿨’, ‘스피킹맥스’, ‘뇌새김 영어’ 등이 있다.
초급 학습자의 말하기 교육을 중심으로 하고있는 국내 어플리케이션으로는 ‘야나두’, ‘시원스쿨’, ‘스피킹맥스’, ‘뇌새김 영어’ 등이 있다. 사용자의 인지도에 대한 구체적인 기준을 수립하기 위해서는 한국소비자원이 온라인 영어 서비스 이용자 900명을 대상으로 한 소비자 만족도 조사 결과를 이용하였다. 11월 7일 제시한 자료²⁾에 의하면 만족도는 각각 야나두가 3.

성능/효과

이러한 경향은 특히 해외 여행, 외국인과의 교류 혹은 비즈니스의 목적을 위하여 실용적인 외국어 사용이 중요하게 된 성인을 중심으로 더욱 두드러지게 나타나고 있다.¹⁾ 특히 성인을 대상으로 한 외국어 교육 시장의 확장은 외국어 교육에 대한 경제성과 시간 효율성에 대한 소비자들의 수요가 높아짐에 따라, 온라인 및 모바일 기반의 외국어 교육이 증가하는 추세와 맥을 같이 하고 있다. 이와 같이, 실용성과 함께 일반된 스마트 기기를 활용해 효율성을 높이는 방법을 찾는 성인 학습자들의 욕구와 더불어 말하기 중심의 외국어 교육 어플리케이션이 많이 등장하게 되었다.
본 연구에서 중점적으로 다루고자 하는 부분은 음성인식을 활용하는 말하기 학습 방법과 이에 대한 피드백 부분으로, 말하기 학습에 있어서는 4개 어플리케이션 모두 원어민 발화를 따라 말하기 방식을 채용하고 있음을 알 수 있다. 스피킹맥스의 경우는 따라 말하기 외에 질문에 대하여 답변하는 방식이 추가되는데, 음성인식 측면에서 보면 질문에 대한 답변의 경우는 좀더 어려운 자유 발화 인식 테스크라고 할 수 있다.
몬들리의 경우는 음성인식기를 활용하여 음성인식 결과를 직접 보여주는 방식이고, 듀오링고의 경우는 발화한 문장의 번역을 보여 주는데, 이는 발화한 문장을 인식한 다음 그 결과를 자동 번역기를 이용하여 학습자에게 제공하여 학습자 스스로 제대로 답변을 했는지 확인하도록 하는 방식이다. 실제로 학습자에게 제시하는 내용은 상이하지만, 이 세 어플리케이션의 경우는 모두 공통적으로 음성인식 기술을 활용하고 있는 것을 확인할 수 있었다. 듀오링고의 경우는 음성인식 기술 외에 봇을 이용하여 가능한 답변을 생성해서 보여주거나 답변의 번역을 제시하는 등의 자연어처리 방식을 좀 더 도입하고 있다.
본 연구를 통하여 영어와 프랑스어 어플리케이션 모두 말하기 교육에 있어서 기본적으로 음성인식 기술이 적절하게 활용되고 있다고 볼 수 있었다. 피드백의 경우는 대부분 학습자들의 발화에 대한 평가에 그치고, 학습자들로 하여금 본인의 발음 오류를 스스로 교정할 수 있는 적절한 교정 피드백의 부분에 있어서 미흡하다고 할 수 있다.

후속연구

이와 같은 교정 피드백을 적절하게 생성해 내기 위해서는 말하기에 있어서 어떠한 자질들이 교정 피드백을 생성해 낼 수 있는지에 대한 연구 [10][11][12]와 이를 실제로 학습자들이 쉽게 적용할 수 있는 자질로 변환하는 고민이 필요하다. 이러한 연구는 궁극적으로 음성인식 기술을 기반으로 한 오류 추출, 오류 진단 및 교정 피드백 생성 기술을 발전시키고, 나아가 대화 기술과 통합한 형태인 가상 교사(Virtual Tutor)를 기반으로 한 교육 시스템으로 발전해 가는 데 기여할 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	국내외 음성 인터페이스기반의 가상 비서로는 무엇이 있는가?	애플의 시리(Siri) 이후 스마트 스피커와 함께 국외에서는 아마존의 알렉사, 구글의 구글 어시턴트, 국내에서는 SKT의 누구, 삼성의 빅스비, 네이버의 클로바, 등 음성 인터페이스(Voice User Interfacer: VUI) 기반의 가상 비서(Virtual Assistant)가 인공지능 서비스의 핵심 기술로서 치열하게 경쟁을 하고 있다. 가상 비서를 가능하게 하는 인터페이스는 음성인식, 음성합성과 같은 음성기술과 자연어 처리를 기반으로 하는 대화처리 기술이다.
	외국어 학습 어플리케이션의 음성 인식 기술의 활용 현황을 파악하여 발견한 문제점은?	본 연구는 외국어 학습 어플리케이션에서의 음성 인식 기술의 활용 현황에 관한 연구로서, 대상 어플리케이션의 선정을 위하여 4가지 기준을 제안하고, 이러한 기준에 의거하여 영어와 프랑스어 어플리케이션을 각각 4개씩 선정하였다. 선정된 영어와 프랑스어 브랜드들에 대하여 말하기 학습에 초점을 맞추어 그 특징을 살펴본 결과, 영어와 프랑스어의 교육 사례를 통해 본 음성인식 기술의 활용은 학습자의 말하기 연습 환경을 만들고 피드백을 줄 수 있다는 장점이 있지만, 음향 패턴 비교를 통한 피드백이나 점수 제공은 모국어 화자와 소리를 비슷하게 내는 방식을 연습하도록 유도하는 것에 그치고, 학습자들로 하여금 정확한 발음을 연습하도록 하는 데에는 어려움이 있었다. 즉, 이는 기초 수준의 학습자에게는 장점이 될 수 있지만 고급 수준까지 확장시키기에는 제한적인 방식이라고 할 수 있다.
	가상 비서를 가능하게 하는 인터페이스는 무엇인가?	애플의 시리(Siri) 이후 스마트 스피커와 함께 국외에서는 아마존의 알렉사, 구글의 구글 어시턴트, 국내에서는 SKT의 누구, 삼성의 빅스비, 네이버의 클로바, 등 음성 인터페이스(Voice User Interfacer: VUI) 기반의 가상 비서(Virtual Assistant)가 인공지능 서비스의 핵심 기술로서 치열하게 경쟁을 하고 있다. 가상 비서를 가능하게 하는 인터페이스는 음성인식, 음성합성과 같은 음성기술과 자연어 처리를 기반으로 하는 대화처리 기술이다. 음성기술과 대화처리 기술을 기반으로 한 가상 비서는 음악, 뉴스, 등을 포함한 많은 서비스 영역에서 인터페이스를 담당하고 있는데, 교육 영역에서는 ETRI에서 자체 개발하여 상용화한 스마트폰용 영어 학습 서비스인 ‘GnB smart English’와 ㈜ 엔씨소프트의 어린이용 영어 학습 게임인 ‘호두 잉글리시’가 있으나[4][5], 아직까지 그 적용이 활발하지는 않은 실정이다.

참고문헌 (23)

Dalby, J., & Kewley-Port, D. (1999). Explicit pronunciation training using automatic speech recognition technology. CALICO journal, 425-445.
Eskenazi, M. (1999). Using automatic speech processing for foreign language pronunciation tutoring: Some issues and a prototype. Language Learning & Technology, Volume 2, Number 2, 62-76.
Eskenazi, M. (2009). An overview of spoken language technology for education. Speech Communication, 51(10), 832-844.

상세보기
Kwon, O. W., Lee, K., Roh, Y. H., Huang, J. X., Choi, S. K., Kim, Y. K., ... & Chung, E. (2015). GenieTutor: A Computer-Assisted Second-Language Learning System Based on Spoken Language Understanding. In Natural Language Dialog Systems and Intelligent Assistants (pp. 257-262). Springer, Cham.
Lee,Y. K. (2013). Conversational voice interface technology and services. IEEK Summer Conference 2013, 1847-1849
Neri,A., Cucchiarini, C.,&Strik W. (2003). Automatic speech recognition for second language learning: How and why is actually works. In Proceedings of the 15th international Conference on Phonetic Sciences, 1157-1160.
Franco, H., Neumeyer, L., Kim, Y., & Ronen, O. (1997). Automatic pronunciation scoring for language instruction. In IEEE International Conference on Acoustics, Speech, and Signal Processing, 1997. Vol. 2, 1471-1474.
Witt, S. M., & Young, S. J. (2000). Phone-level pronunciation scoring and assessment for interactive language learning. Speech communication, 30(2-3), 95-108.

상세보기
Strik, H., Truong, K., De Wet, F., & Cucchiarini, C. (2009). Comparing different approaches for automatic pronunciation error detection. Speech communication, 51(10), 845-852.

상세보기
Li, K., Qian, X., & Meng, H. (2017). Mispronunciation detection and diagnosis in l2 English speech using multidistribution deep neural networks. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 25(1), 193-207.

상세보기
Li, W., Li, K., Siniscalchi, S. M., Chen, N. F., & Lee, C. H. (2016). Detecting Mispronunciations of L2 Learners and Providing Corrective Feedback Using Knowledge-Guided and Data-Driven Decision Trees. In Interspeech, 3127-3131.
Ryu, H., & Chung, M. (2017). Mispronunciation Diagnosis of L2 English at Articulatory Level Using Articulatory Goodness-Of-Pronunciation Features. In Proc. 7th ISCA Workshop on Speech and Language Technology in Education 65-70.
Tatai G., Csordas A., Kiss A., Szalo A., and Laufer L. (2003). Happy chatbot, happy user. Intelligent Virtual Agents, vol. 2792, 5-12.
Stewart I., File P. (2007). Let's chat: A conversational dialogue system for second language practice. Computer Assisted Language Learning, 20, 97.116.

상세보기
Jia, J.(2009). CSIEC: A computer assisted English learning chatbot based on textual knowledge and reasoning. Knowledge-Based Systems, 22(4), 249-255.

상세보기
Macaro, E., Handley, Z., & Walter, C. (2012). A systematic review of CALL in English as a second language: Focus on primary and secondary education. Language Teaching, 45(1), 1-43.

상세보기
Mazur, M., Rzepka, R., & Araki, K. (2011). Proposal for a conversational English tutoring system that encourages user engagement. In Proceedings of the 19th International Conference on Computers in Education (pp. 10-12).
Park E. Y. & K. A Lee (2013). The proposal of multimedia contents method using voice recognition - Focused on the user app interface for the children's English. A journal of Brand Design Association of Korea, 24.
Oh, E. Y. (2017). Developmental research on an interactive application through speech recognition technology for foreign language speaking practice. Doctoral dissertation, The graduate school, Seoul National University.
Lee, H. A & J. Youn (2012). An analysis of elements to improve interactivity in educational apps for smart learning. Korea Science & Art Forum 10, 2012.07, 143-154
Kim, H.-Z. (2014). A propos de la possibilite sur l'apprentissage du francais mettant en oeuvre des appareils mobiles, Societe Coreenne d'Enseignement de Langue et Litterature Francaises 45, 43-73.
Yun-Roger, Y. (2012). Le Smartphone dans un cours de langue etrangere - retour d'experience d'un cours de francais oral a l'Universite en Coree, Revue d'Etudes francaises 78, 2012.5, 405-431
Jang, B.-Y. (2015), Etude sur l'Application de Smart-Learning pour l'enseignement d'une langue etrangere. The Journal of Linguistic Science 71, 377-396.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format