[논문]가상현실 기반 상황몰입형 영어 대화 학습 시스템

김진원; 박승진; 민가영; 이건명

doi:10.22156/cs4smb.2017.7.6.245

[국내논문] 가상현실 기반 상황몰입형 영어 대화 학습 시스템
Virtual Reality based Situation Immersive English Dialogue Learning System 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.7 no.6, 2017년, pp.245 - 251

김진원 (충북대학교 소프트웨어학과) , 박승진 (충북대학교 소프트웨어학과) , 민가영 (충북대학교 소프트웨어학과) , 이건명 (충북대학교 소프트웨어학과)

초록
AI-Helper

이 논문에서는 학습자가 가상현실 안에서 음성으로 원어민 캐릭터와 대화하는 영어 대화 학습 시스템을 제안한다. 제안 시스템에서 사용자는 다양한 시나리오의 가상현실 상황에서 대화를 한다. 시스템은 사용자의 음성을 인식하고, 음성 합성을 이용하여 캐릭터의 음성을 제공한다. 몰입감과 현실감 있는 환경을 제공하는 가상현실 환경을 통해 영어 대화하는 과정에서 학습의 발음을 평가한 정보를 학습자에게 피드백으로 제공한다.

Abstract ▼ AI-Helper

This presents an English conversation training system with which learners train their conversation skills in English, which makes them converse with native speaker characters in a virtual reality environment with voice. The proposed system allows the learners to talk with multiple native speaker characters in varous scenarios in the virtual reality environment. It recongizes voices spoken by the learners and generates voices by a speech synthesis method. The interaction with characters in the virtual reality environment in voice makes the learners immerged in the conversation situations. The scoring system which evaluates the learner's pronunciation provides the positive feedback for the learners to get engaged in the learning context.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

가상현실을 활용하면 학습자에게 시간과 비용, 장소의 제한 없이 가상현실 내 원어민과의 영어 대화를 통해 효과적인 영어학습을 현실감 있게 제공할 수 있다. 이 논문에서는 학습자의 영어 회화 능력을 향상시킬 수 있도록 가상현실 기술을 활용하는 방법을 제안한다.

제안 방법

또한, 드리머스 에듀케이션에서 개발한 PC기반 영어회화 학습 시스템인 토크리시 뉴욕스토리(Talklish New York Stroy)가 있다. 학습자는 모니터를 보고, 가상의 아바타를 통해 뉴욕에서 1년간 생활하며 겪는 여러 가지의 에피소드를 영어로 직접 말하고 들으며 학습한다.
가상현실 안에서 학습하는 것이 모니터를 보면서 학습하는 것보다 효과적이라는 연구를 근거로 하고[9], 사용자 몰입감을 향상시키기 위해 가상현실 개념을 도입하였다. 본 시스템은 가상현실 내에 영어로 대화할 수 있는 원어민을 배치하였다.
음성 인식 설계는 특정 버튼이나 이벤트를 발생시켜 특정 시간에만 인식하는 것이 아니라, 시나리오에 진입하는 순간부터 마이크로부터 입력되는 모든 음성을 인식하여 분석 및 비교한다. 사용자가 특정 음성을 말하여 텍스트로 변환된 뒤, 정답 텍스트와 일치한다면 특정 이벤트를 발생시킨다.
제안한 시스템은 다음과 같은 알고리즘을 통해서 가상현실 기반의 영어대화 학습 진행을 한다.
제안 시스템은 사용자에게 보여지는 가상현실 부분과 시스템의 기능을 구성하는 각 모듈 및 데이터베이스로 구성되어 있다. Fig.
음성 인식 구현은 구글 스피치 API(Google Speech API) 음성 인식 기능을 사용하여 마이크를 통해 입력되는 사람의 음성을 인식하고 텍스트로 변환하였다. 음성 합성 구현은 구글 번역기 API(Google Translate API)를 이용하여 구현하였다.
스테레오 뷰 구현은 유니티 3D와 구글 카드보드 SDK(Google Cardboard SDK)를 이용하여 구현하였다. 구글 카드보드 SDK를 이용한 유니티 3D는 수렴 거리를 고려한 오브젝트 위치가 자동계산되어 스테레오스코피로 스테레오 뷰를 출력한다.
가상현실 상호작용 구현은 구글 카드보드 SDK와 카드보드의 마그네틱 버튼을 이용하여 구현하였다. 가상현실 내에서 특정 이벤트를 발생시키기 위해서는 사용자의 입력이 요구된다.
그리고 학습자가 대화에 몰입할 수 있는 환경을 제공해주지 못했으며, 학습자의 오류를 발췌하여 피드백해주는 시스템이 구축되어 있지 않았다. 그러므로 기존의 영어 학습 시스템을 개선하고, 해외 어학연수의 시간과 비용 문제를 해결할 수 있는 영어 학습 시스템을 제안했다. 본 논문에서 제안하는 학습 시스템은 가상현실 환경을 통해 좀 더 몰입감 있는 환경을 제공하여 생동감 있는 학습 환경을 제공한다.
그러므로 기존의 영어 학습 시스템을 개선하고, 해외 어학연수의 시간과 비용 문제를 해결할 수 있는 영어 학습 시스템을 제안했다. 본 논문에서 제안하는 학습 시스템은 가상현실 환경을 통해 좀 더 몰입감 있는 환경을 제공하여 생동감 있는 학습 환경을 제공한다. 특히, 토크리시 뉴욕 스토리 같은 경우와 본 학습 시스템 모두 사용자의 음성을 점수화하여, 피드백을 하지만 본 논문에서 제시하는 학습 시스템의 경우, 사용자의 발음, 대답 등에 대해 정확한 피드백을 제공하여 오류를 개선할 수 있도록 유도한다는 점에서 차이점을 보인다.

대상 데이터

제안 시스템은 유니티 3D 프로그램을 이용하여 C# 언어로 구현하였다. 사용 API는 Google VR SDK, Google Speech API, Google Translate API이다. 시스템 구동은 Android kitkat 4.
사용 API는 Google VR SDK, Google Speech API, Google Translate API이다. 시스템 구동은 Android kitkat 4.4 이상의 2560x1440 해상도를 가진 안드로이드 디바이스에서 구동하였다.

이론/모형

음성 인식 구현은 구글 스피치 API(Google Speech API) 음성 인식 기능을 사용하여 마이크를 통해 입력되는 사람의 음성을 인식하고 텍스트로 변환하였다. 음성 합성 구현은 구글 번역기 API(Google Translate API)를 이용하여 구현하였다.

성능/효과

구글 카드보드 SDK를 이용한 유니티 3D는 수렴 거리를 고려한 오브젝트 위치가 자동계산되어 스테레오스코피로 스테레오 뷰를 출력한다. 이를 통해, 사용자는 일반 모니터를 보고 영어 학습 시스템을 실행했을 때보다 스테레오 뷰를 가지고 있는 스마트폰 어플리케이션을 이용하여 가상공간 안에서 보다 더 몰입감 있는 영어대화가 가능하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영어를 배우기 위해 해외로 유학을 가거나 워킹 홀리데이를 하는 등의 방법은 어떤 단점이 있는가?	그렇기 때문에 많은 사람들이 영어를 배우기 위해 해외로 유학을 가거나 워킹 홀리데이를 하는 등 많은 시간과 비용, 노력을 필요로 하는 방법을 선택하고 있다. 이러한 방법이 효과적이지만 시간이나 비용적인 문제로 인해 대다수 사람들은 실천하기 어렵다. 또한, 기존의 영어 학습 시스템은 실용영어 중심이 아닌 독해와 문법 중심의 시스템이 구축되어 있으며, 이러한 영어학습 방법은 비효율적이라는 문제가 많이 제기되어 왔다. 가상현실을 활용하면 학습자에게 시간과 비용, 장소의 제한 없이 가상현실 내 원어민과의 영어 대화를 통해 효과적인 영어학습을 현실감 있게 제공할 수 있다.
	가상현실은 무엇인가?	가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황· 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말하는 것이다.[6]
	가상현실을 활용하면 영어 학습자에게 무엇을 제공할 수 있는가?	또한, 기존의 영어 학습 시스템은 실용영어 중심이 아닌 독해와 문법 중심의 시스템이 구축되어 있으며, 이러한 영어학습 방법은 비효율적이라는 문제가 많이 제기되어 왔다. 가상현실을 활용하면 학습자에게 시간과 비용, 장소의 제한 없이 가상현실 내 원어민과의 영어 대화를 통해 효과적인 영어학습을 현실감 있게 제공할 수 있다. 이 논문에서는 학습자의 영어 회화 능력을 향상시킬 수 있도록 가상현실 기술을 활용하는 방법을 제안한다.

참고문헌 (10)

J. W. Kim. (2006). Problems in Teaching English and Effective Learning Methods. Master dissertation. Sejong University, Seoul.
H. J. Choi & S. K. Kim. (2012). The Effect of Native English Teachers on High School Students' English Performance. Master dissertation. Korea University, Seoul.
J. Rubin. (1975). What the good language learner can teach us. TESOL Quarterly, 9(1), 41-51. DOI : 10.2307/3586011

상세보기
S. H. Kim, J. S. Oh & M. J. Kim. (2013). English Learning System, WO2011019257 A3. Korean Intellectual Property Office. http://kipo.go.kr/kpo/user.tdf?auser.english.main.BoardApp&c1001
J. O. Joe. (2014). A study on ARCS model's application for the development of learning motivation of colledge General English education. Korean Journal of Heneral Education, 8(6), 111-141
M. Vafadar. (2013). Virtual Reality : Opportunities and Challenges. International Journal of Modern Engineering Research (IJMER). 3(2), 1139-1145.
U. Y. Yang, D. S. Jo, Y. W. Kim, G. Lee & H. M. Kim. (2017). Virtual Reality Technology for Industrial Application. Electronic Telecommunications Trend Analysis, 26(1), 1-11.
S. Y. Park, H. J. Yoo, M. S. Lee & J. H. Hong. (2001). The Design of VR-CATS for Power Plant Simulator using Virtual Reality. KEPCO Research Institute, 33(37), 263-265. KOREA : KEPCO Research Institute.
J. H. Bae & G. Y. Noh. (2014). An experimental study of the effects of learning on driving simulation game in virtual environment. Master dissertation. Hallym University, Chuncheon. DOI : 10.7583/jkgs.2015.15.3.7
A. Woods, T. Docherty & R. Koch. (2004). Image distortions in stereoscopic video systems. In Stereoscopic displays and applications, 1915, 36-49. USA : International Society for Optics and Photonics. DOI : 10.1117/12.157041

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증