[논문]가상현실 기반의 인공지능 영어회화 시스템

천은영

doi:10.15207/jkcs.2019.10.11.055

가상현실 기반의 인공지능 영어회화 시스템
English Conversation System Using Artificial Intelligent of based on Virtual Reality 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.11, 2019년, pp.55 - 61

천은영 (공주대학교 기계자동차공학부)

초록
AI-Helper

외국어 교육을 실현하기 위하여 기존의 다양한 교육 매체들이 제공되고 있지만, 교구 및 매체프로그램에 대한 비용이 많이 들고 실시간 대응력이 떨어지는 단점이 존재한다. 이 논문에서는 VR과 음성인식을 기반으로 한 인공지능 유형의 영어회화 시스템을 제안한다. 시스템 구축을 위해 Google CardBoard VR과 Google Speech API를 이용하며 가상현실 환경 제공 및 대화를 위한 인공지능 알고리즘을 개발하였다. 제안하는 음성인식 서버시스템에서는 사용자가 발화한 문장을 단어 단위로 분리해 데이터베이스에 저장된 데이터 단어들과 비교하여 확률적으로 가장 높은 것을 답으로 제공할 수 있으며 사용자들이 가상현실의 인물과 적절한 대화 및 응답이 가능하다. 대화가 제공되는 기능은 상황별 대화와 주제에 독립적이며, AI 비서와 나눈 대화 내용을 사용자 시스템에서 실시간 확인이 가능하도록 구현하였고 실험을 통하여 음성인식에 대한 응답비율을 확인하였다. 이 논문에서 제안하는 가상현실과 음성인식 기능을 접목한 시스템을 통하여 4차 산업혁명에 관련한 가상교육 콘텐츠 서비스 확장에 이바지할 것을 기대한다.

Abstract ▼ AI-Helper

In order to realize foreign language education, various existing educational media have been provided, but there are disadvantages in that the cost of the parish and the media program is high and the real-time responsiveness is poor. In this paper, we propose an artificial intelligence English conversation system based on VR and speech recognition. We used Google CardBoard VR and Google Speech API to build the system and developed artificial intelligence algorithms for providing virtual reality environment and talking. In the proposed speech recognition server system, the sentences spoken by the user can be divided into word units and compared with the data words stored in the database to provide the highest probability. Users can communicate with and respond to people in virtual reality. The function provided by the conversation is independent of the contextual conversations and themes, and the conversations with the AI assistant are implemented in real time so that the user system can be checked in real time. It is expected to contribute to the expansion of virtual education contents service related to the Fourth Industrial Revolution through the system combining the virtual reality and the voice recognition function proposed in this paper.

주제어

표/그림 (13)

그림 Fig. 1. VR and Speech Recognition System
표 Table 1. Classification and Features of Voice Recognition Technology
그림 Fig. 2. VR View sample code Google VR SDK for Android
그림 Fig. 3. Implementation background
그림 Fig. 4. The proposal platform of speech recognition
그림 Fig. 5. Function of RNN-T
그림 Fig. 6. Voice Recognition Server System
그림 Fig. 7. Speech Plug-in for Unity
그림 Fig. 8. Scenario of the system execution
그림 Fig. 9. Live Conversations on the System
그림 Fig. 10. Voice Recognition Count
그림 Fig. 11. Response Score and Error Rate
표 Table 2. Result and Score of Response

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

현재 본 시스템을 통하여 세대 및 학습수준에 대한 영어능력의 정도를 구분한 교육용 콘텐츠 서비스를 제공할 수 있는 시스템 확장이 가능한 연구를 진행 중이다. 뿐만 아니라 뇌파 기계와의 연동을 통하여 본 시스템의 실시간 VR의 학습 성취도에 대해서 향후 분석하고자 한다.
이 논문에서는 VR과 음성인식 기반의 인공지능 유형의 영어회화 시스템을 제안하였다. 제안시스템의 VR 환경은 Google의 Cardboard 및 API를 기반으로 하며, 인공지능 알고리즘을 접목하여 음성처리를 통한 가상현실에서 영어회화 학습 및 체험이 가능하도록 구현하였다.
이 논문에서는 기존의 단순히 책으로 보고 듣기만 하는 기존의 영어교육방식에서 좀 더 생동감과 몰입도를 향상시킬 수 있도록 인공지능을 기반으로 한 VR기기를 활용한 영어회화 시스템을 제안한다. 제안하는 시스템의 구현배경 기본 시나리오는 Fig.
또한 VR 관련 서비스 개발 시 음성 지원이 되지 않는 단점이 존재하여 이를 해결할 필요가 있다. 이에 이 논문은 사용자가 VR 기기를 착용하여 생동감과 몰입도를 높일 수 있는 인공지능기반의 영어 회화 시스템을 제안한다.

제안 방법

인코더 네트워크는 8개의 레이어로 구성된다. RNN-T 손실 기능이 대규모로 효율적으로 실행될 수 있도록 병렬 구현을 제공한다.
기존시스템의 Unity VR 환경에서는 음성인식 기능이 지원되지 않고 라이브러리나 플러그인이 지원되지 않으므로 Google Speech API를 기반으로 Fig. 7과 같이 스피치 플러그인을 제작하여 Unity VR 환경에서 음성인식 기능을 사용할 수 있도록 설계하였다.
운영체제를 기반으로 안드로이드 소프트웨어 라이브러리를 사용하기 위해 자바 라이브러리 개발킷을 설치하였다. 또한, 음성인식 서버 구축을 위해 Google의 스피치 라이브러리와 사용자의 가상현실 경험을 위하여 Google Card Board를 설치하였다. 이들을 바탕으로 스피치 플러그인이 스피치를 텍스트로 변환하는 기능을 제공한다.
사용자가 발화한 문장들을 Speech API가 인식하여, 서버에서 해당문장을 단어단위로 분리한다. 분리해 저장된 데이터베이스에 있는 질문데이터의 단어들을 비교하며 확률적으로 가장 높은 응답문장을 선택하여 질문에 대답을 제공한다.
이 논문에서 제안하는 시스템의 효용성을 확인하기 위하여, 시스템을 기반으로 현재 다양한 플랫폼에서 활발하게 사용되고 있는 음성인식 오픈 API들을 이용하여 실험하였다. 비교를 위하여 수행한 실험내용은 각 API를 기준으로 한 음성 인식률의 정도와 사용자가 대화한 문장에 대한 적절한 응답률 및 오류율을 확인 하였다. 실험에 활용한 음성인식 타 오픈 API는 B, C로 표기하였으며, B의 경우 데스크톱 환경에서 음식인식시스템을 지원하지 않는 관계로 이 논문에서는 모바일 환경에서의 음성인식 정도만을 비교 기술한다.
비교를 위하여 수행한 실험내용은 각 API를 기준으로 한 음성 인식률의 정도와 사용자가 대화한 문장에 대한 적절한 응답률 및 오류율을 확인 하였다. 실험에 활용한 음성인식 타 오픈 API는 B, C로 표기하였으며, B의 경우 데스크톱 환경에서 음식인식시스템을 지원하지 않는 관계로 이 논문에서는 모바일 환경에서의 음성인식 정도만을 비교 기술한다.
이 논문에서 제안하는 시스템의 효용성을 확인하기 위하여, 시스템을 기반으로 현재 다양한 플랫폼에서 활발하게 사용되고 있는 음성인식 오픈 API들을 이용하여 실험하였다. 비교를 위하여 수행한 실험내용은 각 API를 기준으로 한 음성 인식률의 정도와 사용자가 대화한 문장에 대한 적절한 응답률 및 오류율을 확인 하였다.
또한, 음성인식 서버 구축을 위해 Google의 스피치 라이브러리와 사용자의 가상현실 경험을 위하여 Google Card Board를 설치하였다. 이들을 바탕으로 스피치 플러그인이 스피치를 텍스트로 변환하는 기능을 제공한다. 플랫폼의 상위계층인 사용자인터페이스가 시스템과 사용자간의 상호작용 및 전체 제어의 역할을 수행한다.
120가지에 가까운 언어와 방언들을 지원하여, 스피치와 텍스트를 서로 변환하여 음성명령관리 등에 활용할 수 있다[16]. 이에 본 시스템에서는 Google에서 제공한 머신러닝의 Speech API를 적용한다.
제안시스템을 기반으로 테마2 환경에서 영어 문장 10개를 이용하여 음성인식정도 및 이에 대한 응답비율과 적절한 응답여부 등을 확인하였다. 각 영어문장 발화에 대한 음성인식 횟수와 정도는 Table 2와 같다.
이 논문에서는 VR과 음성인식 기반의 인공지능 유형의 영어회화 시스템을 제안하였다. 제안시스템의 VR 환경은 Google의 Cardboard 및 API를 기반으로 하며, 인공지능 알고리즘을 접목하여 음성처리를 통한 가상현실에서 영어회화 학습 및 체험이 가능하도록 구현하였다. 해당 시스템을 통해 영어회화 학습에 대한 실시간 체험이 가능하며 이를 통한 학습 성취도를 향상할 수 있다.
테마2의 환경에서 실험문장 10개의 문장을 발화하고 이에 대한 응답여부 및 응답내용의 적합성에 대하여 실험하였다.

대상 데이터

예측 및 인코더 네트워크는 LSTM RNN이며, 조인트 모델은 포워드피드 네트워크이다. 예측 네트워크는 2048 유닛의 2개 레이어로 구성되며, 640차원 투영 레이어가 있다. 인코더 네트워크는 8개의 레이어로 구성된다.
예측 기호(소프트맥스 레이어 출력)는 예측 네트워크를 통해 yu-1과 같이 모델에 다시 공급되어 예측이 지금까지 오디오 샘플과 과거 출력 모두에서 조건화되도록 보장한다. 예측 및 인코더 네트워크는 LSTM RNN이며, 조인트 모델은 포워드피드 네트워크이다. 예측 네트워크는 2048 유닛의 2개 레이어로 구성되며, 640차원 투영 레이어가 있다.

성능/효과

실험을 통하여 이 논문에서 제안하는 시스템의 음성인식의 정확도와 인공지능응답에 대한 적절성을 파악하였으며, 사용자 발화에 대한 음성인식의 정확도는 약 95%이며 인공지능응답에 대한 오류율은 4.20%임을 확인 하였다. 현재 본 시스템을 통하여 세대 및 학습수준에 대한 영어능력의 정도를 구분한 교육용 콘텐츠 서비스를 제공할 수 있는 시스템 확장이 가능한 연구를 진행 중이다.
응답여부 및 응답평가점수에 대한 결과는 Table 2와 같다. 총 10개의 실험문장에 각 10번의 대화테스트를 진행하였고 실시간 대화에 대한 응답평가점수와 이때의 오류율은 Fig. 11과 같으며, 응답에 대한 전체 오류율의 평균값은 4.20%로 나타났다.
테마1의 환경에서 실험문장 10개를 차례로 발화하였고, 각 영어문장 발화에 대한 음성인식 횟수와 정도는 Fig. 10와 같으며 이 논문에서 제안한 시스템기반에서 사용한 API A의 음성 인식률이 평균 약 95%로 가장 높았다. 테마2의 환경에서 실험문장 10개의 문장을 발화하고 이에 대한 응답여부 및 응답내용의 적합성에 대하여 실험하였다.

후속연구

20%임을 확인 하였다. 현재 본 시스템을 통하여 세대 및 학습수준에 대한 영어능력의 정도를 구분한 교육용 콘텐츠 서비스를 제공할 수 있는 시스템 확장이 가능한 연구를 진행 중이다. 뿐만 아니라 뇌파 기계와의 연동을 통하여 본 시스템의 실시간 VR의 학습 성취도에 대해서 향후 분석하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Google Cloud Platform에서 전세계 각 지역의 데이터센터의 인프라를 기반으로 제공하는 서비스를 통해 사용자와 개발자가 얻는 이점은 무엇인가?	기업과 학계에서 널리 사용되고 있는 Tensorflow[14]도 그중 하나로 제공되고 있다. 이러한 플랫폼의 각종 서비스 및 API를 통해 사용자가 원하는 시스템과 그 모델들 을 더욱 용이하게 구축할 수 있다. 또한 화상 및 음성, 언어분석 기술 등도 API 형태로 사용자 및 개발자에게 제공하고 있으며[15], 사전 학습된 모델 및 Google의 최신 머신러닝 서비스를 통하여 사용자가 요구하는 각 환경에 적합한 모델을 구현 및 생성할 수 있도록 지원한다.
	음성기반 인터페이스가 가져야할 능력은 무엇인가?	AI 서비스[1,2]는 대화형 인터페이스를 통해 자연어로 소통 할 수 있으며, 대화형 인터페이스[3,4]는 메신저 형태의 텍스트 기반 인터페이스[5]와 AI 스피커에서 사용하는 음성기반 인터페이스[6]가 제공되고 있다. 이 중 음성기반 인터페이스는 자연스러운 대화 또는 발성에 의한 음성을 인식하고 이를 실행명령어로 인지하거나, 단어를 인식하고 이것을 문법, 작업에 관련된 정보, 지식 등을 이용하여 문장 또는 연속적인 음성의 형태로 판단하여 그 의미들을 정확하게 문서화 또는 텍스트화가 가능해야 한 다[7-9]. 현재 음성인식기술의 종류와 구분은 Table 1[10]과 같으며 이 중 발성형태 중 핵심어의 경우 발화한 연속음성 중에서 대상 단어를 추출하여 인식하는 방법으로 사용자가 발화한 문장의 정보 중 핵심어에 해당하는 것만 선택하고 싶을 경우 사용하게 된다.
	가상현실이란 무엇인가?	가상현실(Virtual Reality; VR)은 배경과 사용자가 접한 실제 현실객체, 이미지, 비디오 등의 구성요소를 토대로 3D 형태의 가상공간에서 추가 장비를 통하여 가상의 체험환경을 제공하는 것을 의미한다[11,12]. 가상현실체험을 위하여 Fig.

참고문헌 (26)

J. Peer, (2005). Web service composition as AI planning: a survey, Switzerland: University of St. Gallen.
Z. XIAO et al. (2019). Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys. arXiv preprint, arXiv:1905.10700.
M. F. McTear, Z. Callejas & D. Griol. (2016). The conversational interface, 6(94), 102. Cham: Springer. DOI : 10.1007/978-3-319-32967-3
K. H. Kim. (2017). Interactive AI, the evolution of the chatbot. [Online] http://blogview.hyundaicardcapital.com/4010
O. Mangkang & J. Y. Yun. (2019). A Comparative Study of Self-Diagnosis User Interfaces for Depression: Focusing on Usability of Paper-Based, Text-Based and Voice-Based Conversational Interface. Korea HCI Society Conference, 262-267. DOI: 10.17210/JHSK.2019.08.14.3.5
G. E. Jo & S. I. Kim. (2018). A study on User Experience of Artificial Intelligence speaker. Journal of the Korea Convergence Society, 9(8), 127-133. DOI: 10.15207/JKCS.2018.9.8.127
S. I. Jung. (2019). A Study on the Visualization for Information Delivery of Voice User Interface - Centered around the Display Type of AI Speakers, M. S. thesis, Ewha Womans University, Seoul.
G. Hinton et al. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition, The IEEE Signal Processing Magazine, 29(6), 82-97.
Y. Cho, J. Kim, A. Sun & J. Oh. (2017). Design and implementation of artificial intelligence-based speech recognition for silver generation and single household "Voice" Application, Proc. of the Korean Society of Computer Information Conference 2017, 25(2), 142-145.
KISTI. (2014). .KISTI MARKET REPORT_IT Convergence System.
P. Sinclair. (2007). Integrating Hypermedia Techniques in Augmented Reality Environments . Ph.D thesis, University of Southampton.
L. Freina & M. Ott. (2015). A literature review on immersive virtual reality in education: state of the art and perspectives. In The International Scientific Conference eLearning and Software for Education, 133.
Google. (2019). Google Cloud Platform, Google Cloud. [Online]. https://cloud.google.com/products/?hlko
M. Abadi et al. (2016). Tensorflow: A system for large-scale machine learning. In 12th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI}16), 265-283.
V. Kepuska. (2017). Comparing Speech Recognition Systems (Microsoft API, Google API And CMU Sphinx). Veton Kepuska. Int. Journal of Engineering Research and Application, 7(3), (Part-2), 20-24. DOI: 10.9790/9622-0703022024
B. Iancu. (2019). Evaluating Google Speech-to-Text API's Performance for Romanian e-Learning Resources. Informatica Economica, 23(1), 17-25. DOI: 10.12948/ISSN14531305/23.1.2019.02

상세보기
J. Kacur. (2006). HTK vs. Sphinx for Speech Recognition. Department of telecommunication FEI STU.
A. Amer & P. Peralez. (2014, October). Affordable altered perspectives: Making augmented and virtual reality technology accessible. In IEEE Global Humanitarian Technology Conference (GHTC 2014), 603-608. DOI: 10.1109/GHTC.2014.6970345
W. Powell, V. Powell, P. Brown, M. Cook & J. Uddin. (2016). Getting around in google cardboard - exploring navigation preferences with low-cost mobile VR, 2016 IEEE 2nd Workshop on Everyday Virtual Reality (WEVR), Greenville, SC, 5-8. DOI: 10.1109/WEVR.2016.7859536
S. R. Jeong., & S. J. Chang. (2019). Production of fusion-type realistic contents using 3D motion control technology. Journal of Convergence for Information Technology, 9(4), 146-151. DOI: 10.22156/CS4SMB.2019.9.4.146
S. Kim. (2018). An Exploratory Study of VR Technology using Patents and News Articles. Journal of Digital Convergence, 16(11), 185-199. DOI: 10.14400/JDC.2018.16.11.185
Google VR Team. (2015). Google Cardboard. Google [Online]. www.google.com/get/cardboard/
S. Yoo & C. Parker. (2015, August). Controller-less interaction methods for Google cardboard. In Proceedings of the 3rd ACM Symposium on Spatial User Interaction, 127-127. DOI: 10.1145/2788940.2794359
R. Raguman, M. Santhakumar, X. P. Thomas, & M. Revathi. (2019). 3D Adventure Game Using Unity. Bonfring International Journal of Software Engineering and Soft Computing, 9(2), 16-20. DOI:10.9756/BIJSESC.9015

상세보기
Unity. (2019). Unity User Manual. Unity Technologies[Online]. https://docs.unity3d.com/Manual/index.html
S. Ahola. (2019). Developing a Virtual Reality Application in Unity, LAHTI UNIVERSITY OF APPLIED SCIENCES Information and Communications Technology Media technology [Online]. https://www.theseus.fi/bitstream/handle/10024/171035/opinnaytetyo.pdf

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증