[논문]VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼

김희주; 이원진; 이재동

doi:10.9717/kmms.2020.23.8.1075

VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼
Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.8, 2020년, pp.1075 - 1087

김희주 (Department of Computer Engineering, Dankook University) , 이원진 (Research Institute of Information and Culture Technology, Dankook University) , 이재동 (Department of Software Engineering, Dankook University)

Abstract ▼ AI-Helper

Aviation ICT technology is a convergence technology between aviation and electronics, and has a wide variety of applications, including navigation and education. Among them, in the field of aerial pilot training, there are many problems such as the possibility of accidents during training and the lack of coping skills for various situations. This raises the need for a simulated pilot training system similar to actual training. In this paper, pilot training data were collected in pilot training system using VR/AR to increase immersion in flight training, and Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment that can recommend effective training courses to pilots is proposed. To verify the accuracy of the recommendation, the performance of the proposed collaborative deep learning algorithm with the existing recommendation algorithm was evaluated, and the flight test score was measured based on the pilot's training data base, and the deviations of each result were compared. The proposed service platform can expect more reliable recommendation results than previous studies, and the user survey for verification showed high satisfaction.

주제어

표/그림 (12)

그림 Fig. 1. VR/AR-base Customized Pilot Training Platform with Collaborative Deep Learning.
그림 Fig. 2. Architecture of VR Simulator and AR Filght Debriefing System.
그림 Fig. 3. Customized Pilot Training Recommendation System with Collaborative Deep Learning.
그림 Fig. 4. Pilot Training Recommendation Process with Collaborative Deep Learning.
그림 Fig. 5. Non-recommendable Situation Cases Due to Initial User Problems.
그림 Fig. 6. Application of Collaborative Filtering Technique to RNN using KNN.
표 Table 1. Test Environment
그림 Fig. 7. Part of Data Set of Flight Training Records (Test Dataset).
그림 Fig. 8. ERD Diagram of Flight Training Records.
표 Table 2. List of 2 Flight Tests and 20 Training Courses
표 Table 3. Experiment Results
표 Table 4. Comparison of Performance Evaluation

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템 환경에서 수집된 훈련 데이터에 기반하여 프로파일 처리를 통해 훈련자에게 맞춤형으로 훈련 코스를 추천하는 시스템을 제안한다.
본 논문에서는 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼을 제안한다. 제안한 플랫폼은 다음과 같이 구성된다.

제안 방법

기존의 VR 시뮬레이터로도 강력한 옆바람(crosswind), 악천후 상황, 엔진 고장으로 인한 비상착륙 등 위험한 조건의 비행교육이 이미 가능하지만, 본 연구에서는 비행 중 일어날 수 있는 비행착각(spatial disorientation) 및 야간 비행 중 비행착시(visual illusion)에 대한 훈련 시나리오도 포함하도록 한다.
10가지 훈련 코스를 진행한 후 2개의 비행 평가를 받게 되며 비행 평가 점수의 비교를 통해 제안하는 조종사 훈련 플랫폼을 통해 훈련받았을 때 어느 정도의 훈련성 효율성을 보이는지를 평가한다.
그리고 규칙 기반 필터링만을 사용하여 일정이상 추천이 진행되고 이력이 쌓이게 되면 다시 협업 딥 러닝을 통해 추천이 되도록 설계하였다.
딥러닝과 KNN을 통해 유사한 콘텐츠 그룹 패턴을 찾아내면 유사도를 이용하여 그룹간의 상호 추천이 가능한 협업 필터링 기법으로 1차 추천리스트를 생성하도록 설계하였으며, KNN외에 대표적인 유사도 분석 알고리즘으로는 거리 기반으로 유사도를 측정하는 유클리디언 알고리즘이 있으며 수식 (2)와 같이 계산된다.
또한 조종사 훈련기록 프로파일을 기반으로 사용자의 훈련 패턴을 도출하여 훈련의 결과를 자동으로 평가하고 지도할 수 있는 빅데이터 기반의 훈련 패턴 분석 알고리즘을 포함한다.
마지막으로 최종 추천 리스트를 조종사 및 트레이너/평가자에게 제공한 후 피드백을 통해 프로파일을 갱신하게 되며, 피드백을 통해 갱신된 프로파일을 추천 알고리즘에 적용하여 실시간으로 맞춤형 조종 훈련 콘텐츠를 제공받을 수 있도록 설계하였다.
모니터링 및 평가를 위해 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템의 분석을 통해 훈련 결과를 분석하여 해당 훈련 이후 수행하기에 적합한 훈련을 추천하고 해당 훈련 결과의 적합성을 다양한 각도에서 평가하기 위한 수치를 분석하게 된다.
사용자가 홀로렌즈 헤드셋을 착용한 상태에서 빈 공간상에 3차원 홀로그램으로 표현된 지형 및 항공기 궤적 그래픽을 상하좌우로 직접 이동하여 보면서 항행결과를 리플레이하여 분석하고 의견을 나눌 수 있도록 한다.
성능검증을 위해 켄트 주립대학 항공학과에 재학중인 조종사 훈련 과정생 30명을 대상으로 6개의 그룹으로 나눠 20개의 훈련 코스를 선택 또는 추천받아 2개의 비행 평가를 수행하여 점수를 비교분석 하였다.
시뮬레이션 기반 프로그램인 X-Plane 11을 통해 운항 중 수집된 데이터를 기반으로 훈련생의 훈련 점수를 평가하는 방식으로 진행하며 훈련 과정생은 2개의 비행 평가와 비행 평가 훈련을 위한 20가지 훈련 코스를 기반으로 시뮬레이션을 진행하였다.
이를 위해 항행 훈련 기록 데이터를 수집하여 개인 맞춤형 추천을 위한 훈련기록 프로파일 생성을 위한 정규화 및 전처리 알고리즘 및 사용자의 훈련 기록과 패턴을 분석하고 개인 맞춤형 추천을 위해 프로파일을 처리 및 생성할 수 있는 알고리즘을 필요로 한다.
이후 추천 결과가 조종사 및 트레이너/평가자에게 제공된 후 피드백을 통해 프로파일을 학습시켜 이후 추천 결과에 반영할 수 있으며, 알고리즘은 총 6단계로 순차적 수행 절차를 기반으로 설계되었으며 각각의 단계에서 처리되는 내용은 다음과 같다.
제안한 맞춤형 조종사 훈련 플랫폼은 VR 시뮬레이터와 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템과 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 구성되어 있다.
특히, VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템에서 수집되는 조종사 훈련 데이터를 기반으로 최적의 훈련 코스를 추천하기 협업 딥러닝을 적용한 맞춤형 조종사 훈련 추천 알고리즘 제안하고 이에 대한 분석 및 검증을 제안한다.
협업 딥 러닝은 대표적인 딥러닝 알고리즘인 RNN과 협업 필터링을 혼합하여 구현하였으며, 이 과정에서 KNN(K-Nearest Neighbors) 알고리즘을 통해 유사한 훈련 패턴을 분석하고 1차 추천리스트를 생성하였다.

대상 데이터

VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼의 성능을 평가하기 위해 현재 켄트주립대학 항공학과에 재학 중인 조종사 훈련 과정생 30명을 대상으로 모의 조종 시뮬레이션을 수행하였다.
본 시뮬레이터의 구성요소는 VR 헤드셋 장비로 HTC VIVE, 정밀도가 높은 항공기용 조종간 요크(yoke), 스로틀(throttle), 러더 페달(rudder pedal), 6개 자유도를 가진 모션 프레임으로 구성되어 있다. 기존의 VR 시뮬레이터로도 강력한 옆바람(crosswind), 악천후 상황, 엔진 고장으로 인한 비상착륙 등 위험한 조건의 비행교육이 이미 가능하지만, 본 연구에서는 비행 중 일어날 수 있는 비행착각(spatial disorientation) 및 야간 비행 중 비행착시(visual illusion)에 대한 훈련 시나리오도 포함하도록 한다.

이론/모형

본 논문에서는 추천 알고리즘을 통해 조종사 및 트레이너/평가자에게 맞춤화된 훈련 정보와 훈련 결과를 분석하도록 고전적인 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN(Recurrent Neural Network)을 기반으로 한 협업 딥 러닝(Collaborative Deep Learning)을 사용하였다.
협업 딥 러닝을 적용한 VR/AR 기반의 개인 맞춤형 조종사 훈련 플랫폼의 추천 알고리즘은 고전적인 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다.
협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템에서 사용되는 추천 알고리즘은 기존에 존재하는 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다.

성능/효과

가장 높은 점수를 받은 그룹은 제안하는 알고리즘을 통해 훈련 코스를 추천 받은 ⑥번 그룹이었으며, 가장 낮은 점수를 받은 그룹은 ②번 그룹이었다.
둘째, FT2의 경우, 최소 점수 부분에서는 제안하는 알고리즘을 적용한 그룹이 ②번 그룹과 비교하였을 시 23.2%, 2순위인 ⑤번 그룹과 비교했을 시 11.3%의 성능 향상을 보였다.
모델 성능의 개선을 위해 더 정확한 학습을 통해 생성될 수 있도록 더 많은 양의 데이터가 축적되어야 하며, 축적되는 데이터의 수준에 따라 협업 딥 러닝 알고리즘의 파라미터 값에 대한 실험이 함을 확인할 수 있었다.
본 플랫폼을 통해 몰입감과 현실성의 한계를 극복하고, 훈련자들의 특성에 맞춘 훈련 코스를 추천하게 되어 시간적·경제적 비용의 절감이 이룰 수 있었다.
실험 결과는 FT1과 FT2가 유사하게 나타났으며 두 비행 평가 점수의 평균으로 보았을 때 제안한 협업 딥 러닝 알고리즘을 기반으로 평가한 ⑥번 그룹이 최소 점수 부분에서는 최저 점수인 그룹과 비교하였을 시 25.5%, 2순위 점수인 그룹과 비교했을 시 7.9%의 성능 향상을 보였고, 다음으로 평균점수에서는 최저 점수인 그룹과 비교했을 시 25.35%, 2순위 점수인 그룹과 비교했을 시 5.45%의 성능 향상을 보였으며, 최고 점수에서는 최저 점수인 그룹과 비교하였을 시 26.65%, 2순위 점수를 받은 그룹과 비교했을 시 6.05%의 성능 향상을 보였다.
실험 결과를 보았을 때 내용 기반 필터링을 통해 훈련 코스를 추천받은 것이 훈련 과정생이 스스로의 판단으로 선택한 훈련 코스보다 더 효율이 떨어진다는 것을 의미한다.
이때, RNN과 협업 필터링을 혼합하여 구성을 하면서, KNN 알고리즘을 통해 기존의 타 유저들과 유사도가 가장 비슷한 유저의 특성을 기반으로 하고, 새로운 데이터들에 대해서 RNN 알고리즘을 통해 추가적인 학습을 시킨 후 협업 필터링을 이용함으로써 모델의 성능과 추천의 정확도를 높일 수 있다.
제안한 플랫폼은 초기 사용자 문제를 해결하고 데이터의 양과 속성에 학습을 통해 적응하는 맞춤형 추천이므로 훈련 과정생의 성향과 부족한 부분을 캐치하여 대상에게 적합한 훈련 코스를 제공하며 높은 점수를 받을 수 있었다.
조종사 훈련 추천 시스템의 추천 결과를 시각화하여 표현하기 위한 모듈 및 AR 디브리핑 디스플레이에서 3D 및 혼합현실로 표현되기 위한 동기화 모듈을 통해 시각화 모듈은 빅데이터 기반의 조종사의 훈련 기록, 분석된 훈련 패턴 결과, 개인 맞춤형 훈련 결과 등을 수치화 및 그래픽화하여 AR 디브리핑 디스플레이에 동기화하여 화면에 표현된다.
첫째, FT1의 경우, 최소 점수 부분에서는 제안하는 알고리즘을 적용한 그룹이 ②번 그룹과 비교하였을 시 27.3%, ⑤번 그룹과 비교했을 시 4.5%의 성능 향상을 보였다.
9%의 성능 향상을 보였다. 최고 점수에서는 ②번 그룹과 비교하였을 시 18.2%, ⑤번 그룹과 비교했을 시 6.8%의 성능 향상을 보였다.
평균점수에서는 ②번 그룹과 비교했을 시 28.3%, ⑤번 그룹과 비교했을 시 5.0%의 성능 향상을 보였으며, 최고 점수에서는 ②번 그룹과 비교하였을 시 29.5%, 2순위인 ⑤번 그룹과 비교했을 시 5.3%의 성능 향상을 보였다.
평균점수에서는 ②번 그룹과 비교했을 시 22.4%, ⑤번 그룹과 비교했을 시 5.9%의 성능 향상을 보였다.

후속연구

본 논문에서 제시한 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼을 연구하기 위해서는 조종사 훈련 프로파일을 기반으로 조종사에게 맞춤형으로 훈련 콘텐츠를 추천하기 위한 추천 시스템의 설계가 요구된다.
향후 다양한 패턴의 데이터와 예외 상황, 그리고 사용자가 증가함에 따른 대량의 데이터 축적에 대해 주기적인 모델의 추가 학습과 고도화된 추천 알고리즘의 추천 정확도 및 신뢰도, 만족도에 대한 평가 연구가 필요하며, 딥 러닝 기술을 적용한 만큼 학습 데이터의 양이 방대해지면서 분석 가능한 정보의 다양성이 높아질 것으로 예상되어, 이에 따른 정확도가 향상되어 높은 신뢰도의 추천이 가능해질 것으로 기대된다.
향후 다양한 패턴의 데이터와 예외 상황, 그리고 사용자가 증가함에 따른 대량의 데이터 축적에 대해 주기적인 모델의 추가 학습과 고도화된 추천 알고리즘의 추천 정확도 및 신뢰도, 만족도에 대한 평가 연구가 추가적으로 이루어질 예정이다.
향후 제안한 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼의 성능 개선을 위해 더 정확한 학습을 통해 생성될 수 있도록 더 많은 양의 데이터가 축적되어야 하며, 축적되는 데이터의 수준에 따라 협업 딥 러닝 알고리즘의 파라미터 값에 대한 실험이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	추천 시스템이란?	추천 시스템이란 정보 필터링(Information Filtering, IF) 기술의 일종으로, 특정 사용자가 관심을 가질만한 정보를 추천하는 것을 말한다[9]. 추천 시스템에 사용되는 알고리즘은 콘텐츠 기반 필터링, 협업 필터링, 규칙 기반 필터링, 협업 필터링과 콘텐츠 기반 필터링을 조합하여 상호 보완적으로 개발된 하이브리드 필터링 등이 있다[10].
	Collaborative Deep Learning은 어떠한 것을 기반으로 하였는가?	둘째, 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템은 VR 비행 시뮬레이터를 통해 수집되는 조종사 훈련 데이터를 프로파일 처리하여 최적의 훈련 코스를 추천하는 시스템이다. 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템에서 사용되는 추천 알고리즘은 기존에 존재하는 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다.
	비행 조종 시뮬레이터를 이용한 항공 조종 훈련 시스템은 어떠한 것을 중점으로 개발이 되고 있는가?	특히 VR/AR기반 비행 조종 시뮬레이션의 경우, 공군 조종사 양성에 많이 활용되고 있으나, 현재 초기단계에 머물러 있어 아직 실질적인 효과를 나타내지 못하고 있다[1,2]. 이러한 시뮬레이터를 이용한 항공 조종 훈련 시스템의 경우 돌발 상황이 발생하는 경우에 대비하여 이뤄지는 훈련인 비정상상황 회복훈련(Upset Prevention Recovery Training, UPRT[3])을 중점으로 개발이 되고 있으며, 안정적인 훈련 시스템 구축을 목표로 하고 있다.

참고문헌 (16)

K. Lee and H. Lee, "A Study on the Airline Pilot Recruitment for a Effective Utilization," Journal of Aerospace Industry, Vol. 74, pp. 1-19, 2011.
J. Choi, “Domestic Aviation Manpower Training Program Policy Status and Performance,” Journal of Aviation Development of Korea, Vol. 1, No. 60, pp. 41-51, 2013.
What is UPRT?(2018), https://www.easa.europa.eu/faq/44870 (accessed July 08, 2020).
R.T. Hays, J.W. Jacobs, C. Prince, and E. Salas, “Flight Simulator Training Effectiveness: A Meta-analysis,” Military Psychology, Vol. 4, No. 2, pp. 63-74, 2009.
V. Socha, L. Socha, S. Szabo, K. Hana, J. Gazda, M. Kimlickova, et al., "Training of Pilots Using Flight Simulator and its Impact on Piloting Precision," Proceeding of International Conference Transport Means, 2016. (pp. 374-379)
J. Chae, “Study on Firefighting Education and Training Applying Virtual Reality,” Fire Science and Engineering, Vol. 32, No. 2, pp. 108-115, 2018.
S. Park, J. Kim, K. Kim, and H. Kim, “AR Based Field Training System Algorithm for Small Units,” Convergence Security Journal, Vol. 18, No. 4, pp. 81-87, 2018.
G. Jeong, Y. Lee, C. Lee, M. Kim, and J. Lee, “Assessment of Pilot Training Effectiveness of VR HMD Based Flight Training Device,” Journal of the Korean Society for Aviation and Aeronautics, Vol. 26, No. 4, pp. 129-141, 2018.

원문보기 상세보기
R. Francesco, L. Rokach, and B. Shapira, Recommender Systems Handbook, Springer, Boston, 2011.
H.H. Lee and W.J. Lee, “Desgin and Implementation of Agent-recruitment Service System Based on Collaborative Deep Learning for the Intelligent Head Hunting Service,” Journal of Korea Multimedia Society, Vol. 23, No. 2, pp. 343-350, 2020.
H. Wang, N. Wang, and D.Y. Yeung, "Collaborative Deep Learning for Recommender Systems," Proceeding of the 21th ACM Special Interest Group on Knowledge Discovery in Data International Conference on Knowledge Discovery and Data Mining, 2015. (pp. 1235-1244)
H. Ying, L. Chen, Y. Xiong, and J. Wu, "Colla-Borative Deep Ranking: A Hybrid Pair-wise Recommendation Algorithm with Implicit Feedback," Pacificasia Conference on Knowledge Discovery and Data Mining, pp. 555-567, 2016.
X. Kong, B. Xin, Y. Wang, and G. Hua, "Colla-Borative Deep Reinforcement Learning for Joint Object Search," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1695-1704, 2017.
H.H. Lee and W.J. Lee, “Image Label Prediction Algorithm Based on Convolution Neural Network with Collaborative Layer,” Journal of Korea Multimedia Society, Vol. 23, No. 6, pp. 756-764, 2020.
I. Stephen, “Perceptron-based Learning Algorithms,” IEEE Transactions on Neural Networks, Vol. 50, No. 2, pp. 179-191, 1990.
T. Mikolov, S. Kombrink, L. Burget, J. Cernocky, and S. Khudanpur, "Extensions of Recurrent Neural Network Language Model," Proceedings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5528-5531, 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증