[논문]심층 강화학습을 이용한 디지털트윈 및 시각적 객체 추적

박진혁; 최필주; 이석환; 권기룡

doi:10.9717/kmms.2022.25.2.145

심층 강화학습을 이용한 디지털트윈 및 시각적 객체 추적
Digital Twin and Visual Object Tracking using Deep Reinforcement Learning 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.25 no.2, 2022년, pp.145 - 156

박진혁 (Dept. of IT Convergence and Application Engineering, PuKyong National University) , (Dept. of IT Convergence and Application Engineering, PuKyong National University) , 최필주 (Dept. of IT Convergence and Application Engineering, PuKyong National University) , 이석환 (Dept. of Computer Engineering, Dong-A University) , 권기룡 (Dept. of IT Convergence and Application Engineering, PuKyong National University)

Abstract ▼ AI-Helper

Nowadays, the complexity of object tracking models among hardware applications has become a more in-demand duty to complete in various indeterminable environment tracking situations with multifunctional algorithm skills. In this paper, we propose a virtual city environment using AirSim (Aerial Informatics and Robotics Simulation - AirSim, CityEnvironment) and use the DQN (Deep Q-Learning) model of deep reinforcement learning model in the virtual environment. The proposed object tracking DQN network observes the environment using a deep reinforcement learning model that receives continuous images taken by a virtual environment simulation system as input to control the operation of a virtual drone. The deep reinforcement learning model is pre-trained using various existing continuous image sets. Since the existing various continuous image sets are image data of real environments and objects, it is implemented in 3D to track virtual environments and moving objects in them.

주제어

표/그림 (8)

그림 Fig. 1. The design depicts a linked virtual world using the AirSim simulation platform to execute network algorithms and evaluate a tracking technique in real-time simulation.
그림 Fig. 2. Microsoft AirSim v1.2 is a realistic virtual CityEnviron environment scenario with an AirSim drone simulator from various angles on a city map.
그림 Fig. 3. DQN network structure with targeted Q-learning outcomes in operation with states.
그림 Fig. 4. The data flow diagram for a DQN-network model with a responding buffer memory unit and a targeted network that is associated with a virtual environment.
그림 Fig. 5. The implementation of the deep Q neural network agent model initiation with tracking process by calculating the intersection over union of two predicted bounding boxes from targeted action values.
표 Table 1. DQN agent drone testing output parameters.
표 Table 2. Action-value based testing output of the DQN tracker.
그림 Fig. 6. Qualitative results of the proposed tracking algorithm with two object classes: person and car.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 객체 추적 성능을 높이고자 추적기의 학습에 필요한 드론 영상 데이터와 시뮬레이션 환경을 제공하기 위해 AirSim(Aerial Informaticsand RoboticsSimulation, AirSim)을 이용하여 가상의 도시 환경을 구축하고 가상 환경 내에서 심층 강화학습 (deepreinforcement learningmodel)의 DQN(Deep Q-Learning)모델을 사용하여 특정 객체를 추적하는 알고리즘을 제안한다.

제안 방법

본 연구에서는 가상현실 환경에서 드론 에이전트로 수행하는 AirSimpython클라이언트를 통해 가상 시뮬레이션 플랫폼 CityEnviron과 통합된 새로운 추적 기술을 제안하였다.객체를 예측 및 추적하고 환경을 학습하기 위해 여러 가상 이미지 기반 비디오 시퀀스로 훈련된 상호 통합된 순환 신경망 기반 DQN추적기를 사용했다.
보상 함수는 경계 상자의 중심과 프레임 중심 사이의 유클리드 거리, 경계 상자의 합집합에 대한 교차점 및 매개 변수 임계값 높이와 무게가 있는 프레임 중심을 중심으로 하는 가상 상자의 스케일 합으로 계산되며, 완성된 부분은 미리 정해진 간격으로 보상 값을 취하여 결정된다.마지막 단계로, 강화 에이전트를 생성하여 지정된 매개변수를 구성하고 가상 환경 시뮬레이션 모델 입력을 사용하여 알고리즘을 테스트한다.
제안한 방법에서는 추적의 최적화를 위해서 심층 강화 학습 기반 Q-네트워크 모델 에이전트를 이용해서 드론이 주도적으로 가상환경을 학습한다. 이때, 가상환경에서 생성된 드론 영상을 이용하여 학습하는 순차적 순환 신경망[8]예측 및 추적 아키텍처를 사용하여 객체 추적을 실시한다. 테스트를위해 AirSim[9]시뮬레이터 플랫폼을 사용하여 고유한 추적 모델을 구축한다.

대상 데이터

순환신경망을 기반으로 하는 DQN추적기를 훈련하기 위한 테스트에는 AirSIm을 이용해 구축된 가상 도시환경인 ‘CityEnvironment’를 촬영한 사진만 사용하였다
학습은 객체 클래스의 특성과 내용을 이해하기 위해 오프라인 모드로 진행하였으며, 3D로 구축된 가상 세계에서 녹화한 영상을 입력으로 사용했다. 순환신경망을 기반으로 하는 DQN추적기를 훈련하기 위한 테스트에는 AirSIm을 이용해 구축된 가상 도시환경인 ‘CityEnvironment’를 촬영한 사진만 사용하였다.

데이터처리

순환신경망을 기반으로 하는 DQN추적기를 훈련하기 위한 테스트에는 AirSIm을 이용해 구축된 가상 도시환경인 ‘CityEnvironment’를 촬영한 사진만 사용하였다. 그리고 추적기의 오프라인 훈련 후 가상 현실환경과 연결하여 네트워크의 실시간 실행 테스트를 실시하였다.

이론/모형

3은 학습 반복 에피소드의 샘플 또는 미니배치를 업데이트하기 위한 Q-러닝의 일부를 나타낸다. 이 과정에서 업데이트 Q-값은 에이전트의 행동을 결정하는데, 가장 높은 목표 Q-학습 값을 가진 행동이 선택되고 업데이트는 벨만 방정식(2)을 사용하여 수행된다.

참고문헌 (15)

J.F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High Speed Tracking with Kernelized Correlation Filters," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 37, No. 3, pp. 583-596, 2015.

상세보기
M. Danelljan, G. Hager, F. Shahbaz Khan, and M. Felsberg, "Convolutional Features for Correlation Filter Based Visual Tracking," Proceedings of the IEEE International Conference on Computer Vision Workshops, pp. 58-66, 2015.
J. Xie. E. Stensrud, and T. Skramstad, "Detection-Based Object Tracking Applied to Remote Ship Inspection," Sensors, Vol. 21, No. 3, 761, 2021.

상세보기
L. Bertinetto, J. Valmadre, J. F. Henriques, A. Vedaldi, and P. H. Torr. "Fully-Convolutional Siamese Networks for Object Tracking," Proceeding of the European Conference on Computer Vision, pp. 850-865, 2016.
B. Babenko, M.-H. Yang, and S. Belongie. "Robust Object Tracking with Online Multiple Instance Learning," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 8, pp. 1619-1632, 2011.

상세보기
X. Farhodov, O.-H. Kwon, K.-S. Moon, O.-J. Kwon, S.-H. Lee, and K.-R. Kwon. "A New CSR-DCF Tracking Algorithm Based on Faster RCNN Detection Model and CSRT Tracker for Drone Data," Journal of Korea Multimedia Society, Vol. 22, No. 12, pp. 1415-1429, 2019.

원문보기 상세보기
R.S. Sutton. Introduction to Reinforcement Learning, The MIT Press, Cambridge, Massachusetts, London, England, 2015.
J. Donahue, L. Anne Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell. "Long-Term Recurrent Convolutional Networks for Visual Recognition and Description," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2625-2634, 2015.
S. Shah, D. Dey, C. Lovett, and A. Kapoor, "AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles," Proceeding of the 11th Conference on Field and Service Robotics, pp. 621-635, 2018.
N.O. Salscheider, "Object Tracking by Detection with Visual Motion Cues," arXiv Preprint, arXiv:2101.07549, 2021.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. "You Only Look Once: Unified, Real-time Object Detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, 2016.
G. Ning, Z. Zhang, C. Huang, Z. He, X. Ren, and H. Wang. "Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking," Proceedings of the IEEE International Symposium on Circuits and Systems, pp. 1-4, 2017.
J.C. Caicedo and S. Lazebnik. "Active Object Localization with Deep Reinforcement Learning," Proceedings of the IEEE International Conference on Computer Vision, pp. 2488-2496, 2015.
D. Jayaraman and K. Grauman. "Look-Ahead before You Leap: End-to-End Active Recognition by Forecasting the Effect of Motion," Proceedings of the European Conference on Computer Vision, pp. 489-505, 2016.
V. Mnih, K. Koray, D. Silver, A.A. Rusu, J. Veness, M.G. Bellemare, et al., "Human-Level Control through Deep Reinforcement Learning," Nature, Vol. 518, pp. 529-533, 2015.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증