[논문]Triplet CNN과 학습 데이터 합성 기반 비디오 안정화기 연구

양병호; 이명진

doi:10.5909/jbe.2020.25.3.428

Triplet CNN과 학습 데이터 합성 기반 비디오 안정화기 연구
Study on the Video Stabilizer based on a Triplet CNN and Training Dataset Synthesis 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.3, 2020년, pp.428 - 438

초록
AI-Helper

영상 내 흔들림은 비디오의 가시성을 떨어뜨리고 영상처리나 영상압축의 효율을 저하시킨다. 최근 디지털 영상처리 분야에 딥러닝이 본격 적용되고 있으나, 비디오 안정화 분야에 딥러닝 적용은 아직 초기 단계이다. 본 논문에서는 Wobbling 왜곡 경감을 위한 triplet 형태의 CNN 기반 비디오 안정화기 구조를 제안하고, 비디오 안정화기 학습을 위한 학습데이터 합성 방법을 제안한다. 제안한 CNN 기반 비디오 안정화기는 기존 딥러닝 기반 비디오 안정화기와 비교되었으며, Wobbling 왜곡은 감소하고 더 안정적인 학습이 이루어지는 결과를 얻었다.

Abstract ▼ AI-Helper

The jitter in the digital videos lowers the visibility and degrades the efficiency of image processing and image compressing. In this paper, we propose a video stabilizer architecture based on triplet CNN and a method of synthesizing training datasets based on video synthesis. Compared with a conven...

주제어

표/그림 (8)

그림 그림 1. Stabnet 구조 [18] Fig. 1. The architecture of Stabnet [18]
그림 그림 2. 제안하는 3-branch 비디오 안정화기 네트워크 구조 Fig. 2. The proposed 3-branch network architecture
그림 그림 3. 제안하는 학습데이터 생성 방법 Fig. 3. The proposed training data synthesis method
표 표 1. 실험에 사용한 파라미터 셋 Table 1. The parameter-set used in this test
그림 그림 4. N-branch 네트워크 별 비디오 안정화 결과, (a) 1-branch 네트워크, (b) 2-branch 네트워크, (c) 3-branch 네트워크 Fig. 4. The video stabilization results for each n-branch network, (a) 1-branch, (b) 2-branch, (c) 3-branch
그림 그림 5. N-branch 네트워크 별 비디오 안정화 성능 (a) 입력 unsteady 비디오 프레임, (b) 안정화된 비디오 프레임 (1-branch), (c) 안정화된 비디오 프레임 (2-branch), (d) 안정화된 비디오 프레임 (3-branch); n-branch의 제1열: 안정화된 비디오 프레임의 평균, n-branch의 제2열: 안정화된 비디오 프레임의 표준편차, n-branch의 제3열: 각 branch별 모든 pixel의 표준편차의 평균 Fig. 5. Video stabilization performance for n-branch networks, (a) input unsteady video frame (b) stabilized video frame (1-branch) (c) stabilized video frame (2-branch) (d) stabilized video frame (3-branch); The 1st column of n-branch: average of stabilized video frames, the 2nd column of n-branch: standard deviation of stabilized video frames, the 3rd column of n-branch: the average of standard deviation
표 표 2. 각 branch별 모든 pixel의 표준편차의 평균 Table 2. the average of standard deviation for each number of branches
그림 그림 6. Stabnet과 제안한 네트워크의 training loss 및 validation loss 비교, (a) Stabnet, (b), (c) 제안한 네트워크, (a-1), (b-1) Stabnet과 제안한 3-branch 네트워크의 training loss, (a-2), (b-2) Stabnet과 제안한 3-branch 네트워크의 validation loss, (c-1) 제안한 2-branch 네트워크의 training loss, (c-2) 제안한 3-branch 네트워크의 training loss Fig. 6. Comparison training and validation losses between the Stabnet and the proposed network, (a) Stabnet, (b), (c) proposed network, (a-1), (b-1) training losses of the Stabnet and the proposed 3-branch network, (a-2), (b-2) validation losses of the Stabnet and the proposed 3-branch network, (c-1) training loss of the proposed 2-branch network, (c-2) training loss of the proposed 3-branch network

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 L_feature과 L_pixel 대신에 homography를 GT로 사용하는 Ltrans를 제안한다. Wang은 L_feature과 L_pixel이 학습된 homography를 이용해 unsteady 비디오 프레임을 변환하고 변환된 비디오 프레임과 GT로 입력된 비디오 프레임을 비교하는 간접적인 접근법으로 인해 학습에 한계가 있었다.
본 논문에서는 Wobbling 왜곡을 경감시킬 수 있는 triplet 형태의 CNN 기반 비디오 안정화기 구조를 제안한다. 제안한 CNN 기반 비디오 안정화기가 좋은 성능을 보이기 위해서는 양질의 학습데이터가 필요하며, 학습을 위해 별도로 촬영할 필요가 없는 영상합성 기반 학습데이터 확보 방법을 제안한다.
Wang은 L_feature과 L_pixel이 학습된 homography를 이용해 unsteady 비디오 프레임을 변환하고 변환된 비디오 프레임과 GT로 입력된 비디오 프레임을 비교하는 간접적인 접근법으로 인해 학습에 한계가 있었다. 본 논문에서는 homography를 직접 비교하여 학습함으로써 이러한 한계를 극복할 수 있다. 이를 위해서는 GT로 사용할 흔들림 보정을 위한 homography를 확보할 수 있어야 하는데 이는 다음 절에서 설명한다.
본 논문에서는 triplet 네트워크 구조를 응용해 프레임간 차이를 유사하게 유지함으로써 wobbling 왜곡을 억제하는 비디오 안정화기 네트워크를 제안하고 실험을 통해 그 성능을 입증하였다.
)를 이용한 시간방향 손실함수를 도입했다. 본 논문에서는 여기에 추가로 history frame을 이용해 wobbling 왜곡을 제거하는 네트워크 구조와 손실함수를 제안한다. 시간방향 손실함수 구성 시 바로 이전 비디오 프레임만을 이용할 경우 Wobbling 왜곡 억제가 효과적이지 못하기 때문에 \(\tilde{F}_t\), \(\tilde{F}_{t-1}\), \(\tilde{F}_{t-2}\)를 입력으로 하는 그림 2의 3-branch 네트워크 구조를 제안한다.

가설 설정

둘째, Darknet에 구현을 하기위해서는 loss함수에 대한 미분이 필요해 이 부분을 별도 계산하여 구현하였다. 마지막으로 Wang은 online 사용을 가정하여 online 예측 시 history 비디오 프레임에 발생하는 black border를 학습에 반영하기 위해 학습을 위해 history 비디오 프레임에 random black border를 삽입하였는데, 본 논문에서 이 과정은 적용하지 않았다.

제안 방법

. Resnet과 Siamese network 기반으로 Stabnet을 설계하고, Stabnet의 출력인 homography를 이용한 Loss 함수를 정의함으로써 비디오 안정화 문제에 딥러닝을 적용하였다. Stabnet 입력은 그림 1과 같이 B_t와 B_t-1 두 개의 비디오 프레임 그룹이다.
먼저 훈련 시 training loss가 포화되는 시점을 비교하였고, 이의 보완으로 validation 셋을 이용한 loss 그래프를 비교하였다. Training 및 validation은 모두 Wang 이 제공한 61개 비디오 시퀀스의 44,000장의 비디오 프레임을 사용했으며 이를 7:3의 비율로 나누어 training 집합과 validation 집합을 구성했다. Training 집합은 43개 비디오 시퀀스의 29,990장의 비디오 프레임으로 구성되었으며 validation 집합은 18개 클립의 13,595장의 비디오 프레임으로 구성되었다.
Validation은 각 10, 20, …, 100, 200, 1000, 2000, …, 10000, 20000, …, 90000 회 학습의 결과를 저장한 뒤 그 결과를 이용하여 validation 집합을 예측하고 검증했다.
Wobbling 왜곡 억제 효과를 비교하기 위해 1개, 2개, 3개의 branch를 갖는 네트워크를 각각 구현하여 학습하였다. Branch의 숫자만 다를 뿐 그 외 모든 파라미터는 동일하게 사용하였다.
첫째, Wang은 균형 가중치 \(\lambda\)를 30으로 제안했는데 그럴 경우 학습이 제대로 이루어 지지 않아 본 논문에서는 3으로 설정하였다. 둘째, Darknet에 구현을 하기위해서는 loss함수에 대한 미분이 필요해 이 부분을 별도 계산하여 구현하였다. 마지막으로 Wang은 online 사용을 가정하여 online 예측 시 history 비디오 프레임에 발생하는 black border를 학습에 반영하기 위해 학습을 위해 history 비디오 프레임에 random black border를 삽입하였는데, 본 논문에서 이 과정은 적용하지 않았다.
본 논문에서는 triplet 네트워크 구조를 응용해 프레임간 차이를 유사하게 유지함으로써 wobbling 왜곡을 억제하는 비디오 안정화기 네트워크를 제안하고 실험을 통해 그 성능을 입증하였다. 또한, 비디오 안정화기 학습을 위해 steady 비디오 시퀀스와 기 확보된 homography 시퀀스로부터 unsteady 비디오 시퀀스를 합성하는 방법을 제안하였다. 제안한 비디오 안정화기는 다음과 같은 경우에 대한 검증과 추가 연구가 필요하다.
제안방식과 Stabnet의 학습과정을 비교 분석하였다. 먼저 훈련 시 training loss가 포화되는 시점을 비교하였고, 이의 보완으로 validation 셋을 이용한 loss 그래프를 비교하였다. Training 및 validation은 모두 Wang 이 제공한 61개 비디오 시퀀스의 44,000장의 비디오 프레임을 사용했으며 이를 7:3의 비율로 나누어 training 집합과 validation 집합을 구성했다.
은 비디오 안정화 알고리즘을 평가하기 위한 방법으로 random한 움직임과 기존 영상으로부터 추출한 움직임을 통한 합성 영상 사용을 제안하고 있다. 본 논문에서는 Wang 이 제공한 unsteady 영상으로부터 추출한 흔들림을 사용하여 Stabnet의 결과와 비교하였다.
본 장에서는 Wobbling 왜곡 억제에 효과적인 딥러닝 네트워크 구조와 소량의 훈련데이터를 이용해 대량의 흔들림 영상을 합성하여 훈련하는 방법을 제안한다.
본 절에서는 제안한 학습데이터 합성 방법을 구현하고 이들을 이용한 학습시 Stabnet과 학습 경향을 비교 분석하였다.
합성된 unsteady 비디오 시퀀스와 homography sequence를 이용하여 제안한 네트워크를 훈련시킨다. 제안방법은 비디오 안정화기 학습을 위한 데이터와 정확한 GT를 확보할 수 있다.
제안방식과 Stabnet의 학습과정을 비교 분석하였다. 먼저 훈련 시 training loss가 포화되는 시점을 비교하였고, 이의 보완으로 validation 셋을 이용한 loss 그래프를 비교하였다.
제안한 3-branch 네트워크는 각 branch별로 비디오 안정화를 위한 homography \(\bar{H}_t\)를 출력하며, 이를 이용하여 흔들림이 존재하는 인접 프레임들의 안정화된 비디오 프레임들 사이의 wobbling 왜곡을 줄이고, 비디오 안정화를 위한 homography 추정의 정확도를 높이는 방향으로 학습을 진행한다.
본 논문에서는 Wobbling 왜곡을 경감시킬 수 있는 triplet 형태의 CNN 기반 비디오 안정화기 구조를 제안한다. 제안한 CNN 기반 비디오 안정화기가 좋은 성능을 보이기 위해서는 양질의 학습데이터가 필요하며, 학습을 위해 별도로 촬영할 필요가 없는 영상합성 기반 학습데이터 확보 방법을 제안한다.
제안한 비디오 안정화기 네트워크의 학습과 테스트를 위해 Redmon^[19]이 구현한 Darknet 딥러닝 플랫폼에서 제안구조와 Stabnet을 구현하였다.
Steady 비디오 시퀀스를 먼저 확보한 뒤 별도로 생성된 homography sequence를 이용해 steady 비디오 시퀀스를 unsteady 비디오 시퀀스로 합성한다. 합성된 unsteady 비디오 시퀀스와 homography sequence를 이용하여 제안한 네트워크를 훈련시킨다. 제안방법은 비디오 안정화기 학습을 위한 데이터와 정확한 GT를 확보할 수 있다.

대상 데이터

Training 및 validation은 모두 Wang 이 제공한 61개 비디오 시퀀스의 44,000장의 비디오 프레임을 사용했으며 이를 7:3의 비율로 나누어 training 집합과 validation 집합을 구성했다. Training 집합은 43개 비디오 시퀀스의 29,990장의 비디오 프레임으로 구성되었으며 validation 집합은 18개 클립의 13,595장의 비디오 프레임으로 구성되었다.

성능/효과

Validation은 각 10, 20, …, 100, 200, 1000, 2000, …, 10000, 20000, …, 90000 회 학습의 결과를 저장한 뒤 그 결과를 이용하여 validation 집합을 예측하고 검증했다. Stabnet은 약 20000회 정도가 되면 validation loss가 오히려 증가하는 overfit경향을 보여주는 데 반해, 제안한 네트워크는 validation loss도 꾸준히 감소하는 것을 볼 수 있다.
첫째, 이 데이터셋 확보 방법은 steady 카메라와 un- steady 카메라 사이에 시차가 존재하고, 이 시차 때문에 steady 카메라 영상은 unsteady 카메라 영상의 진정한 GT가 될 수 없다. 둘째, GT로 사용되는 steady 영상의 신뢰도가 steady 카메라가 장착된 안정화기의 성능에 의존적이다. 비디오 안정화기의 딥러닝 네트워크는 unsteady 영상을 안정화된 steady 영상으로 변환하도록 훈련을 받는데, 최적의 훈련을 받더라도 그 결과는 steady 영상을 제공하는 기계적 안정화된 영상으로 수렴한다.
이상의 training loss와 validation loss 실험을 통해 Stabnet이 제안한 네트워크에 비해 포화상태에 느리게 도달함을 확인하였다. 이로부터 본 논문에서 제안한 unsteady 비디오 프레임 합성방법이 잘 작동하는 것을 확인할 수 있다.
이상의 training loss와 validation loss 실험을 통해 Stabnet이 제안한 네트워크에 비해 포화상태에 느리게 도달함을 확인하였다. 이로부터 본 논문에서 제안한 unsteady 비디오 프레임 합성방법이 잘 작동하는 것을 확인할 수 있다.
제안 방법을 사용하면 쉽게 확보 가능한 steady 비디오 시퀀스와 기 확보된 homography 시퀀스를 이용하여 unsteady 비디오 시퀀스를 합성할 수 있다. Homography 시퀀스는 Wang 이 사용한 두 대의 카메라를 이용하는 방법으로부터 추출하거나, 카메라의 흔들림을 모델링하여 사용하여 생성 가능하다.
제안한 비디오 안정화기는 다음과 같은 경우에 대한 검증과 추가 연구가 필요하다. 첫째, 고정형 카메라가 제한된 범위내에서 흔들리는 경우 병진운동과 회전운동만 고려한 학습이 더 좋은 성능을 기대할 수 있다. 둘째, 이동형 카메라가 흔들리는 경우 카메라 이동에 따른 영상의 변화와 카메라 흔들림에 따른 변화를 구분한 학습과정의 손실함수 설계가 필요하다.
첫째, 이 데이터셋 확보 방법은 steady 카메라와 un- steady 카메라 사이에 시차가 존재하고, 이 시차 때문에 steady 카메라 영상은 unsteady 카메라 영상의 진정한 GT가 될 수 없다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스마트폰과 같은 소형/저가 장치에서 디지털 보정을 선택하는 이유는 무엇인가?	스마트폰과 같은 소형/저가 장치에서는 크기와 가격 등의 요소로 인해 디지털 보정을 채택한다. 종래의 DIS는 특징점이나 카메라 궤적 추적에 기반한 방식들인데, 많은 연산량과 영상 보정 성능의 한계가 존재한다[6-8,11].
	기계적 보정은 무엇인가?	영상의 흔들림을 보정하는 기술은 기계적 보정, 광학적 보정, 전자적 보정, 디지털 보정(digital image stabilization; DIS) 등으로 나누어 볼 수 있다. 기계적 보정은 무게 추, gimbal 등의 기계 장치를 이용한 흔들림 보정 기술이다. 근래의 기계적 보정은 관성센서를 이용한 흔들림 추정과 actuator 구동을 통해 CCD (Charge-Coupled Device) 플랫폼을 움직여 흔들림을 보정한다.
	아마추어들이 촬영하는 디지털 영상에서 가시성이 떨어지는 주요 원인은 무엇인가?	디지털 이미징 기기의 급격한 증가와 함께 아마추어들이 촬영하는 디지털 영상 또한 가파르게 증가하고 있다. 그런데 개인 저작 영상은 촬영 환경의 열악함과 촬영자의 미숙함 등으로 인해 가시성이 많이 떨어지는데, 손 떨림에 의해 유발된 영상의 흔들림이 가시성을 저하시키는 주요 요인으로 지적되고 있다[1]. 또한, 야외 레저활동 과정에서 액션 캠, 드론, 로봇 등으로 촬영한 영상은 필연적으로 흔들림이 발생하므로 이들 영상을 시청하거나 혹은 영상의 활용 시 흔들림 보정이 필요하다[2].

참고문헌 (22)

P. Rawat and J. Singhai, "Efficient Video Stabilization Technique for Hand Held Mobile Videos," International Journal of Signal Processing, Image Processing and Pattern Recognition, Vol. 6, No. 3, pp.17-32, Jun. 2013.
W. J. Freeman, Digital Video Stabilization with Inertial Fusion, Master's Thesis of Virginia Polytechnic Institute, VA, 2013.
F. L. Rosa et al., Optical Image Stabilization (OIS), White paper. STMicroelectronics, 2015.
S. Bayrak, Video Stabilization: Digital and Mechanical Approaches, Master's Thesis of Middle East Technical University, Ankara, Turkey, 2008.
M. J. Smith et al., "Electronic Image Stabilization using Optical Flow with Inertial Fusion," Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, pp.1146-1153, 2010.
J. Xu et al., "Fast feature-based video stabilization without accumulative global motion estimation," IEEE Transactions on Consumer Electronics, Vol. 58, No. 3, pp. 993-999, Sep. 2012, https://ieeexplore.ieee.org/document/6311347.

상세보기
B. Pinto and P. R. Anurenjan, "Video stabilization using Speeded Up Robust Features," Proceeding of International Conference on Communications and Signal Processing, Calicut, India, pp. 527-531, 2011.
S. Battiato et al., "SIFT Features Tracking for Video Stabilization," Proceeding of 14th International Conference on Image Analysis and Processing, Modena, Italy, pp. 825-830, 2007.
C. Harris and M. Stephens, "A combined corner and edge detector," Proceeding of Fourth Alvey Vision Conference, Manchester, England, pp. 147-151, 1988.
D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004, https://doi.org/10.1023/B:VISI.0000029664.99615.94.

상세보기
K. Veon, Video Stabilization using SIFT Features, Fuzzy Clustering, and Kalman Filtering, Master's Thesis of University of Denver, Denver, CO, 2011.
M. A. Fischler and R. C. Bolles "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography," Comm. ACM, Vol. 24, No. 6, pp. 381-395, Jun. 1981, https://doi.org/10.1145/358669.358692.

상세보기
C. Yin et al., "Removing Dynamic 3D Objects from Point Clouds of a Moving RGB-D Camera," Proceeding of International Conference on Information and Automation, Lijiang, China, pp. 1600-1606, 2015.
K. He et al., "Deep Residual Learning for Image Recognition," Proceeding of Computer Vision and Pattern Recognition, Las Vegas, NV, pp. 770-778, 2016.
S. Zagoruyko and N. Komodakis, "Learning to Compare Image Patches via Convolutional Neural Networks," Proceeding of Computer Vision and Pattern Recognition, Apr. 2015.
E. Hoffer and N. Ailon, "Deep metric learning using Triplet network," Proceeding of Computer Vision and Pattern Recognition, Mar. 2015.
M. Jaderberg et al., "Spatial Transformer Networks," Proceeding of the 28th International Conference on Neural Information Processing Systems, Montreal, Canada, pp. 2017-2025, 2015.
M. Wang et al., "Deep Online Video Stabilization," arXiv, Feb. 2018.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once:Unified, Real-Time Object Detection," Proceeding of Computer Vision and Pattern Recognition, Las Vegas, NV, pp. 779-788, 2016.
H. Qu, L. Song, and G. Xue, "Shaking video synthesis for video stabilization performance assessment," Proceeding of Visual Communications and Image Processing, Kuching, Malaysia, pp. 1-6, 2013.
S.-P. Lu et al., "Synthesis of Shaking Video Using Motion Capture Data and Dynamic 3D Scene Modeling," Proceeding of 25th IEEE International Conference on Image Processing, Athens, Greece, pp. 1438-1442, 2018.
M. Grundmann, V. Kwatra, and I. Essa, "Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths," Proceeding of Computer Vision and Pattern Recognition, Colorado Springs, CO, pp. 225-232, 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증