[논문]딥러닝을 활용한 흔들림 영상 안정화 알고리즘

이경민; 인치호

doi:10.7236/jiibc.2019.19.1.145

[국내논문] 딥러닝을 활용한 흔들림 영상 안정화 알고리즘
Video Stabilization Algorithm of Shaking image using Deep Learning 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.19 no.1, 2019년, pp.145 - 152

초록
AI-Helper

본 논문에서는 딥러닝을 활용한 흔들림 영상 안정화 알고리즘을 제안하였다. 제안하는 알고리즘은 기존 몇 가지 2D, 2.5D 및 3D 기반 안정화 기술과 다르게 딥러닝을 활용한다. 제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반대로 영상을 변환하는 알고리즘이다. 흔들림 안정화를 위한 알고리즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활용하여 CNN 네트워크과 LSTM 구조를 구현하였으며, 영상 흔들림 안정화는 OpenCV open source를 활용해 구현하였다. 실험결과 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없는 영상을 실험에 사용하여, 제안한 알고리즘을 적용한 결과 사용한 상하좌우 흔들림 영상에서는 안정적인 흔들림 안정화 성능을 기대할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we proposed a shaking image stabilization algorithm using deep learning. The proposed algorithm utilizes deep learning, unlike some 2D, 2.5D and 3D based stabilization techniques. The proposed algorithm is an algorithm that extracts and compares features of shaky images through CNN network structure and LSTM network structure, and transforms images in reverse order of movement size and direction of feature points through the difference of feature point between previous frame and current frame. The algorithm for stabilizing the shake is implemented by using CNN network and LSTM structure using Tensorflow for feature extraction and comparison of each frame. Image stabilization is implemented by using OpenCV open source. Experimental results show that the proposed algorithm can be used to stabilize the camera shake stability in the up, down, left, and right shaking images.

주제어

표/그림 (9)

그림 그림 1. 광학 흔들림 보정 기술 Fig. 1. Optical Image Stabilization Technology
그림 그림 2. CNN을 이용한 특징맵 추출 Fig. 2. Feature map extraction using CNN
그림 그림 3. 특징맵 Fig. 3. Feature map
그림 그림 4. 흔들림 영상 변환 그래프 Fig. 4. Shake image conversion graph
그림 그림 5. 각 프레임에 대한 χ, y 그래프 Fig. 5. χ and y graphs for each frame
그림 그림 5. 카메라 해상도 Fig. 5. Camera resolution
그림 그림 6. RNN의 장기 의존성(Long-Term Dependency) 문제점 Fig. 6. Long-Term Dependency Problems of RNN
그림 그림 7. 제안하는 흔들림 영상 안정화 딥러닝 네트워크 구조 Fig. 7. Proposed Shake Image Stabilization Deep Learning Network Structure
표 표 1. 흔들림 영상 안정화 실험 Table 1. Image Stabilization Experiment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥러닝을 활용한 흔들림 영상 안정화 알고리즘을 제안하였다. 제안하는 알고리즘은 기존 몇 가지 2D, 2.

제안 방법

따라서 보편적인 값 을 이용한다면 흔들림 영상을 보정할 수 있다. 그러나, 다 양한 환경에 유연한 성능을 가지 수는 없기 때문에 제안 하는 알고리즘은 그림 2와 같이 CNN(Convolutional Neural Network)을 통한 특징 추출을 한다. CNN은 특징 을 직접 학습하기 때문에 특징을 수동으로 추출해야 할 필요가 없다.
과 같이 x₀에서 X_t+1사이의 특징점을 비교 할 때 x₀에 프레임에서는 있던 A₁물체가 x_t-2프레 임에서 없어지고 X_t-1프레임에서 A₁물체와 비슷한 특징점을 가진 A₂물체가 있다면, LSTM을 사용하지 않는 RNN 에서는 A₁물체가 A₂물체의 위치만큼 이 동했다고 판단할 수 있다. 이러한 문제를 해결하기 위해 LSTM 사용하는 RNN 통해 흔들리는 영상에서의 특징 점 이동 정보를 추출하여 흔들림 보정을 할 것이다.
만약 카메라의 움직임 또는 카메라의 흔들리는 환경 에서 촬영한 영상 내에서 빠르게 이동되는 사람이 있을 때 사람의 특징점 이동 크기 만큼 보정되면 잘못된 값으 로 보정되는 문제가 생긴다. 이런 문제는 특징점 이동 크 기를 임계값으로 크게 움직이는 특징점을 제거하고 일관 되게 같은 위치에 있는 특징점만 남겨 비교한다. 그러나 이러한 해결 방법은 하드웨의 변경 또는 촬영된 장소의 환경에 따라 임계값을 설정해야하는 문제점을 가진다.
본 논문에서는 딥러닝을 활용한 흔들림 영상 안정화 알고리즘을 제안하였다. 제안하는 알고리즘은 기존 몇 가지 2D, 2.5D 및 3D 기반 안정화 기술과 다르게 딥러닝 을 활용한다. 제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특 징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특 징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반 대로 영상을 변환하는 알고리즘이다.
5D 및 3D 기반 안정화 기술과 다르게 딥러닝 을 활용한다. 제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특 징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특 징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반 대로 영상을 변환하는 알고리즘이다. CNN 네트워크 구 조를 통한 특징 추출은 기존 컴퓨터 비전에서 제안된 방법들은 여러 실험을 통한 경험에서 도출되는 수동적인 필터 값을 통해 특징을 추출하는데 각 수치는 여러 환경 에 유연하지 못하는 단점을 가지고 있다.
제안하는 흔들림 안정화 알고리즘은 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없 는 영상을 실험에 사용하였다. 흔들림 안정화를 위한 알 고리즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활용하여 구현하였으며, 영상 흔들림 안정 화는 OpenCV open source를 활용해 구현하였다.
흔들림 안정화를 위한 알 고리즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활용하여 구현하였으며, 영상 흔들림 안정 화는 OpenCV open source를 활용해 구현하였다. 즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활 용하여 구현하였으며, 영상 흔들림 안정화는 OpenCV open source 라이브러리를 활용해 구현하였다.
특징점을 찾는 알고리즘은 1970년대 말에 Morvec 제 곱의 합(Sum of squared difference) 방식으로 특징점을 제안하며 공식은 다음 수식 (1)과 같다.
제안하는 흔들림 안정화 알고리즘은 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없 는 영상을 실험에 사용하였다. 흔들림 안정화를 위한 알 고리즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활용하여 구현하였으며, 영상 흔들림 안정 화는 OpenCV open source를 활용해 구현하였다. 즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활 용하여 구현하였으며, 영상 흔들림 안정화는 OpenCV open source 라이브러리를 활용해 구현하였다.
또한 현재 프레임과 이전 프레임의 특징을 비교하기 위해 LSTM 네트워크 구조를 활용했으며, 이를 증명하기 위한 실험 에서는 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없는 영상을 실험에 사용하였으며. 흔들림 안정화를 위한 알고리즘은 각 프레임의 특징 추 출 및 비교를 위해 Tensorflow를 활용하여 CNN 네트워 크과 LSTM 구조를 구현하였으며, 영상 흔들림 안정화 는 OpenCV open source를 활용해 구현하였다. 그 결과 표 1과 같은 결과를 얻을 수 있었다.

대상 데이터

따라서 제안하 는 알고리즘에서는 여러 환경에서 유연한 특징을 추출하 기 위해 딥러닝을 통한 여러 필터를 적용한 특징맵들의 평균 특징맵을 추출하여 다양한 환경에서도 비슷한 성능 을 가질 수 있었으며, CNN 네트워크 구조에서 이미지의 크기가 줄어들어 연산 속도를 높일 수 있었다. 또한 현재 프레임과 이전 프레임의 특징을 비교하기 위해 LSTM 네트워크 구조를 활용했으며, 이를 증명하기 위한 실험 에서는 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없는 영상을 실험에 사용하였으며. 흔들림 안정화를 위한 알고리즘은 각 프레임의 특징 추 출 및 비교를 위해 Tensorflow를 활용하여 CNN 네트워 크과 LSTM 구조를 구현하였으며, 영상 흔들림 안정화 는 OpenCV open source를 활용해 구현하였다.

이론/모형

특징점 매칭 과정에서 2차원상에서 특징점의 이 동성 알 수 있다. 2차원상에서 이동은 결과 3차원에서 카 메라가 이동했기 때문에 발행되는데 RANSAC(Random Sample Consensus)^[8] 알고리즘을 활용하여 2차원상에서 점의 이동으로 3차원상에서 이동을 나타내는 기하학 변 환 행렬 (Geometric Transform matrix) 찾아 흔들림 영 상을 보정 할 수 있다.
본 논문에서는 흔들림 영상을 보정하기 위해 딥러닝 을 활용한다. 제안하는 알고리즘은 흔들림 영상의 현재 프레임과 이전 프레임의 간의 특징점 비교 및 매칭 과정 에서 발생되는 특징점 이동을 딥러닝을 활용하여 이동 방향 및 크기를 추출하여 좀 더 정밀하고 빠른 흔들림 보정을 할 수 있다.
이러 한 특징점 추출기를 활용한 특징을 추출한 후 현재 프레 임과 이전 프레임 간의 특징점을 비교해야 한다. 한 프레 임에서 이미지의 특징점은 수백개에서 수천개까지 추출 되기 때문에 빠르게 비교하려면 k 차원 트리(k-d tree)를 사용하거나, k-근접 이웃(k-nearest neighbor)을 찾는 알 고리즘을 사용한다. 비교 과정을 거쳐 프레임 이미지에 서 같은 특징점 매칭을 수행하면 흔들림 영상 보정에 불 필요한 특징점을 제거하여 메모리 및 처리 속도를 높일 수 있다.

성능/효과

그러나 이러한 해결 방법은 하드웨의 변경 또는 촬영된 장소의 환경에 따라 임계값을 설정해야하는 문제점을 가진다. 따라서 본 논문에서는 LSTM(Long-Short Term Memory) 네트워크 통한 이전 시퀀스 별 특징점들의 이 동 정보를 바탕으로 흔들림으로 인한 특징정 이동의 임 계값을 계산하여 하드웨어 성능 및 촬영 장소에 상관없 는 강인한 특징점 추출 할 수 있다. LSTM은 RNN(Recurrent Neural Network) 의 단점이 장기 의존 성 문제[9]를 해결하기 위한 방법으로 프레임의 간격 차가 큰 특징점을 비교하게 되면 또한 잘못된 보정이 될 수 있 다.
CNN 네트워크 구 조를 통한 특징 추출은 기존 컴퓨터 비전에서 제안된 방법들은 여러 실험을 통한 경험에서 도출되는 수동적인 필터 값을 통해 특징을 추출하는데 각 수치는 여러 환경 에 유연하지 못하는 단점을 가지고 있다. 따라서 제안하 는 알고리즘에서는 여러 환경에서 유연한 특징을 추출하 기 위해 딥러닝을 통한 여러 필터를 적용한 특징맵들의 평균 특징맵을 추출하여 다양한 환경에서도 비슷한 성능 을 가질 수 있었으며, CNN 네트워크 구조에서 이미지의 크기가 줄어들어 연산 속도를 높일 수 있었다. 또한 현재 프레임과 이전 프레임의 특징을 비교하기 위해 LSTM 네트워크 구조를 활용했으며, 이를 증명하기 위한 실험 에서는 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없는 영상을 실험에 사용하였으며.
본 논문에서는 흔들림 영상을 보정하기 위해 딥러닝 을 활용한다. 제안하는 알고리즘은 흔들림 영상의 현재 프레임과 이전 프레임의 간의 특징점 비교 및 매칭 과정 에서 발생되는 특징점 이동을 딥러닝을 활용하여 이동 방향 및 크기를 추출하여 좀 더 정밀하고 빠른 흔들림 보정을 할 수 있다.
그 결과 표 1과 같은 결과를 얻을 수 있었다. 제안한 알고리즘을 흔들림 영상에 적용한 결과 사용한 상하좌우 흔들림 영 상에서는 안정적인 흔들림 안정화 성능을 기대 할 수 있 었다. 그러나 급격한 회전 또는 상하좌우 흔들림 영상에 서는 급격한 특징점 이동으로 이미지 워핑할 때 많이 찌 그러져 알아볼 수 없는 이미지 변환이 발생되었다.

후속연구

그러나 급격한 회전 또는 상하좌우 흔들림 영상에 서는 급격한 특징점 이동으로 이미지 워핑할 때 많이 찌 그러져 알아볼 수 없는 이미지 변환이 발생되었다. 또한 이미지 워핑을 OpenCV 라이브러리를 통한 후처리를 했 지만 향후 연구에서는 딥러닝을 네트워크 구조에서 한번 의 forward 프로세싱으로 이미지 워핑할 수 있는 알고리 즘을 연구하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CNN 네트워크를 통한 특징 추출의 단점은?	제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특 징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특 징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반 대로 영상을 변환하는 알고리즘이다. CNN 네트워크 구 조를 통한 특징 추출은 기존 컴퓨터 비전에서 제안된 방법들은 여러 실험을 통한 경험에서 도출되는 수동적인 필터 값을 통해 특징을 추출하는데 각 수치는 여러 환경 에 유연하지 못하는 단점을 가지고 있다. 따라서 제안하 는 알고리즘에서는 여러 환경에서 유연한 특징을 추출하 기 위해 딥러닝을 통한 여러 필터를 적용한 특징맵들의 평균 특징맵을 추출하여 다양한 환경에서도 비슷한 성능 을 가질 수 있었으며, CNN 네트워크 구조에서 이미지의 크기가 줄어들어 연산 속도를 높일 수 있었다.
	본 연구에서 제안한 영상 안정화 알고리즘은 어떻게 구현되는 알고리즘인가?	5D 및 3D 기반 안정화 기술과 다르게 딥러닝 을 활용한다. 제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특 징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특 징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반 대로 영상을 변환하는 알고리즘이다. CNN 네트워크 구 조를 통한 특징 추출은 기존 컴퓨터 비전에서 제안된 방법들은 여러 실험을 통한 경험에서 도출되는 수동적인 필터 값을 통해 특징을 추출하는데 각 수치는 여러 환경 에 유연하지 못하는 단점을 가지고 있다.
	증강현실의 특징은?	하지만 3차 원 가상현실을 구현하기 위해서는 많은 자원이 요구되고 있다. 반면에 가상현실의 한 분야인 증강현실은 현실세 계를 바탕으로 목적물에 대해서만 3차원 가상현실을 적 용함으로써 상대적으로 용이한 구현조건을 가질 뿐만 아 니라 현실세계와 가상현실에서 얻기 어려운 부가적인 정 보들을 보강해 제공할 수 있는 특징을 가지고 있다[1-3].

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증