[논문]계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법

안하은; 정진우; 김제우

계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법
Hierarchical Convolutional Neural Network based Fast Frame Interpolat ion for High-Resolution Video 원문보기

안하은 (광운대학교) , 정진우 (전자부품연구원) , 김제우 (전자부품연구원)

본 논문에서는 계층구조 합성곱 신경망 기반의 고해상도 동영상 프레임 고속 보간 방법을 제안한다. 기존의 고해상도 동영상 프레임 보간 방법은 시간 해상도와 공간 해상도를 분리하여 보간 하기 때문에, 예측된 보간 프레임이 블러(blur) 열화를 갖는 문제를 보인다. 제안하는 방법에서는 이러한 문제를 해결하기 위하여 계층구조 합성곱 신경망 기반의 보간 방법을 이용한다. 제안하는 계층구조 합성곱 신경망은 우선 저해상도의 광학 흐름 추정지도를 생성하고 이를 고해상도로 복원하여 프레임 보간을 수행한다. 이때, 저해상도 광학 흐름 지도를 추정할 때 사용된 특징 정보들을 활용하여 고품질의 고해상도 광학 흐름 지도를 추정한다. 실험을 통하여 제안하는 방법이 고해상도 프레임을 고속으로 보간하며, 동시에 블러 열화에 대한 성능 향상을 가짐을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법을 제안하였다. 제안하는 방법에서는 우선 저해상도의 광학 흐름지도를 추정하고 이를 광학 흐름 지도 보간부에서 고해상도로 복원한다.
본 논문에서는 이러한 문제점을 해결하기 위하여, 계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 보간 방법을 제안한다. 제안하는 방법에서는 우선 저해상도의 광학 흐름추정지도를 생성한 뒤 멀티스케일 영상 정보를 이용하여 이를 고해상도로 복원한다.

제안 방법

실험에 사용한 고해상도 동영상은 Ultra Video [6]의 Beauty 와 ShakeNDry 영상으로, 광학 추정에 있어 블러(blur) 현상을 야기하는 큰 움직임과 불규칙적인 영상 변화를 다량 포함한다. 또한, 추가적으로 고해상도 프레임 보간 시간 측정 실험을 수행한다. 표 1은 제안하는 방법과 기존 방법들의 PSNR 측정결과를 비교하여 보여준다.
표 2는 제안하는 방법과 기존의 방법들의 4K 영상에 대한프레임 보간 시간을 비교하여 보여준다. 보간 시간 측정 실험을 위하여 1 대의 Nvidia Titan Xp GPU 장비를 이용하여, 연속된 1,000 개의 프레임을 보간 한 후, 전체 소모 시간의 평균치를 계산한다. 제안하는 방법은 4K 의 고해상도 영상에서 기존의 방법대비 약 1.
두 번째 광학 흐름 보간부에서는 이를 입력으로 받아 4K 해상도의 광학 흐름 지도보간을 수행한다. 이때, 저해상도 광학 흐름 지도를 추정할 때 사용된 특징 정보들을 활용하여 고품질의 고해상도 광학 흐름 지도를 추정한다. 최종적으로, 광학 흐름 보간부에서 복원된 광학 흐름지도를 이용하여 프레임 보간을 수행한다.
제안하는 방법에서는 계층구조 합성곱 신경망의 훈련을 위하여 YCbCr 색상 공간을 가지는 영상 패치(patch)를 생성한다. 한 개의 훈련 샘플(sample)은 T – 1, T, T+1 의 시간정보를 가지는 YCbCr420 형태의 영상 패치들을 포함한다.
본 논문에서는 계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법을 제안하였다. 제안하는 방법에서는 우선 저해상도의 광학 흐름지도를 추정하고 이를 광학 흐름 지도 보간부에서 고해상도로 복원한다. 이때, 각 계층 신경망에서 생성되는 특징 지도를 다음 신경망으로 전달하여 활용하였다.
본 논문에서는 이러한 문제점을 해결하기 위하여, 계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 보간 방법을 제안한다. 제안하는 방법에서는 우선 저해상도의 광학 흐름추정지도를 생성한 뒤 멀티스케일 영상 정보를 이용하여 이를 고해상도로 복원한다. 이를 통하여 고해상도의 광학 흐름추정지도를 직접 생성하는 방법에 비하여 비적 낮은 연산복잡도를 가지는 합성곱 신경망을 설계 할 수 있다.
제안하는 전체 합성곱 신경망은 한 개의 광학 흐름추정부와 두 개의 광학 흐름 보간부, 총 3 개의 계층구조로 이루어져 있다. 우선 광학 흐름 추정부에서는 시간적으로 인접한 입력 영상들의 광학 흐름 관계를 저해상도에서 추정한다.

대상 데이터

제안하는 방법의 우수성을 보이기 위하여 기존의 프레임 보간 방법과 PSNR 비교 측정 실험을 수행한다. 성능 비교를 위하여, 본 논문에서는 고해상도 동영상 프레임 복원을 별도의 메모리 해제 없이 수행할 수 있는 [4]을 선택한다. 실험에 사용한 고해상도 동영상은 Ultra Video [6]의 Beauty 와 ShakeNDry 영상으로, 광학 추정에 있어 블러(blur) 현상을 야기하는 큰 움직임과 불규칙적인 영상 변화를 다량 포함한다.
성능 비교를 위하여, 본 논문에서는 고해상도 동영상 프레임 복원을 별도의 메모리 해제 없이 수행할 수 있는 [4]을 선택한다. 실험에 사용한 고해상도 동영상은 Ultra Video [6]의 Beauty 와 ShakeNDry 영상으로, 광학 추정에 있어 블러(blur) 현상을 야기하는 큰 움직임과 불규칙적인 영상 변화를 다량 포함한다. 또한, 추가적으로 고해상도 프레임 보간 시간 측정 실험을 수행한다.
한 개의 훈련 샘플(sample)은 T – 1, T, T+1 의 시간정보를 가지는 YCbCr420 형태의 영상 패치들을 포함한다.

데이터처리

제안하는 방법의 우수성을 보이기 위하여 기존의 프레임 보간 방법과 PSNR 비교 측정 실험을 수행한다. 성능 비교를 위하여, 본 논문에서는 고해상도 동영상 프레임 복원을 별도의 메모리 해제 없이 수행할 수 있는 [4]을 선택한다.

이론/모형

는 입력 영상에서 에지 지도를 추출한다. 본 논문에서는 holistically nested edge detection[5]를 이용하여 에지 지도를 생성한다. I^′는 예측된 보간 프레임이며, I_gt는 생성된 보간 프레임 정답 프레임을 의미한다.

성능/효과

이를 통하여 고해상도 동영상 프레임을 고속으로 수행할 수 있음을 보였다. 또한 실험을 통하여 제안하는 방법이 블러(blur) 열화에 대한 성능 향상을 가짐을 보였다.
보간 시간 측정 실험을 위하여 1 대의 Nvidia Titan Xp GPU 장비를 이용하여, 연속된 1,000 개의 프레임을 보간 한 후, 전체 소모 시간의 평균치를 계산한다. 제안하는 방법은 4K 의 고해상도 영상에서 기존의 방법대비 약 1.37 배의 보간 속도 향상을 보인다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법
Hierarchical Convolutional Neural Network based Fast Frame Interpolat ion for High-Resolution Video 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법 Hierarchical Convolutional Neural Network based Fast Frame Interpolat ion for High-Resolution Video 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

계층구조 합성곱 신경망 기반 고해상도 동영상 프레임 고속 보간 방법
Hierarchical Convolutional Neural Network based Fast Frame Interpolat ion for High-Resolution Video 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper