[논문]컨벌루션 신경망 기반 비디오 디인터레이스 기법

정진우; 안하은; 김제우

컨벌루션 신경망 기반 비디오 디인터레이스 기법
Video Deinterlace based on Convolutional Neural Network 원문보기

정진우 (전자부품연구원) , 안하은 (전자부품연구원) , 김제우 (전자부품연구원)

인터레이스 영상은 지난 수 십 년간 방송 및 비디오 레코딩 등에 광범위하게 사용되고 있으며 디인터레이스의 성능을 향상 시키기 위한 많은 연구가 이루어졌다. 이를 위한 것으로써 본 논문에서는 컨볼루션 신경망을 이용한 비디오 디인터레이스 기법을 제안한다. 제안한 방법은 SKIP 연결을 사용하여 낮은 수준 특징 정보를 뒷 단의 레이어까지 전달함으로써 성능 향상을 달성하였다. 실험 결과는 FFMPEG 에서 제공하는 디인터레이스 기법에 비해 전 영상에 걸쳐 우수한 성능을 제공하며, 특히 복잡한 영상에서 기존 알고리즘 대비 큰 폭의 성능향상을 보인다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

컨볼루션 신경망(ConvolutionalNeural Network)은 영상 인식, 영상 처리 등 다양한 분야에 사용되고 있으며 기존 기법에 비해 우수한 성능을 제공하고 있다. 따라서 본 논문에서는 성능 향상을 위해 컨볼루션신경망을 이용한 디인터레이스 기법을 제안한다.
본 논문에서는 컨볼루션 신경망을 이용한 비디오디인터레이스 기법을 제안하였다. 제안 방법은 낮은 수준의 특징 정보와 높은 수준의 특징 정보를 더함으로써 성능 향상을제공하였다.

제안 방법

손실 (loss) 함수는 다음과 같이 예측 영상관 원영상의 차이의 제곱인 L2 norm 손실 함수와 smooth 손실 함수를 사용하였다. 𝜆_r과 𝜆_s는 각각 1 과 2 × 10^-8로 설정하였다.
테스트 시퀀스로는 MPEG 시퀀스 중의 학습에 사용되지 않은 영상의 일부를 사용하였다. 제안한 알고리즘은 밝기 신호에 대하여만 적용하였다.
제안한 컨볼루션 신경망은 전처리 레이어 (preprocess layer), 공유 레이어 (shared layer), 홀수 필드 레이어 (odd layer), 짝수 필드 레이어 (even layer)로 구성된다. 모든 레이어는 컨볼루션 레이어로 구성되며 SKIP 연결이 존재한다.

대상 데이터

모든 레이어는 컨볼루션 레이어로 구성되며 SKIP 연결이 존재한다. 전처리레이어는 5x5 의 필터 크기를 갖는 40 개의 커널로 구성되며 컨볼루션을 수행한 후에 ReLU 레이어가 적용된다. 전처리레이어에서는 낮은 수준의 특징(feature) 정보를 추출하고 추출된 특징 정보는 SKIP 연결을 통해 공유 레이어와 홀수, 짝수 필드 레이어에 직접 입력으로 전달된다.
이들 알고리즘으로는 우수한 성능을 제공하며 광범위하게 사용되고 있다. 테스트 시퀀스로는 MPEG 시퀀스 중의 학습에 사용되지 않은 영상의 일부를 사용하였다. 제안한 알고리즘은 밝기 신호에 대하여만 적용하였다.
학습을 위하여 영상을 64x64 의 크기를 갖는 패치로 분할하였다. 학습 영상으로는 유튜브에서 다운로드 받은 영상 [3] 및 MPEG 의 테스트 영상을 사용하였으며 [4], 약 21 만개의 패치로 학습을 수행하였다.
학습을 위하여 영상을 64x64 의 크기를 갖는 패치로 분할하였다.

이론/모형

제안한 디인터레이스 기법의 성능을 객관적으로 평가하기 위하여 우리는 PNSR (Peak signal to noise ration)을 사용하였다. 비교 알고리즘으로는 FFMPEG 에서 제공하는 디인터레이스 기법들인 NNEDI (neural network edge directedinterpolation), YADIF (yet another deinterlacing filter), BWDIF(Bob Weaver Deinterlacing Filter) 를 사용하였다 [6].이들 알고리즘으로는 우수한 성능을 제공하며 광범위하게 사용되고 있다.
제안한 디인터레이스 기법의 성능을 객관적으로 평가하기 위하여 우리는 PNSR (Peak signal to noise ration)을 사용하였다. 비교 알고리즘으로는 FFMPEG 에서 제공하는 디인터레이스 기법들인 NNEDI (neural network edge directedinterpolation), YADIF (yet another deinterlacing filter), BWDIF(Bob Weaver Deinterlacing Filter) 를 사용하였다 [6].

성능/효과

26 dB 의 화질 향상을 보인다. 그리고 모든 영상에 대하여 기존 알고리즘 대비 우수한 결과를 보임을 알 수 있다. 특히 PSNR 이 35dB 이하로 낮은 영상에서는 1dB 에서 4dB 이상의 높은 화질을 제공하고 이는 제안 알고리즘이 복잡한 영역에서도 잘 동작하고 있음을 보여준다.
제안 방법은 낮은 수준의 특징 정보와 높은 수준의 특징 정보를 더함으로써 성능 향상을제공하였다. 전 영상에 걸쳐 기존 기법 대비 우수한 성능을 제공하며, 특히 복잡한 영상에서 기존 알고리즘 대비 큰 폭의 성능향상을 보였다. 또한 Titan Xp 에서 FHD 크기의 영상을 초당 30 프레임씩 생성함으로써 고속으로 디인터레이스를 수행할 수 있다.
표 1 은 제안 알고리즘과 비교 방법의 PSNR 결과를 보여준다. 제안 방법은 NNEDI, YADIF, BWDIF 대비 평균 1.71, 2.54, 1.26 dB 의 화질 향상을 보인다. 그리고 모든 영상에 대하여 기존 알고리즘 대비 우수한 결과를 보임을 알 수 있다.
본 논문에서는 컨볼루션 신경망을 이용한 비디오디인터레이스 기법을 제안하였다. 제안 방법은 낮은 수준의 특징 정보와 높은 수준의 특징 정보를 더함으로써 성능 향상을제공하였다. 전 영상에 걸쳐 기존 기법 대비 우수한 성능을 제공하며, 특히 복잡한 영상에서 기존 알고리즘 대비 큰 폭의 성능향상을 보였다.
그림 2 는 주관적 화질 결과를 보여준다. 제안 알고리즘이 계단현상 없이 더욱 선명한 화질을 보여줌을 알 수 있다. 제안알고리즘은 1920x1080 해상도 영상 1 프레임을 처리하는데 Titan Xp 에서 0.
그리고 모든 영상에 대하여 기존 알고리즘 대비 우수한 결과를 보임을 알 수 있다. 특히 PSNR 이 35dB 이하로 낮은 영상에서는 1dB 에서 4dB 이상의 높은 화질을 제공하고 이는 제안 알고리즘이 복잡한 영역에서도 잘 동작하고 있음을 보여준다. 그림 2 는 주관적 화질 결과를 보여준다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

컨벌루션 신경망 기반 비디오 디인터레이스 기법
Video Deinterlace based on Convolutional Neural Network 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

컨벌루션 신경망 기반 비디오 디인터레이스 기법 Video Deinterlace based on Convolutional Neural Network 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

컨벌루션 신경망 기반 비디오 디인터레이스 기법
Video Deinterlace based on Convolutional Neural Network 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper