[논문]CNN 을 이용한 전방위 비디오 합성 시점의 화질 개선 알고리즘

박현수; 강제원

[국내논문] CNN 을 이용한 전방위 비디오 합성 시점의 화질 개선 알고리즘
CNN-based Denoising Algorithm for Synthesized Views in 6 Degree-of-Freedom Videos 원문보기

박현수 (이화여자대학교 엘텍공과대학 전자전기공학과) , 강제원 (이화여자대학교 엘텍공과대학 전자전기공학과)

본 논문은 최근 MPEG-I 에서 논의되고 있는 전방위 6 자유도 영상의 가상시점 합성의 기존 공개 소프트웨어의 문제점 해결방안을 제안한다. 참조시점을 사용하여 합성된 가상시점의 영상을 대상으로 묶음 조정(bundle adjustment) 개념의 딥 러닝을 적용하여 영상 간 시공간적 품질 차이를 낮춘다. 실험에 따르면 중간시점 영상 합성 후 같은 시간적 특성을 같은 묶음을 MF-CNN (Multi-Frame Convolutional Neural Networks)에 적용함으로써 단순 VVS2.0 의 합성 결과 대비 평균 공간적으로 0.34dB, 시간적으로 0.81dB의 성능 향상을 제공하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 위 문제점을 해결하여 합성된 중간시점 영상에 묶음 조정(bundle adjustment)개념의 딥러닝을 적용하여 영상 간 시공간적 품질 차이를 낮추는 방법을 제안한다.
본 논문에서는 참조시점을 사용하여 합성된 중간시점의 영상을 대상으로 묶음 조정 개념의 딥러닝을 적용하여 영상 간 공간적 품질 차이를 낮추는 방법을 제안하였다. 제안 방법의 실험 결과, 기존 방법보다 공간적으로 약 0.

제안 방법

첫 째로는 동일한 시간적 특성을 같는 서로 다른 시점의 영상들을 묶음으로 MFCNN 적용하여 공간적 품질 저하를 개선하였다. 둘 째로는 동일한 공간적 특성을 갖는 한 시점의 연속된 영상들에 대해 MF-CNN 적용하여 시간적 품질 저하를 개선하였다.
그림 1 에서 보듯이 먼저 참조시점들과 중간시점 간의 공간적 움직임을 보상하기 위해 움직임 벡터를 다중 스케일로 측정한 뒤 참조시점을 중간시점에 워핑하여 보완된 참조시점들과 중간시점을 다중 스케일로 특징을 추출한다. 이어서 참조시점들과 중간시점 간의 차이를 보완하는 차분 학습을 진행하여 향상된 중간시점의 색상 영상을 구한다. 이러한 네트워크의 구조는 시간적 특성이 동일한 다른 시점에서의 영상들에 적용 가능할 뿐 아니라, 한 시점에서 얻어진 서로 다른 시간 상에 위치한 영상들 사이에도 적용이 가능하다.
실험은 두 가지 방식으로 진행하였다. 첫 째로는 동일한 시간적 특성을 같는 서로 다른 시점의 영상들을 묶음으로 MFCNN 적용하여 공간적 품질 저하를 개선하였다. 둘 째로는 동일한 공간적 특성을 갖는 한 시점의 연속된 영상들에 대해 MF-CNN 적용하여 시간적 품질 저하를 개선하였다.

대상 데이터

또한 MF-CNN 모델은 별도의 재학습 없이 기존 사전학습 (Pretrained) 모델을 사용하였다. 또한, 실험을 위해 서로 다른 열다섯 개의 시점들이 3.675cm 간격으로 수평적으로 배열된 IntelKermit 시퀀스와 스테레오 카메라 다섯 개가 호를 그리며 20cm 간격으로 떨어져 있는 PoznanFencing 시퀀스를 사용하였다. [7-8]

이론/모형

두 개의 입력영상에 대해 위치적으로 중간에 위치해 있는 중간시점의 영상을 합성하기 위해서 6 자유도 영상의 공개소프트웨어인 VVS2.0 (Versatile View Synthesis)을 사용한다. VVS2.
1 에서 공통 실험조건 CTC (Common Test Condition)을 참고하였다 [6]. 또한 MF-CNN 모델은 별도의 재학습 없이 기존 사전학습 (Pretrained) 모델을 사용하였다. 또한, 실험을 위해 서로 다른 열다섯 개의 시점들이 3.
본 논문에서 제안하는 가상시점 합성 영상 변경의 성능을 평가하기 위하여 참조 소프트웨어인 VVS2.0.1 에서 공통 실험조건 CTC (Common Test Condition)을 참고하였다 [6]. 또한 MF-CNN 모델은 별도의 재학습 없이 기존 사전학습 (Pretrained) 모델을 사용하였다.

성능/효과

81dB 의 성능 향상을 제공하였다. IntelKermit시퀀스의 300 프레임, PoznanFencing 시퀀스의 250 프레임 중 주기적으로 8 장마다 프레임들이 MF-CNN 적용되어 화질이 향상됨을 PSNR 로 확인할 수 있다. 그림 8 과 9 은 각 시퀀스에 대한 두 번째 실험의 전체 결과 중 한 주기에 대한 PSNR 향상을 확인할 수 있다.
두 번째 실험 결과 기존 중간시점 영상 합성 방식 대비 딥러닝 기반 공간적 특성이 동일한 묶음 조정방법은 평균적으로 0.81dB 의 성능 향상을 제공하였다. IntelKermit시퀀스의 300 프레임, PoznanFencing 시퀀스의 250 프레임 중 주기적으로 8 장마다 프레임들이 MF-CNN 적용되어 화질이 향상됨을 PSNR 로 확인할 수 있다.
본 논문에서는 참조시점을 사용하여 합성된 중간시점의 영상을 대상으로 묶음 조정 개념의 딥러닝을 적용하여 영상 간 공간적 품질 차이를 낮추는 방법을 제안하였다. 제안 방법의 실험 결과, 기존 방법보다 공간적으로 약 0.34dB, 시간적으로 0.81dB 개선하였다. 중간시점과 참조시점을 묶음으로 조정하는 데에 딥 러닝 기법을 적용한다는 점에 의의를 가진다.
IntelKermit 과 PoznanFencing 시퀀스는 MPEG 의 깊이영상 예측 참조 소프트웨어인 DERS (Depth Estimation Reference Software)로 깊이 정보를 취득하였는데, CG 로 생성된 영상들과 달리 자연영상인 관계로 그림 7 과 같이 깊이 정보의 정확도가 상대적으로 정확하지 않다 [1]. 제안 알고리즘은 깊이 정보의 부정확성에 의한 공간적인 방향으로의 합성 잡음을 효과적으로 개선하는 것을 관찰할 수 있다.
첫 번째 실험 결과 기존 중간시점 영상 합성 방식 대비 딥러닝 기반 시간적 특성이 동일한 묶음 조정 방법은 평균적으로 약 0.34dB 의 성능 향상을 제공하였다. 그림 5 와 6 은 첫 번째 실험의 결과로 IntelKermit 시퀀스와 PoznanFencing 시퀀스의 VVS 대비 제안 알고리즘의 향상된 PSNR 을 확인할 수 있다.

후속연구

중간시점과 참조시점을 묶음으로 조정하는 데에 딥 러닝 기법을 적용한다는 점에 의의를 가진다. 향후 연구로는 MF-CNN 보다 우수한 딥 러닝 알고리즘을 개발하여 화질을 개선하는 것이다.

핵심어

질문

논문에서 추출한 답변

6 자유도를 지원하는 콘텐츠를 제공하기 위해서는 무엇을 모두 제공해야 하나?

실제로 6 자유도를 지원하는 콘텐츠를 제공하기 위해서는 시점 변화에 따른 시점 영상을 모두 제공해야 한다. 하지만 모든 시점에서의 영상을 직접 취득하는 것은 사실상 불가능하다.

중간시점에서의 영상 합성의 공개 소프트웨어들은 무엇을 필요로 하나?

앞서 소개된 중간시점에서의 영상 합성의 공개 소프트웨어들은 입력 시점의 색상영상 (texture map)과 깊이영상 (depth map) 및 카메라 매개변수를 필요로 하며, 크게 3 단계의 영상합성 과정을 따른다. 첫 번째는 3 차원 워핑(warping) 과정이다.

중간시점에서의 영상 합성의 공개 소프트웨어들은 어떤 단계의 영상합성 과정을 따르나?

앞서 소개된 중간시점에서의 영상 합성의 공개 소프트웨어들은 입력 시점의 색상영상 (texture map)과 깊이영상 (depth map) 및 카메라 매개변수를 필요로 하며, 크게 3 단계의 영상합성 과정을 따른다. 첫 번째는 3 차원 워핑(warping) 과정이다. 3 차원 워핑이란 깊이 영상과 카메라 매개변수를 이용하여 색상영상을 3 차원 공간상에 역투영 (back-projection) 시킨 후 이를 다시 목표 시점에 투영하는 투사 방식의 일종이다. 이 때, 시점 이동으로 인해 참조시점에서 존재하지 않았던 영역은 홀(hole)로 나타난다. 홀은 대게 두번째 과정인 영상 통합 과정을 통해 해결된다. 영상 통합 과정이란 참조시점으로부터 중간시점에 워핑된 두 영상을 하나로 합치는 과정으로 다른 시점의 홀 영역을 서로 채워주는 역할을 한다. 마지막 세 번째 과정은 투사 과정 중 생긴 결함이나 영상 통합 과정에서 처리되지 못한 홀 영역에 대한 필터링을 통한 화질 개선 과정이다 [4].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] CNN 을 이용한 전방위 비디오 합성 시점의 화질 개선 알고리즘
CNN-based Denoising Algorithm for Synthesized Views in 6 Degree-of-Freedom Videos 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] CNN 을 이용한 전방위 비디오 합성 시점의 화질 개선 알고리즘 CNN-based Denoising Algorithm for Synthesized Views in 6 Degree-of-Freedom Videos 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] CNN 을 이용한 전방위 비디오 합성 시점의 화질 개선 알고리즘
CNN-based Denoising Algorithm for Synthesized Views in 6 Degree-of-Freedom Videos 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper