[논문]Depth layer partition을 이용한 2D 동영상의 3D 변환 기법

김수동; 유지상

doi:10.5909/jeb.2011.16.1.044

Depth layer partition을 이용한 2D 동영상의 3D 변환 기법
3D conversion of 2D video using depth layer partition 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.16 no.1, 2011년, pp.44 - 53

초록
AI-Helper

본 논문에서는 depth layer partition을 이용한 2D 동영상의 자동 3D 변환 기법을 제안한다. 제안하는 기법에서는 먼저 2D 동영상의 장면 전환점을 검출하여 각각의 프레임 그룹을 설정하여 움직임 연산 과정에서의 오류 확산을 방지하여 깊이맵(depth map) 생성과 정에서 오차를 줄여준다. 깊이정보는 두 가지 방법으로 생성되는데 하나는 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램(edge directional histogram)을 이용하는 방법이다. 제안하는 기법에서는 객체와 배경을 분리하는 depth layer partition 과정을 수행한 후 생성된 두 개의 깊이맵을 원 영상에 최적이 되도록 병합하게 된다. 제안된 기법으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있다는 것을 다양한 실험 결과를 통해 알 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose a 3D conversion algorithm of 2D video using depth layer partition method. In the proposed algorithm, we first set frame groups using cut detection algorithm. Each divided frame groups will reduce the possibility of error propagation in the process of motion estimation. Depth image generation is the core technique in 2D/3D conversion algorithm. Therefore, we use two depth map generation algorithms. In the first, segmentation and motion information are used, and in the other, edge directional histogram is used. After applying depth layer partition algorithm which separates objects(foreground) and the background from the original image, the extracted two depth maps are properly merged. Through experiments, we verify that the proposed algorithm generates reliable depth map and good conversion results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

제안된 변환 기법의 성능을 객관적으로 비교하는 것은 어려움이 있다. 따라서 본 논문에서는 주관적 화질 평가를 수행하였다. 기존 기법으로는 대표적인 변환 기법인 MTD 기법^[2]과 H.
본 논문에서는 depth layer partition을 이용한 2D 동영상의 3D 변환 기법을 제안하였다. 영역을 분할하고, 움직임 정보를 이용하여 분할된 영역에 깊이 값을 부여하는 과정에서 여러 변수들에 의해 많은 오차가 발생하게 된다.
그 중 부정확한 움직임 정보로 인한 오차는 깊이맵을 제대로 생성할 수 없게 하고, 생성하더라도 신뢰도가 매우 낮은 깊이맵이므로 추후의 3D 변환 과정에서 좋은 성능을 기대하기 어렵다. 이러한 문제점을 해결하기 위해 본 논문에서는 영상의 프레임을 같은 특성을 갖는 그룹으로 분리하고 정확한 움직임 정보를 찾으려고 하였다. 제안된 기법은 움직임 정보가 존재하지 않았던 영상에서 잘못된 깊이맵이 부여되던 문제점을 해결하고, 움직임 정보의 신뢰도도 향상시켰다.
이와 같은 문제점들을 보완하고자 본 논문에서는 depth layer partition을 이용한 변환 기법을 제안한다. 우선 부정확한 움직임 정보에 의한 오류를 줄이고자 장면 전환점을 검출 하여^[11] 각각의 프레임 그룹을 설정한다^[12].

제안 방법

따라서 객체와 배경을 토그램을 각각에 대램을 최적의 깊이맵을 적용하는 것이 새로이 제안하는 기법의 핵심내용이다. 따라서 제안하는 기법에서는 depth layer partition 과정을 수행하여 객체와 배경을 분리하고 이미 앞에서 생성한 두 가지의 깊이맵을 주어진 영상의 객체와 배경의 특징에 최적이 되도록 병합하여 최종 깊이맵을 생성하고, 이것을 이용하여 최종 3D 입체 영상을 생성하게 된다.
이 과정에서 먼저 주어진 영상을 분석하여 배경과 객체 영역을 분리한 후 각 영역에 최적의 깊이값을 부여하게 된다. 배경과 객체를 분리하기 위하여 각 화소별 연산을 수행하는데, 연속된 프레임 그룹 내에서 전후 프레임간의 화소별 색상 차이를 이용한다. 프레임 그룹내에서 모든 프레임과 비교하여 일정값 이상 차이가 나는 프레임의 수가 허용오차 이상이라면 1차적으로 배경 영역으로 판단한다.
본 논문에서 제안하는 변환 기법에서는 그림 3과 같은 순서로 2D/3D 변환 과정을 수행한다. 먼저 주어진 2D 동영상의 장면 전환점을 검출하여 프레임 그룹을 설정한다.
셋째 좌영상과 우영상을 모두 합성하여 재구성한다. 본 논문에서는 두 번째 방법을 통해 3D 영상을 생성한다.
본 논문에서는 영상의 색상 정보를 이용하여 영역을 분할한다^[9]. 색상 정보는 동질의 영역에 대한 정보를 포함하고 있기 때문에 영역 분할을 위한 척도로 자주 사용된다.
입력 영상으로부터 에지를 추출하고, 보다 정확한 에지 방향성 히스토그램 (edge directional histogram) 데이터를 얻기 위해 에지를 세선화한 후, 에지 방향성 히스토그램 데이터를 얻는다. 이를 기준으로 초기 깊이맵을 선택하고, 물체와 물체 사이의 수직 경계정보를 이용한 깊이맵을 합성하여 최종 깊이맵을 생성한다^[10].
프레임 그룹을 설정하게 되면 움직임 연산 과정에서의 오류가 확산되는 것을 방지하여 깊이맵과 결과 영상 생성과정에서의 오차를 줄여준다. 제안하는 기법에서는 먼저 두 가지 방법으로 깊이맵을 생성하고 이 두 개의 깊이맵을 적당히 조합하여 최종 깊이맵을 생성하게 된다. 즉, 각각 다른 두 가지의 깊이맵을 획득한 뒤, 객체와 배경을 분리하는 depth lay- er partition 과정을 수행하여 두 가지의 깊이맵을 병합하고, 최종 3D 변환 영상을 재생한다.
영상의 움직임 정보를 추정하기 위하여 일반적으로 전, 후 프레임을 이용한 움직임 추정 연산을 수행하지만, 전후 프레임의 움직임 정보가 거의 존재하지 않는 영상에서는 잘못된 결과값으로 인해 변환 과정에서 오차가 발생할 수 있다. 제안하는 기법에서는 이를 방지하기 위해 연산할 프레임을 그룹화하여 양방향 탐색을 수행한다^[12].
제안하는 기법에서는 먼저 두 가지 방법으로 깊이맵을 생성하고 이 두 개의 깊이맵을 적당히 조합하여 최종 깊이맵을 생성하게 된다. 즉, 각각 다른 두 가지의 깊이맵을 획득한 뒤, 객체와 배경을 분리하는 depth lay- er partition 과정을 수행하여 두 가지의 깊이맵을 병합하고, 최종 3D 변환 영상을 재생한다. 다양한 실험을 통해 제안하는 변환 기법의 성능이 기존의 다른 기법들의 성능보다 우수하다는 것을 보였다.

대상 데이터

720x480 크기의 4가지 실험 영상을 이용하였고, 시차를 위한 최대 이동량은 화소수 21로 설정하였다.

이론/모형

따라서 본 논문에서는 주관적 화질 평가를 수행하였다. 기존 기법으로는 대표적인 변환 기법인 MTD 기법^[2]과 H.264로 압축된 영상으로부터 복호화 과정에서 얻게 되는 움직임 정보를 이용한 기법^[4], 에지 방향성 히스토그램을 이용한 기법^[10]을 이용하였다. 주관적 화질 평가는 DSCQS 방법을 이용하였고 정상으로 생각되는 10명의 평가자를 선별하여 입체감, 화면떨림 현상, 눈의 피로도 등의 항목에 대하여 평가를 진행하였다^[17].
264로 압축된 영상으로부터 복호화 과정에서 얻게 되는 움직임 정보를 이용한 기법^[4], 에지 방향성 히스토그램을 이용한 기법^[10]을 이용하였다. 주관적 화질 평가는 DSCQS 방법을 이용하였고 정상으로 생각되는 10명의 평가자를 선별하여 입체감, 화면떨림 현상, 눈의 피로도 등의 항목에 대하여 평가를 진행하였다^[17]. 720x480 크기의 4가지 실험 영상을 이용하였고, 시차를 위한 최대 이동량은 화소수 21로 설정하였다.

성능/효과

표. 1에서 보듯 기존의 기법에 비해 제안한 기법의 성능이 입체감, 화면떨림 현상, 눈의 피로도 등의 모든 항목에 대하여 전반적으로 우수하다는 것을 알 수 있다. MTD 기법은 원본 영상을 그대로 사용함에 따라 발생되는 눈의 피로도와 화면 떨림 현상으로 인해 낮은 점수를 받았고, H.
제안한 변환기법은 depth layer partition을 이용하여 2D/3D 변환 과정에서 가장 중요한 정보인 깊이 정보의 신뢰도를 향상시켜서 좋은 성능을 보인 것으로 판단된다. 결과적으로 재현된 3D 입체 영상의 품질이 향상되었고 결과 영상의 완성도를 높일 수 있었다. 그림 10은 재현된 3D 변환 영상을 보여주고 있다.
32“ 편광 안경식 3D 입체모니터를 사용하였고 시청 거리는 1m로 설정하였다. 기존의 기법과 제안한 기법의 순서는 무작위로 설정하였고 평가 결과는 입체감이 좋을수록, 화면 떨림 현상과 눈의 피로도가 덜할수록 높은 점수를 책정하게 하였다. 1~5점까지의 점수로 평가하여 각 영상에 대한 평균값을 취하여 표 1에 보였다.
즉, 각각 다른 두 가지의 깊이맵을 획득한 뒤, 객체와 배경을 분리하는 depth lay- er partition 과정을 수행하여 두 가지의 깊이맵을 병합하고, 최종 3D 변환 영상을 재생한다. 다양한 실험을 통해 제안하는 변환 기법의 성능이 기존의 다른 기법들의 성능보다 우수하다는 것을 보였다.
제안된 기법은 움직임 정보가 존재하지 않았던 영상에서 잘못된 깊이맵이 부여되던 문제점을 해결하고, 움직임 정보의 신뢰도도 향상시켰다. 또한, 객체와 배경의 두 가지 패턴에 적합한 서로 다른 두 가지 깊이맵 생성 기법을 활용하여 깊이맵을 생성하고, depth layer partition을 통하여 분리된 객체와 배경에 최적의 깊이 값을 부여함으로써 최종적으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있었다.
다음으로 두 가지 방법을 이용하여 깊이맵을 추출하는데, 첫 번째 방법은 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램을 이용하는 방법이다. 영역 분할과 움직임 정보를 이용하여 랻을 깊이맵은 영상의 객체 부분에서 좋은 성능을 보여주고, 에지 방향성 히스토그램을 이용하여 랻을 깊이맵은 영상의 배경 부분에서 좋은 성능을 보여준다. 따라서 객체와 배경을 토그램을 각각에 대램을 최적의 깊이맵을 적용하는 것이 새로이 제안하는 기법의 핵심내용이다.
이러한 문제점을 해결하기 위해 본 논문에서는 영상의 프레임을 같은 특성을 갖는 그룹으로 분리하고 정확한 움직임 정보를 찾으려고 하였다. 제안된 기법은 움직임 정보가 존재하지 않았던 영상에서 잘못된 깊이맵이 부여되던 문제점을 해결하고, 움직임 정보의 신뢰도도 향상시켰다. 또한, 객체와 배경의 두 가지 패턴에 적합한 서로 다른 두 가지 깊이맵 생성 기법을 활용하여 깊이맵을 생성하고, depth layer partition을 통하여 분리된 객체와 배경에 최적의 깊이 값을 부여함으로써 최종적으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있었다.
에지 방향성 히스토그램을 활용한 기법은 입체감은 준수하지만 프레임간 상관도를 고려하지 않아 화면 떨리는 현상이 발생하고 그에 기인한 눈의 피로도로 인해 낮은 평가를 받은 것으로 분석된다. 제안한 변환기법은 depth layer partition을 이용하여 2D/3D 변환 과정에서 가장 중요한 정보인 깊이 정보의 신뢰도를 향상시켜서 좋은 성능을 보인 것으로 판단된다. 결과적으로 재현된 3D 입체 영상의 품질이 향상되었고 결과 영상의 완성도를 높일 수 있었다.
구현 방법은 크게 세 가지로 분류된다. 첫째, 현재 영상이 좌, 우영상 중 하나가 되면, 다른 하나는 이전 영상(delayed im- age) 중에서 하나를 선택한다. 둘째, 현재 영상은 좌, 우영상 중 하나를 선택하고 다른 영상은 합성 영상으로 구현한다.

후속연구

또한 움직임 정보가 존재하지 않는 영상의 경우에는 배경 영역으로만 인식이 되어 제안하는 기법의 효과를 보기 어렵다. 이와 같이 움직임 정보가 존재 하지 않는 영상에 대한 신뢰도 높은 깊이맵 생성 기법에 관한 연구도 꾸준히 진행되어야 할 것이다.
하지만 3D 콘텐츠를 시청할 때 영상의 입체감이 늘어날수록 눈의 피로도는 증가하게 되는데, 적절한 입체감을 주면서도 눈의 피로도를 줄여주는 방법은 앞으로도 꾸준히 연구가 진행되어야 할 것이다. 또한 움직임 정보가 존재하지 않는 영상의 경우에는 배경 영역으로만 인식이 되어 제안하는 기법의 효과를 보기 어렵다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3D 영상을 생성하기 위해 2D 영상에서 장면전환점과 운동 정보들을 가지고 무엇을 생성하는가?	3D 영상을 생성하기 위해서는 먼저 주어진 2D 영상에서 장면전환점과 운동 정보를 추출하게 된다. 이 정보들을 가지고 객체의 원근 정도(깊이감)를 구하여 두 눈을 위한 좌, 우영상을 생성하는 것이다. 이때 두 눈에 투시되는 영상이 미묘한 차이가 있듯이, 동일점이 좌영상과 우영상에 투시될 때 두 시점 간의 거리인 시차(parallax)를 구하는 것이 필요하다.
	3D 입체영상은 어떻게 사람들에게 영상 내에서 깊이감을 느낄 수 있게 하는가?	3D 입체영상은 양의 시차, 음의 시차, 영의 시차 등 크게 세 가지 종류의 양안 시차 (binocular disparity)를 제공함으로써 사람들에게 영상 내에서 깊이감을 느낄 수 있게 한다. 시차의 종류는 사람이 스크린을 통해 입체 영상을 보았을 때 수렴점이 어느 위치에 생기느냐에 따라서 결정되며 음의 시차는 스크린의 앞쪽에, 양의 시차는 스크린의 뒤쪽에, 영의 시차는 스크린 상에 수렴점이 존재하는 경우이다.
	보통 3차원 영상은 어떻게 획득할 수 있는가?	보통 3차원 영상은 2대의 카메라로 구성된 3D 카메라를 이용하여 직접 획득되지만 2D/3D 변환 작업은 상대적으로 복잡한 원리 및 영상 처리 과정을 필요로 한다. 특히 자동변환의 경우에는 다른 깊이감을 갖는 서로 다른 객체를 정확하게 분리하여야 하는 등 고난이도의 영상처리 기술을 필요로 한다.

참고문헌 (17)

Ross, J., "Stereopsis by binocular delay," Nature, vol. 248, pp. 354-364, 1974.

상세보기
T. Okino and et. al, "New television with 2D/3D image conversion techniques," Proceedings of SPIE, vol. 2653, pp. 96-103, 1995.
Y. matsumoto, H. Terasaki, K. Sugimoto and T. Arakawa, "Conversion system of monocular image sequence to stereo using motion parallax," Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems, vol. 3012, pp. 108-115, May 1997.
홍호기, 백윤기, 이승현, 김동욱, 유지상, "2D H.264 동영상의3D 입체변환", 한국통신학회논문지, 제31권제12C호, pp. 1208-1215, 2006년12월.
D. F. McAllister, Stereo computer graphics and other true 3D technologies, Princeton, NJ:Princrton Univercity Press, 1993.
S. Battiato, S. Curti, M. LaCascia, E. Scordato, M. Tortora, "Depth-Map Generation by Image Classification," Proceedings of SPIE Electronic Imaging 2004, Three-Dimensional Image Capture and Applications VI, vol. 5302, pp 95-104, San Jose, California, USA, Jan. 2004.
C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV," Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, pp. 93-104, San jose, CA, USA, Jan. 2004.
Man-Bae Kim, Mun-Sup Song, Do-Kyoon Kim, Kwang-Chul Choi, "Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity," Proceedings of SPIE, vol. 3295, pp. 65-75, 1998.
백윤기, 최미남, 박세환, 유지상, "2차원 동영상으로부터 다시점 동영상 생성 기법," 한국통신학회논문지, 제33권제1호, pp. 53-61, 2008년1월.
김지홍, 유지상, "에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법," 한국통신학회제34권제8호, pp. 782-789, 2009년8월.
노정진, 문영호, 유지상, "자기상관과 에지 히스토그램을 이용한 동영상 전환점 검출," 한국통신학회, 제29권제9C호, pp. 1269-1278, 2004년 9월.
김수동, 안재우, 서영호, 김동욱, 유지상, "영역 분할과 움직임 정보를 이용한 깊이맵 생성 기법," 한국방송공학회하계학술대회, 제주도, 2010년7월.
Y. Wang, J. Ostermann, Y. Zhang, Video processing and communication, Prentice Hall, 2002.
Y. Fisher, Fractal Image Compression: Theory & Application, Springer, 1995.
KuK-Jin Yoon, In-So Kweon, "Moving Object Segmentation with Accurate Boundary Using Color and Motion," in Workshop on Image Processing and Image Understanding, pp. 150-155, 2000.
Lenny Lipton, "Stereo-vision formats for video and computer graphics," Proceedings of SPIE, vol. 3012, pp. 239-244, 1997.
"Methodology for subjective assessment of the quality of television picture," ITU-R Recommendation BT.500-11.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증