[논문]GPU를 이용한 실시간 양안식 영상 생성 방법

신인용; 호요성

doi:10.5909/jeb.2011.16.4.596

초록
AI-Helper

양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다. 이러한 3차원 방송 시스템의 수신단에서는 좌영상과 깊이맵을 복호한 뒤에 우영상을 만들어 좌우 영상을 실시간으로 출력한다. 본 논문에서는 좌영상과 깊이맵을 이용하여 가상시점 영상을 생성할 때 생기는 빈 공간을 효율적으로 채우는 기법을 제안하고, 전 과정의 실시간 처리를 위해 이를 GPU상에서 병렬로 처리되도록 구현했다. 그 결과 효과적으로 홀 채움을 수행하면서 CPU 대비 15배 이상 빠르게 양안식 영상을 생성할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we propose a fast depth-image-based rendering method to generate a virtual view image in real-time using a graphic processor unit (GPU) for a 3D broadcasting system. Before the transmission, we encode the input 2D+depth video using the H.264 coding standard. At the receiver, we decode...

In this paper, we propose a fast depth-image-based rendering method to generate a virtual view image in real-time using a graphic processor unit (GPU) for a 3D broadcasting system. Before the transmission, we encode the input 2D+depth video using the H.264 coding standard. At the receiver, we decode the received bitstream and generate a stereo video using a GPU which can compute in parallel. In this paper, we apply a simple and efficient hole filling method to reduce the decoder complexity and reduce hole filling errors. Besides, we design a vertical parallel structure for a forward mapping process to take advantage of the single instruction multiple thread structure of GPU. We also utilize high speed GPU memories to boost the computation speed. As a result, we can generate virtual view images 15 times faster than the case of CPU-based processing.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 방향보간 홀채움 방법의 단점을 해소하면서 빠르고 좀 더 효율적인 홀채움 방법을 제안하고, DIBR의 복잡도를 낮추기 위해서 병렬처리가 가능한 GPU를 이 용하여 수신된 영상을 복호화하고 우영상을 생성하는 과정을 실시간으로 수행하는 방법을 제안한다.
하지만 그림 6와 같은 경우 홀 영역의 양쪽 끝부분 화소들이 좌영상에서 서로 인접하지 않기 때문에 잘못된 홀 채움 결과를 만든다. 이러한 문제를 해결하기 위해. 홀을 채우기 전에 홀 영역의 양쪽 끝부분에 붙어있는 화소들에 대하여 두 화소가 좌영상에서 서로 인접한 화소인지 아닌지를 판단하는 과정을 수행한다.
본 논문에서는 좌영상과 깊이맵을 이용하여 우시점 영상을 만들 때 효율적으로 홀을 채우는 기법과 GPU상에서 DIBR 전 과정을 실시간으로 처리하는 방법을 제안했다. 좌 우 양쪽의 참조영상을 사용하는 방법과 달리 좌시점만을 참조하기 때문에 발생할 수 있는 홀채움 오류가 나타난다.

제안 방법

또한 홀채움에 필요한 정보를 이전 프레임의 정보를 활용하는 시간적 상관도를 고려할 필요가 있었다. 따라서 제안하는 알고리즘은 홀영역의 공간적 상관도와 시간적상관도를 모두 고려하는 방법를 제안하고 모든 과정은 실시간 처리를 위해 GPU 병렬처리를 수행하였다.
이를 해결하기 위해, 투영 위치가 서로 겹칠 수 있는 화소들의 분포 특성을 고려하였다. 투영 위치가 겹칠 수 있는 화소들은 원 시점과 가상시점이 수평 이동된 구조를 갖기 때문에 시점 이동 방향과 동일하게 수평적으로 분포한다.
이 논문에서 제안한 방법의 성능을 평가하려고 MPEG에서 제공하는 테스트 영상들을 가지고 실험하였다. 실시간 구현을 위해 각 영상들의 크기는 SD급으로 수정하여 사용 하였다. 그림 9은 기존의 실시간 홀 채움에 사용된 방법과 새롭게 제안하는 홀 채움의 결과를 비교한 것이다.
그림 10의 결과가 보여주는 CPU를 사용한 영상합성 속도로는 복호화 및 DIBR과정의 실시간이 힘들다. 따라서 실시간 양안식 영상 생성을 위해 병렬처리를 지원하는 GPU를 사용하였다. 그림 10은 동일한 알고리즘에 대해 CPU와 GPU에서의 수행 시간을 비교한 것으로 영상합성에 대해서 GPU를 사용하여 수행 속도를 15배 이상 증가시킨 것을 보인다.
홀 영역 좌우 끝부분의 깊이값을 통해 이 영역이 좌영상에서 서로 인접하는지 판단했고, 확인된 인접유무 정보를 이용하여 홀을 채우는 방법을 사용하여 이러한 오류를 줄일 수 있었다. 또한 배경영상을 획득하여 시간적 상관도를 고려한 홀채움을 수행하여 홀채움의 정확도를 높였다. 3차원 워핑 및 홀 채움의 모든 과정은 GPU상에서 병렬로 처리되도록 구현하였다.
이 방법은 전송 측면을 고려했을 때, 기존의 2차원 방송에 비해 송신 채널 대역폭이 2배 정도 증가하게 된다^[2]. 이를 해결하기 위해 좌우 영상 모두를 보내는 대신에 좌영상과 압축률이 좋은 깊이 정보를 송신하고, 수신부에서 깊이 영상기반 렌더링 (depth image based rendering, DIBR) 기술로 우영상을 생성한다^[3]. 이 방법의 경우, 수신부의 복잡한 DIBR의 복잡도와 홀채움의 성능이 실시간 송수신과 품질에 영향을 미치게 된다.

대상 데이터

이 논문에서 제안한 방법의 성능을 평가하려고 MPEG에서 제공하는 테스트 영상들을 가지고 실험하였다. 실시간 구현을 위해 각 영상들의 크기는 SD급으로 수정하여 사용 하였다.

데이터처리

DIBR과정의 실시간 처리를 위해 병렬처리를 사용하였다. GPU를 사용한 병렬화 기법인 CUDA는 병렬화를 위한 단일 명령 복수 데이터(single instruction multiple data) 구 조를 가지고 있어 동일한 명령을 다수의 데이터에 동시에 적용시키는 것이 가능하다^[8].

성능/효과

그림 9(b)는 제안하는 홀 채움 결과로 그림 9(a)에 비해 홀 채움을 적절하게 채우는 것을 확인할 수 있었다. 그림 9(c)는 홀의 주변 화소만을 이용한 결과로 복잡한 무늬가 있는 홀의 영역을 제대로 복원하지 못하게 된다.
그림 9(c)는 홀의 주변 화소만을 이용한 결과로 복잡한 무늬가 있는 홀의 영역을 제대로 복원하지 못하게 된다. 그림 9(d)에서 볼 수 있듯이, 배경 영상 획득을 이용한 방법을 이용하면 카메라가 정지된 영상에 대해서는 홀 채움의 오차가 줄어드는 것을 확인했고 PSNR 비교결과 약 1.2dB 향상되었음을 알 수 있었다.
좌 우 양쪽의 참조영상을 사용하는 방법과 달리 좌시점만을 참조하기 때문에 발생할 수 있는 홀채움 오류가 나타난다. 홀 영역 좌우 끝부분의 깊이값을 통해 이 영역이 좌영상에서 서로 인접하는지 판단했고, 확인된 인접유무 정보를 이용하여 홀을 채우는 방법을 사용하여 이러한 오류를 줄일 수 있었다. 또한 배경영상을 획득하여 시간적 상관도를 고려한 홀채움을 수행하여 홀채움의 정확도를 높였다.
3차원 워핑 및 홀 채움의 모든 과정은 GPU상에서 병렬로 처리되도록 구현하였다. 그 결과 효과적으로 홀 채움을 수행하면서 동일 알고리즘에 대해 CPU 기반의 처리 속도보다 15배 이상 빠르게 처리하여 하여 복호화 및 영상합성 과정이 실시간으로 수행했다.

질의응답

핵심어	질문	논문에서 추출한 답변
	양안식 3차원 방송은 어떤 부담이 있는가?	양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다.
	양안식 3차원 방송의 전송 대역폭의 부담을 줄이기 위한 방법에는 무엇이 있는가?	양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다. 이러한 3차원 방송 시스템의 수신단에서는 좌영상과 깊이맵을 복호한 뒤에 우영상을 만들어 좌우 영상을 실시간으로 출력한다.
	3차원 방송이 기존의 2차원 방송에 비해 높은 입체감과 몰입감을 제공하는 이유는 무엇인가?	최근 3차원 멀티미디어 서비스에 대한 관심이 증대되면 서 3차원 방송에 대한 다양한 연구가 진행되고 있다. 3차원 방송은 인간의 좌우 시각 차이에 기인하는 양안 깊이 단서를 이용하기 때문에 기존의 2차원 방송에 비해 높은 입체감과 몰입감을 제공한다[1]. 3차원 콘텐츠의 대표적인 예는 양안식 영상으로 3차원 입체감을 제공하기 위해 사람의 양쪽 눈에 해당하는 두 가지 시점을 제공한다.

참고문헌 (8)

O. Schreer, P. Kauff, and T.Sikora, 3D Videocommunication, John Wiley&Sons, 2005.
최병호, 김용환, 김제우, 박지호, "스테레오 3D 방송을 위한 비디오 부호화 기술," 방송공학회논문지, 제15권 제1호, pp. 24-36, 2010.

원문보기 상세보기
L. McMilan, "A List-Priority Rendering Algorithm for Redisplaying Projected Surfaces," Technical Report TR95-005, Univ. of North Carolina, July 1995.
G. Wolberg, Digital Image Warping, IEEE Computer Society Press, March 1990.
ISO/IEC JTC1/SC29/WG11, Contribution for 3D Video Test Material of Outdoor Scene, M1537, July 2008.
K. Oh, S. Yea, and Y. Ho, "Hole Filling Method using Depth Based In-painting for View Synthesis in Free Viewpoint Television and 3-D Video," Picture Coding Symposium, pp. 39-43, May 2009.
H. Shin, Y. Kim, H. Park, and J. Park, "Fast View Synthesis using GPU for 3D display," IEEE Transactions on Consumer Electronics, Vol. 54, No. 4, pp. 2068-2076, Nov. 2008.

상세보기
nVIDIA Corporation, "CUDA 2.3 Programming Guide," in http://www.nvidia.com/object/cuda_ develop.html, 2009.

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] GPU를 이용한 실시간 양안식 영상 생성 방법
Real-time Stereo Video Generation using Graphics Processing Unit 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] GPU를 이용한 실시간 양안식 영상 생성 방법 Real-time Stereo Video Generation using Graphics Processing Unit 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

신인용 (2) 호요성 (143)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] GPU를 이용한 실시간 양안식 영상 생성 방법
Real-time Stereo Video Generation using Graphics Processing Unit 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

활용도 Top5 논문