[논문]시차공간영상에서의 구간별 시차 경로 탐색을 이용한 중간 영상 생성

곽지현; 김경태

doi:10.3745/kipstb.2008.15-b.1.9

시차공간영상에서의 구간별 시차 경로 탐색을 이용한 중간 영상 생성
Intermediate Image Generation based on Disparity Path Search in Block of Disparity Space Image 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.15B no.1, 2008년, pp.9 - 16

곽지현 (충북과학대학 정보통신과학과) , 김경태 (한남대학교 정토통신공학과)

초록
AI-Helper

본 논문에서는 스테레오 영상으로부터 중간 시점 영상을 생성하는 알고리즘을 제안한다. 사람이 3차원 영상을 자연스럽게 인지하기 위해서는 다시점의 영상이 필요하다. 이를 위해 많은 수의 카메라를 이용하면 시스템이 복잡하고 커지며 전송량도 문제가 된다. 따라서 송신측에서 스테레오 영상만을 촬영하여 송신하고, 수신측에서 여러 장의 중간 시점 영상을 생성하는 방법을 생각할 수 있다. 제안하는 방법은 스테레오 영상간의 시차에 따른 화소의 차로 표현되는 시차공간영상을 생성한다. 시차공간영상을 이용하여 최적의 시차 경로를 탐색하여 시차 지도를 만든다. 최종적으로 정합이 이루어지지 않은 가려짐 영역을 처리한 후에 중간 시점의 영상을 생성한다. 제안한 방법으로 생성한 영상은 30 dB PSNR 이상의 결과를 얻었다.

Abstract ▼ AI-Helper

In this paper, we present an algorithm for synthesizing intermediate view image from a stereoscopic pair of images. An image of multiview is need for people in order to easily recognize 3D image. However, if many cameras are use for that, not only does system get more complicated but also transmission rating cause a big trouble. Hence, stereo images are photograph and issue on the sending side and algorithm to generate several intermediate view image is able to be use on the receiving side. The proposed method is based on disparity space image. First of all, disparity space image that is depicted by the gap of pixel followed by disparity of stereo image is generated. Disparity map is made by utilizing disparity space image for searching for optimal disparity path then eventual intermediate view image is generated after occlusion region which does not match is processed. Experimental results illustrate the performance of the proposed technique and we obtained a high quality image of more than 30 dB PSNR.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 위의 세 가지 문제점을 고려하여 알고리즘을 연구하였다. (그림 3)은 실제 좌 영상을 기준으로 우 영상으로 생성한 시차공간영상을 나타낸다.
따라서 오정합이 발생하며 계산시간도 오래 걸린다. 본 연구에서는 기존의 문제점을 보완하기 위해 개체의 경계 정보를 이용하여 구간을 설정한 후 최적의 시차 경로를 탐색하는데 초점을 두었다.
전 처리는 영상의 질을 개선하거나 영상을 특정한 응용 목적에 맞도록 변환시키는 영상 처리를 의미한다. 본 연구에서는 좌우 영상을 같은 조건에서 촬영된 영상으로 만들기 위하여 히스토그램 평활화와 평균, 분산 처리를 수행하였다.

가설 설정

.∙ 영상 내 검은색의 가로선은 최적의 시차경로이다.
∙ 대각선들은 우 영상의 i 번째 스캔라인에서 개체들의경계 정보이다.

제안 방법

(그림 10)은 “MANNEQUIN” 영상으로, 본 연구에서 제안한 방법의 성능을 평가하기 위해 일본의 Cannon사에서 생산된 EOS-1카메라를 수직 시차가 생기지 않도록 정밀하게 수평으로 설치하고, 실험실 내에 마네킹과 인형 등을 놓고좌영상, 우영상, 중간 시점 영상을 촬영하였다.
스테레오 영상이 입력되면, 좌우 영상에 각각 전 처리를 한다. 구간 설정을 위하여 좌 영상과 우 영상의 차분 영상을 만들고 차분 영상에 대한 시차공간영상을 만들어 물체의 경계 정보를 구한다. 그리고 좌 영상과 우 영상의 시차공간영상을 생성한다.
또한, 시차공간영상의 특성을 최대한 활용하여 개체 별로 시차 경로를 탐색하였기 때문에 동일 개체 내의 연속성과 개체간의 불연속성 문제를 해결하였다. 또한 최적 경로 탐색 시 정합의 진행 방향을 고려하여 최적의 시차 경로를 찾게 하였다. 이 후, 대응점이 탐색되지 않은 가려짐 영역에 대하여는 카메라의 기하적 특성에 맞춰 보간을 행하여 30dB PSNR 이상의 보다 정확한 영상을 생성하였다.
시차공간영상은 좌 영상과 우 영상 간의 모든 시차들에 따른 화소값의 차이를 나타낸 영상이다. 본 논문에서는 한 쌍의 스테레오 영상으로부터 시차공간영상을 생성하고, 스테레오 영상내의 물체의 경계 정보를 통해 구간을 설정한 후, 구간별로 최적의 시차 경로를 찾아 시차 지도를 얻는 방법을 제안한다. 기존의 방법들은 시차공간영상을 이용하여 최적의 시차 경로를 스캔라인상의 전 구간에 대하여 탐색하므로 계산 시간이 많이 소요되고, 가려짐 영역에 의한 불연속적인 특성을 고려하지 않아 오정합을 유도하기도 했다.
본 연구에서는 스테레오 영상의 최대 가능 시차를 고려해 탐색영역의 범위를 줄여 계산량을 감소시켰으며, 또한 영상을 구성하는 개체별로 구간을 설정하여, 오정합의 문제를 해결하였다.
본 연구에서는 평행하게 놓인 카메라로부터 획득된 한 쌍의 스테레오 영상에 대하여 시차공간영상을 구성하고, 스테레오 영상들의 차분영상에서 시차공간영상의 특성을 이용하여 구간을 생성한 후, 구간별로 최적의 시차 경로를 탐색하여 중간 시점 영상을 생성하는 알고리즘을 제안하였다. 시차공간영상을 이용한 스테레오 정합 방법은 주변 영역의 정보를 포함하고 있으며, 화소 단위의 조밀한 시차 경로 탐색에서 계산속도도 빠르고 효율적이며 우수한 방법으로 인정되고 있다.
또한 최적 경로 탐색 시 정합의 진행 방향을 고려하여 최적의 시차 경로를 찾게 하였다. 이 후, 대응점이 탐색되지 않은 가려짐 영역에 대하여는 카메라의 기하적 특성에 맞춰 보간을 행하여 30dB PSNR 이상의 보다 정확한 영상을 생성하였다. 앞으로는 수직시차에 대한 적극적인 고려하여 중간영상을 합성 하는 알고리즘을 개발할 필요가 있다.
그러나, 임계치보다 작으면서 최소 비용값이 같은 경로가 발생한다. 이때 최적의 경로를 선택하기 위하여 같은 값을 같은 경로들에 대해서만 경로를 되돌아가며 영상의 Red, Green, Blue 채널의 값들로 비용을 계산하여 그 값이 가장 작은 경로를 최적 경로로 판단한다. 이 과정을 통하여 생성 영상의 질이 더욱 향상되었다.
중간 시점 영상을 객관적인 수치로 표현하기 위해 PSNR 를 이용하였다. 성능을 평가하기 위한 PSNR의 계산식 (7)은,

대상 데이터

“DOLL & FLOWERS” 영상은 400×300의 영상으로 카메라를 수평으로 배치하고 촬영한 영상이다.
본 논문에서는 정확한 에지 정보를 얻기 위하여 시차공간 영상을 이용하였다. 앞 절에서도 기술하였듯이 시차공간영상은 좌 영상을 기준으로 우 영상으로 생성되었을 때 수직의 선이 좌 영상 개체의 경계 정보이다.

성능/효과

기존의 시차공간영상 알고리즘에서는 최대 가능 시차를 고려하지 않고 스캔라인상의 모든 화소에 대해 시차공간영상을 생성한다. 하지만, 실제적으로 시차가 영상 전체를 비교할만큼 크지 않으므로 본 연구에서는 D 값에 제한을 두어 오정합을 방지하고 계산량을 줄일 수 있었다.

후속연구

이 후, 대응점이 탐색되지 않은 가려짐 영역에 대하여는 카메라의 기하적 특성에 맞춰 보간을 행하여 30dB PSNR 이상의 보다 정확한 영상을 생성하였다. 앞으로는 수직시차에 대한 적극적인 고려하여 중간영상을 합성 하는 알고리즘을 개발할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스테레오 영상이 뇌로 전달되어 사람이 입체감을 인지할 때 고려해야 할 문제점은?	그러나, 이를 위하여는 고려해야 할 문제가 있다. 그 한쌍의 스테레오 영상만을 보여주면 입체 시점이 한곳으로 제한되어 관찰자의 움직임에 제약을 받게 된다는 문제이다. 이에 여러 쌍의 스테레오 영상들로 시점을 확장하여야만 관찰자가 자유로이 움직일 수 있고 피로감도 덜 느끼게 된다.
	3차원 디스플레이 시스템은 어디에 이용되는가?	1) 3차원 디스플레이 시스템은 통신, 교육, 의료, 상업 광고 등에 이용된다. 19세기 중반 이후 급격히 발전된 영상처리 기술은 현실감을 표현할 수 있는 3 차원 디스플레이 기술이 주목을 받고 있다.
	19세기 중반 이후 급격히 발전된 영상처리 기술은 현실감을 표현할 수 있는 어떤 기술이 주목받고 있는가?	1) 3차원 디스플레이 시스템은 통신, 교육, 의료, 상업 광고 등에 이용된다. 19세기 중반 이후 급격히 발전된 영상처리 기술은 현실감을 표현할 수 있는 3 차원 디스플레이 기술이 주목을 받고 있다. 3차원 영상 기술의 응용 분야를 구현하기 위한 원천 기술은 스테레오 영상으로부터 3차원 정보를추출하는 기술이다[1].

참고문헌 (14)

R. Hartley and A. Zisserman, 'Multiple view Geometry in computer vision', Cambridge Univ. Press, 2000
Ji-Hyun Kwak, V. Komar, Kyung-Tae Kim,'Synthesizing Intermediate Image Using Stereoscopic Images,' Journal of the Optical Society of korea, 2002.8
Kyung-tae Kim, Ji-hyun Kwak, 'Comparison of irregular decomposition and full-search block matching for intermediate-image generation,' 제 11회 광전자 및 광통신 학술회의 논문집 VOL.11 No.1 p.59-60, 2004년 5월
Kyung-tae Kim, Ji-hyun Kwak, V.Komar, 'Synthesizing Intermediate Image Using Contour Images,' International Display Workshop '02, Jan. 2004
D. Geiger, B. Ladendorf, and A. Yuille, 'Occlusions and binocular stereo,' Intl. Journal of Computer Vision, Vol. 14, No.3, pp. 211-226,1995

상세보기
Y. Ohta, and T. Kanade, 'Stereo by intra- and inter-scanline search using dynamic programming,' IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.7, pp.139-154, 1985

상세보기
Ramesh Jain, Rangachar Kasturi, Brian G. Schunck, 'Machine Vision', MIT press, 1995
Stephen S. Intille and Aaron F. Bobick , 'Disparity. Space Image and Large Occlusion Stereo,' In ECCV, pp. 179-186, 1994
R.E.H., Franich, R.L. Lagendijk, J. Biemond, 'A disparity space image path,' International Workshop on Stereoscopic and Three Dimensional Imaging, pp.122-127 September 6-8, 1995
이종민, 김대현, 최종수, '시차공간영상을 이용한 스테레오 정합에 관한 연구', 전자공학회논문지 제 41 권 SP 제 6 호, pp.867-876, 2004
곽지현, 김경태, '시차공간영상에서의 가변 블록 매칭을 통한 중간 영상 생성', 2004년도 한국통신학회 추계종합학술대회 논문 초록집 Vol. 30, p.117, 2004
Kyung-tae Kim, 'Comparison of Irregular Quadtree Decomposition with Full-search Block Matching for Synthesizing Intermediate Images,' J. of Optical Society of Korea, Vol. 8, No. 3, pp. 108-114, 2004

원문보기 상세보기
Kyung-tae Kim, 'Intermediate image generation using irregular quadtree decomposition', 10th Asia-Pacific conference on communication and 5th international symposium on multi-dimensional mobile communication proceedings, vol. 2, pp.676-680,2004, Beijing China. 2004
S.E. Chen, L. Williams, 'View Interpolation for image Synthesis,' In Proc. SIGGRAPH 93, pp. 279-288, 1993

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증