[논문]신뢰 영역 검출 및 시차 지도 재생성 기반 경계 보존 스테레오 매칭

윤인용; 김중규

doi:10.5573/ieie.2016.53.5.132

신뢰 영역 검출 및 시차 지도 재생성 기반 경계 보존 스테레오 매칭
Boundary-preserving Stereo Matching based on Confidence Region Detection and Disparity Map Refinement 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.53 no.5, 2016년, pp.132 - 140

윤인용 (성균관대학교 정보통신대학) , 김중규 (성균관대학교 정보통신대학)

초록
AI-Helper

본 논문에서는 신뢰 영역을 검출하고 이를 이용하여 미스 매치된 영역에 대한 홀을 채우고 적응적으로 시차 지도를 조정하여 경계를 보존하는 스테레오 정합 방법을 제안한다. 초기 시차 지도 추정을 위해 비용 계산은 색상(CIE Lab)과 경사도(Gradient)를 결합하여 이용하였고, 두 번의 비용 결합 함수를 적용 하여 시차 지도를 추정 하였다. 화소 불일치 영역을 검출하기 위해 왼쪽/오른쪽 교차 검사를 수행 하였다. 두 픽셀 위치에서의 차이가 1보다 크면 폐색 영역이거나 잘못된 매칭으로 판단하고 왼쪽 시차 지도에 표시 하였다. 초기 시차 지도에서 깊이 불연속성으로 인한 에러값을 구별하기 위해 Mean-shift segmentation을 사용하여 신뢰 지도를 구하고 초기 시차 지도 영상에서의 에러값을 줄이기 위해 신뢰 지도 결과를 이용하여 시차 지도 조정을 수행한다. 실험 결과 제안하는 방법이 기존의 다른 방법들과 비교하여 비교적 높은 정확도를 보이는 시차 지도를 생성 하는 것을 보였다.

Abstract ▼ AI-Helper

In this paper, we propose boundary-preserving stereo matching method based on adaptive disparity adjustment using confidence region detection. To find the initial disparity map, we compute data cost using the color space (CIE Lab) combined with the gradient space and apply double cost aggregation. We perform left/right consistency checking to sort out the mismatched region. This consistency check typically fails for occluded and mismatched pixels. We mark a pixel in the left disparity map as "inconsistent", if the disparity value of its counterpart pixel differs by a value larger than one pixel. In order to distinguish errors caused by the disparity discontinuity, we first detect the confidence map using the Mean-shift segmentation in the initial disparity map. Using this confidence map, we then adjust the disparity map to reduce the errors in initial disparity map. Experimental results demonstrate that the proposed method produces higher quality disparity maps by successfully preserving disparity discontinuities compared to existing methods.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 스테레오 매칭 결과를 얻기 위한 네 가지 단계 중에서 마지막 단계인 시차 지도 재생성에 초점을 맞춘다. Mean-shift 세그먼트 영상을 이용한 각 영역별 신뢰도 가중치 지도를 생성한 다음, 이를 이용하여 적응적 가중치 최대값 필터를 수행해서 최종 시차지도를 생성한다.

제안 방법

본 논문에서는 영상의 경계를 보존할 수 있는 스테레오 매칭을 제안하기 위해 Mean-shift 색상 분할 기법을 이용하여 영상의 신뢰도를 계산하고 이를 적용하여 시차 지도를 재생성하는 방법을 제안하였다. 신뢰도 영상을 구하기 위해 각 분할 영역에서 평균 시차 값과의 유클리드 거리값을 이용하였고, 폐색영역 채우고 적응적 가중치를 이용한 Max 필터에 사용하여 초기 시차지도를 개선하였다.

대상 데이터

20GHz), 8GB RAM, 윈도우 10 64it 환경에서 Visual Studio 2013을 이용하였다. 실험에 사용된 입력 영상은 Middlebury 스테레오 연구실^[21]에서 제공하는 스테레오 영상을 사용하였다. 이 영상들은 실제 시차 값을 제공하여 알고리즘 성능 평가시 객관적인 결과 비교에 도움을 주며, 실제 Middlebury 사이트에 이러한 결과를 바탕으로 여러 알고리즘 성능 비교를 하고 있다.

성능/효과

본 논문에서는 영상의 경계를 보존할 수 있는 스테레오 매칭을 제안하기 위해 Mean-shift 색상 분할 기법을 이용하여 영상의 신뢰도를 계산하고 이를 적용하여 시차 지도를 재생성하는 방법을 제안하였다. 신뢰도 영상을 구하기 위해 각 분할 영역에서 평균 시차 값과의 유클리드 거리값을 이용하였고, 폐색영역 채우고 적응적 가중치를 이용한 Max 필터에 사용하여 초기 시차지도를 개선하였다. 기존의 방법들과 성능을 비교하기 위해 Middlebury 데이터 셋을 이용하였다.

후속연구

실험결과 제안하는 방법이 기존의 지역적 매칭 방법과 비교했을 때 비교적 높은 품질의 시차 지도를 획득하였다. 향후 연구 방향으로 신뢰도를 구하는 방법을 개선하여 정확도를 향상 시키고 CPU 병렬 프로세싱 또는 GPU를 이용한 정확도를 높이면서 시차지도 생성에 대해 실시간으로 수행할 수 있는 스테레오 정합 알고리즘을 제시할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Mean-shift 세그먼트 영상을 이용한 시차 지도 생성 방법의 단계는 어떻게 되는가?	<그림 1>은 본 논문에서 제안하는 전체 시스템 구조를 도식화한 것이다. 첫 번째 단계로 적응적 가중치를 기반으로 하는 초기 시차지도를 생성한다. 그런 다음, 세그먼트 영상을 이용하여 초기 시차 지도에 대한 신뢰도 영상을 생성하고, 마지막 단계로 생성된 신뢰도 영상을 이용하여 시차 지도 재생성을 수행 하게 된다.
	스테레오 영상에서의 시차 지도를 구하기 위한 네 가지 단계는 순서대로 무엇인가?	(1) 매칭 비용 계산 (2) 비용 결합 (3) 시차 지도 계산 / 최적화 (4) 시차 지도 재생성
	스테레오 정합을 실시하는 목적은 무엇인가?	본 논문에서는 신뢰 영역을 검출하고 이를 이용하여 미스 매치된 영역에 대한 홀을 채우고 적응적으로 시차 지도를 조정하여 경계를 보존하는 스테레오 정합 방법을 제안한다. 초기 시차 지도 추정을 위해 비용 계산은 색상(CIE Lab)과 경사도(Gradient)를 결합하여 이용하였고, 두 번의 비용 결합 함수를 적용 하여 시차 지도를 추정 하였다.

참고문헌 (26)

W. Fife, J. Archibald, Improved census transforms for resource-optimized stereo vision, IEEE TCSVT 23, pp. 60-73, 2013.
N.Y. Chang, T. Tsai, B. Hsu, Y. Chen, T. Chang, Algorithm and architecture of disparity estimation with mini-census adaptive support weight, IEEE TCSVT 20 (6), pp.792-805, 2010.
X. Sun, X. Mei, S. Jiao, M. Zhou, H. Wang, Stereo Matching with Reliable Disparity Propagation, 3DIMPVT, 2011.
C. Cigla, A.A. Alatan, Information Permeability for Stereo Matching, Elsevier Signal Processing: Image Communication, 2013.
F. Tombari, S. Mattoccia, L. Di Stefano, E. Addimanda, Classification and Evaluation of Cost Aggregation Methods for Stereo Correspondence, CVPR, pp. 1-8, 2008.
M. Gong, R.G. Yang, W. Liang, M.W. Gong, A performance study on different cost aggregation approaches used in real-time stereo matching, IJCV 75, pp. 283-296, 2007.

상세보기
K.-J. Yoon, I.S. Kweon, Adaptive support-weight approach for correspondence search, IEEE TPAMI 28, pp. 650-656, 2006.

상세보기
L. Di Stefano, F. Tombari, S. Mattoccia, Segmentation-based adaptive support for accurate stereo correspondence, IEEE Pacific-Rim Symp. Image and Video, 2007
K. He, J. Sun, and X. Tang, Guided image filtering, ECCV, 2010
A. Hosni, C. Rhemann, M. Bleyer, C. Rother, M. Gelautz, Fast cost-volumefiltering for visual correspondence and beyond, IEEE TPAMI 35 (2), pp. 504-511, 2013.

상세보기
V. Kolmogorov, R. Zabih, Computing Visual Correspondence with Occlusions Using Graph Cuts, ICCV, 2, pp. 508-515, 2001.
A. Klaus, M. Sormann, K. Karner, Segment-based Stereo Matching Using Belief Propagation and a Self-adapting Dissimilarity Measure, ICPR, pp. 15-18, 2006.
Z.F. Wang, Z.G. Zheng, A Region Based Stereo Matching Algorithm Using Cooperative Optimization, CVPR, pp. 1-8, 2009.
J. Kim, K. Lee, B. Choi, S. Lee, A Dense Stereo Matching Using Two-pass Dynamic Programming with Generalized Ground Control Points, CVPR, pp. 1075-1082, 2005.
H. Hirschmller, Stereo processing by semiglobal matching and mutual information, IEEE TPAMI 30, pp. 328-341, 2009.
Q. Yang, L. Wang, R. Yang, H. Stewenius, D. Nister, Stereo matching with colorweighted correlation, hierarchical belief propagation and occlusion handling, IEEE TPAMI 31, pp. 492-504, 2009.

상세보기
H. Lei, C. K. Jung, Reliability-Based Discontinuity -Preserving Stereo Matching, IEEE TCSVT, 2015.
D. Comanicu and P. Meer, "Mean shift: A robust approach toward feature space analysis," IEEE Trans. Pattern Anal. Machine Intell., May 2002.
X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang, On building an accurate stereo matching system on graphics hardware, ICCV, pp 6-13, 2011.
A. Hosni, M. Bleyer, C. Rhemann, M. Gelautz, C. Rother, REal-time local stereo matching using guided image filtering, ICME, pp, 1-6, 2011.
http://www.middlebury.edulstereo/
D. Scharstein and R. Szeliski, "A taxonomy and evaluation of dense two frame stereo correspondence algorithms," IJCV, vol. 47, no. 112/3, pp. 7-42, 2002.
Z. Ma, K. He, Y. Wei, J. Sun, E. Wu, Constant Time Weighted Median Filtering for Stereo Matching and Beyond, ICCV, pp. 1-8, 2013.
M. Michael, J. Salmen, J. Stallkamp, M. Schlipsing, Real-time stereo vision: optimizing semi-global matching, in: Proc. IEEE Intelligent Vehicles Symposium (IV), pp. 1197-1202, 2013.
N. Manap, J. Soraghan, Disparity refinement based on depth image layers separation for stereo matching algorithms, J. Telecommun. Electron. Comput. Eng. 4 (1), pp. 51-64, 2012.
V. Gonzalez, I. Cabezas, Estimacion de puntos correspondientes mediante programacion dinamica, Congreso Multimedia, 2009.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증