[논문]지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치

수란; 하호건; 김대철; 하영호

doi:10.5573/ieek.2013.50.12.168

초록
AI-Helper

스테레오 좌우 영상간의 색 일치는 3D 영상을 재현할 때 매우 중요하다. 이를 위해 카메라 세팅 및 촬영 환경을 일치시켜서 스테레오 영상을 획득하더라도 여전히 색 불일치가 나타나게 된다. 이러한 색 불일치는 특성에 따라 전역과 지역적인 색불일치로 구분될 수 있다. 따라서 이들 특성을 고려하여 스테레오 영상의 색을 정확히 일치시킬 수 있는 방법이 필요하다. 본 논문에서는 누적 히스토그램과 3D 거리정보를 이용하여 전역과 지역의 색 불일치를 동시에 보정하는 방법을 제안한다. 먼저 기준이 되는 영상의 누적 히스토그램을 기반으로 한 매칭 함수를 이용하여 전역적으로 발생하는 색 불일치를 보정한다. 다음으로 대응되는 샘플 특징점 간의 CD-LUT(color difference look-up table)을 구성하고, disparity map을 통한 3D 거리 정보를 기반으로 한 샘플 특징점의 유사성을 기준으로 가중치를 적용하여 지역적인 색 일치를 수행한다. 마지막으로 전역적인 보정과 지역적인 보정된 영상을 결합함으로서 스테레오 영상에서 나타나는 색 불일치를 보정하였다. 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 색상 유사도를(hue similarity)와 MOS(mean opinion scores) 이용하여 평가하였다. 실험 결과에서 제안한 방법을 통한 결과 영상이 기존 방법을 통한 결과 영상보다 더 높은 수치를 나타냄을 알 수 있었다.

Abstract ▼ AI-Helper

Color consistency in stereoscopic contents is important for 3D display systems. Even with a stereo camera of the same model and with the same hardware settings, complex color discrepancies occur when acquiring high quality stereo images. In this paper, we propose an integrated color matching method ...

Color consistency in stereoscopic contents is important for 3D display systems. Even with a stereo camera of the same model and with the same hardware settings, complex color discrepancies occur when acquiring high quality stereo images. In this paper, we propose an integrated color matching method that use cumulative histogram in global matching and estimated 3D-distance for the stage of local matching. The distance between the current pixel and the target local region is computed using depth information and the spatial distance in the 2D image plane. The 3D-distance is then used to determine the similarity between the current pixel and the target local region. The overall algorithm is described as follow; First, the cumulative histogram matching is introduced for reducing global color discrepancies. Then, the proposed local color matching is established for reducing local discrepancies. Finally, a weight-based combination of global and local matching is computed. Experimental results show the proposed algorithm has improved global and local error correction performance for stereoscopic contents with respect to other approaches.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 hybrid 색 일치 방법에서도 여전히 전역적 색차가 잘 보정되지 않고, 주변 영역이 복잡하거나 사물간의 경계 부분에서 지역적인 색차 존재한다. 따라서 본 논문에서는 hybrid의 결합된 색 일치 방법에 있어서 누적 히스토그램과 3D 거리를 적용한 지역적 매칭을 통해 전역과 지역적인 색 차이를 동시에 보상시키는 방법을 제안한다. 본 논문의 Ⅱ에서는 기존의 색 일치 방법에 대해 설명하고, Ⅲ에서는 제안한 방법을 설명한다.

제안 방법

또한 지역저인 색차가 발생하는 영역에서 주변 영역이 복잡하거나, 물체나 배경이 중복되어 있는 경계부분에 나타나는 지역적인 색 불일치도 보상하기 어렵다. 따라서 본 논문에서는 hybrid의 결합된 색 일치 방법에 있어서 누적 히스토그램과 3D 거리를 적용하여 지역 유사성을 높인 가중치를 통해 전역적과 지역적인 색 차이를 동시에 보상시키는 방법을 제안한다. 그림 4는 제안한 방법의 흐름도를 나타낸다.
본 논문에서는 전역적 색 일치와 지역적 색 일치 방법을 결합하여 스테레오 영상에서 발생된 색차를 보정하는 방법을 제안하였다. 먼저 누적 히스토그램 매칭을 이용하여 전역적인 색차를 보정하였고, CD-LUT에 깊이 정보를 이용한 3D 거리와 CIELab 색공간상의 색차의 가중치를 적용하여 지역적인 색차를 보정하였다. 그리고 마지막으로 두 가지 보정된 영상을 결합함으로써 스테레오 영상에서 지역과 동시에 전역적인 색 일치를 수행하였다.
본 논문에서는 전역적 색 일치와 지역적 색 일치 방법을 결합하여 스테레오 영상에서 발생된 색차를 보정하는 방법을 제안하였다. 먼저 누적 히스토그램 매칭을 이용하여 전역적인 색차를 보정하였고, CD-LUT에 깊이 정보를 이용한 3D 거리와 CIELab 색공간상의 색차의 가중치를 적용하여 지역적인 색차를 보정하였다.
전역과 지역의 색 일치를 동시에 수행하는 방법으로 장치의 특성에 의한 전역적 색차와 지역적 매칭을 통한 지역적인 색차를 보정한 영상을 결합하여 스테레오 영상의 색 일치 방법을 제안하였다^[12].
제안한 방법의 지역적인 색 일치 방법은 기본적으로 기존의 방법에서 사용한 대응되는 샘플 특징점을 기반으로 생성된 CD-LUT에 2차원 거리 정보와 XYZ 색공간의 색차를 이용한 가중치를 적용하여 지역적으로 색을 보정한다. 그러나 현재 화소에 대한 각각의 CD-LUT의 적용이 영상의 내용 구성(contents)에 따른 유사성에 기반을 두어야 한다.
제안한 지역적인 색 일치 방법은 기존의 방법처럼 샘플 특징점을 기반으로 하여 색보정을 수행한다. 먼저 스테레오 좌우 영상에서 특징점을 추출하여 대응된 특징점들 간 매칭을 시킨다.

대상 데이터

실험에서 여러 가지 영상을 사용하여 제안하는 방법을 평가하였다. 이를 위해 Middlebury 스테레오 영상을 이용하여 실험하였다. 그리고 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 MOS(mean opinion scores)와 색상 유사성(hue similarity) 값을 이용한 주관적 및 객관적인 평가 방법을 사용하였다.

데이터처리

이를 위해 Middlebury 스테레오 영상을 이용하여 실험하였다. 그리고 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 MOS(mean opinion scores)와 색상 유사성(hue similarity) 값을 이용한 주관적 및 객관적인 평가 방법을 사용하였다. 그림 8은 시뮬레이션을 위한 테스트 영상으로 스테레오 영상 중에 좌영상은 기준영상으로 설정하였고, 우영상은 밝기와 색도를 왜곡하여 보정하고자 하는 영상을 만들었다.
기존에 Hybrid 방법뿐만 아니라 히스토그램 매칭, 누적 히스토그램 매칭을 이용한 여러 영상의 결과를 그림 10에서처럼 나타내었다. 또한 제안한 방법이 기존의 방법보다 기준 되는 영상과 비슷하다는 것을 수치적으로 나타내기 위해서 MOS와 색상 유사성 값을 비교하였다^[15]. 표 1은 그림 10의 세 가지 테스트 영상의 색상 유사성을 나타낸 것이다.

이론/모형

Hybrid 색 일치 방법에서는 수직리그 기반의 카메라 시스템(vertical camera rig system)를 이용하여 영상을 획득하였다. 그래서 이러한 카메라 특성에 의해서 나타나는 수직 방향의 색 불일치를 먼저 보정하였다.
Hybrid 색 일치 방법에서는 히스토그램 매칭 방법으로 전역적인 색차를 보정한다. 그러나 보정된 영상에서 여전히 전역적인 색차가 존재한다.
이는 스테레오 영상의 특성을 이용해서 추정이 가능하다. 본 논문에서는 mean shift color segmentation 기반의 disparity를 이용하여 영상의 깊이를 계산하였다^[13～14]. 3D 거리의 정의는 그림 5와 같이 공간적인 거리와 깊이를 통한 실제 장면에서의 거리를 의미하고 수식 8을 통해서 계산한다.
제안하는 방법은 전역적인 색차를 보정하기 위해 누적 히토그램 매칭을 이용한다^[5]. 수식 4와 5에서처럼 각 채널의 히스토그램을 계산하여 누적 히스토그램을 도출한다.

성능/효과

표 1은 그림 10의 세 가지 테스트 영상의 색상 유사성을 나타낸 것이다. 결과 영상에서 본 것과 같이 제안한 방법에 결과 영상에서 가장 큰 색상 유사성이 나타남을 알 수 있다. 표 2는 MOS 평가 결과를 나타낸다.
그리고 마지막으로 두 가지 보정된 영상을 결합함으로써 스테레오 영상에서 지역과 동시에 전역적인 색 일치를 수행하였다. 그 결과, 제안한 방법이 기존 방법보다 기준 되는 영상에 더 비슷한 결과를 가져왔고, 색상 유사성 및 MOS 평가를 통해서도 제안한 방법이 더 높은 수치를 나타냄을 알 수 있다.
먼저 누적 히스토그램 매칭을 이용하여 전역적인 색차를 보정하였고, CD-LUT에 깊이 정보를 이용한 3D 거리와 CIELab 색공간상의 색차의 가중치를 적용하여 지역적인 색차를 보정하였다. 그리고 마지막으로 두 가지 보정된 영상을 결합함으로써 스테레오 영상에서 지역과 동시에 전역적인 색 일치를 수행하였다. 그 결과, 제안한 방법이 기존 방법보다 기준 되는 영상에 더 비슷한 결과를 가져왔고, 색상 유사성 및 MOS 평가를 통해서도 제안한 방법이 더 높은 수치를 나타냄을 알 수 있다.
그림 8은 시뮬레이션을 위한 테스트 영상으로 스테레오 영상 중에 좌영상은 기준영상으로 설정하였고, 우영상은 밝기와 색도를 왜곡하여 보정하고자 하는 영상을 만들었다. 실험 결과 기존의 hybrid 방법에서는 전역적인 색 불일치가 잘 보정되지 않아 녹색의 컬러 왜곡이 결과 영상 전반에 걸쳐 나타나는 것을 볼 수 있다. 그러나 제안한 방법에서는 이러한 왜곡이 줄어듦을 알 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	여러 대의 카메라로 획득한 스테레오 영상에서 생기는 시각적 효과 감소 문제를 해결하기 위해 어떠한 방법이 개발되었는가?	그러나 여러 대의 카메라로 획득한 스테레오 영상에서는 다양한 색차를 발생하여 이러한 시각적인 효과를 감소시킨다[3]. 따라서 이를 해결하기 위하여 스테레오(stereoscopic) 및 다시점(multi-view) 영상간의 색 일치 방법이 개발되었다. 색 일치 방법들은 크게 전역적인 색 일치, 지역적인 색 일치, 그리고 전역적과 지역적인 색 일치가 결합된 방법으로 나누어진다.
	hybrid 색 일치 방법에선 어떠한 문제점이 있는가?	최근에는 전역과 지역적인 색 일치를 모두 수행하기 위해 hybrid 방법이 연구되었다[12]. 그러나 hybrid 색 일치 방법에서도 여전히 전역적 색차가 잘 보정되지 않고, 주변 영역이 복잡하거나 사물간의 경계 부분에서 지역적인 색차 존재한다. 따라서 본 논문에서는 hybrid의 결합된 색 일치 방법에 있어서 누적 히스토그램과 3D 거리를 적용한 지역적 매칭을 통해 전역과 지역적인 색 차이를 동시에 보상시키는 방법을 제안한다.
	색 일치 방법는 어떠한 방법으로 나뉘어지는가?	따라서 이를 해결하기 위하여 스테레오(stereoscopic) 및 다시점(multi-view) 영상간의 색 일치 방법이 개발되었다. 색 일치 방법들은 크게 전역적인 색 일치, 지역적인 색 일치, 그리고 전역적과 지역적인 색 일치가 결합된 방법으로 나누어진다. 먼저 전역적인 색 일치 방법은 영상 전체에서 일정하게 발생 되는 색의 차이를 보정하기 위한 방법으로 각 채널간의 히스토그램을 계산하여 이를 매칭하는 방법[4～5], 영상을 여러 블럭으로 나누어 각 블록 간의 평균색을 매칭 방법[6], 인간시각 효과(human visual system)를 적용한 tone mapping oprerator를 적용하는 방법[7], 그리고 color transfer를 이용하여 스테레오 영상간의 색을 일치하는 방법 등이 있다[8].

참고문헌 (16)

Matusik W, Pfister H, "3DTV: A Scalable System for Realtime Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes", In Proceeding of SIGGRAPH, ACM, Los Angeles, 23(3), 814-824, (2004).
Masayuki Tanimoto, "Free viewpoint television-FTV", Picture Coding Symposium, San Francisco, USA, (2004).
ISO/IEC JTC1/SC29/WG11, "Luminance and Chrominance Compensation for Multi-View Sequences Using Histogram Matching", Nice, France, (2005).
Y. Chen, C. Cai, J. Liu, "YUV Correction for Multi-View Video Compression," Proc. 18th International Conference on Pattern Recognition (ICPR), vol. 3, pp. 734-737. (2006).
U. Fecker, M. Barkowsky, A. Kaup, "Improving the Prediction Efficiency for Multi-View Video Coding Using Histogram", Matching, Picture Coding Symposium, Beijing, China, (2006).
Doutre, Colin; Nasiopoulos, Panos: "Color Correction Preprocessing for Multiview Video Coding", In: "IEEE Transactions on Circuits and Systems for Video Technology", pp. 1400-1406, September. (2009).
R. Mantiuk, S. Daly and L. Kerofsky, "Display adaptive tone mapping," ACM Transactions on Graphics (Proc. SIGGRAPH), Vol. 27, No. 3, 2008, Article no. 68. (2008).
E. Reinhard, M. Adhikhmin, B. Gooch, P. Shirley, "Color Transfer between Images," IEEE Computer Graphics and Applications, 21(5), 34-41. (2001).

상세보기
K. Cherdhirunkorn, N. Tsumura, T. Nakaguchi1, Y. Miyake, "Spectral Based Color Correction Technique Compatible with Standard RGB System," Optical Review 13(3), 138-145. (2006).

상세보기
Q. Wang, X. Sun, and Z. Wang., "A Robust Algorithms for Color Correction between Two Stereo Images," Asian Conference of Computer Vision (ACCV), China, Sep. 23-27. (2009).
Hwang, Youngbae; Kim, Je-Woo; Choi, Byeong-Ho; Lee, Wangheon: "Color correction without color patterns for stereoscopic camera systems", International Conference on Control, Automation and Systems, pp. 1129-1134. (2011).
Yu, Jung-Jae; Kim, Hae-Dong; Jang, Ho-Wook; Nam, Seung-Woo, "A Hybrid Color Matching between Stereo Image Sequence", 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON), pp. 1-4, (2011).
A. Klaus, M. Sormann and K.F. Karner, "Segment-Based Stereo Matching Using Belief Propagation and a Self-Adapting Dissimilarity Measure," Proc. Int',l Conf. Pattern Recognition, vol. 3, pp. 15-18. (2006)
D. Comaniciu and P. Meer, "Mean Shift: A Robust Approach toward Feature Space Analysis," IEEE Transactions on PAMI, vol. 24, no. 5, pp. 603-619. (2002).

상세보기
Stricker, Markus A., Orengo, Markus, "Similarity of color images," Proc. SPIE Vol. 2420, p. 381-392, (1995)
Il-Lyong Jung, Tae-Young Chung, Jae-Young Sim, and Chang-Su Kim, "Consistent stereo matching under varying radiometric conditions," IEEE Transactions on Multimedia, vol. 15, pp. 56-69, Jan. 2013.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치
Integrated Color Matching in Stereoscopic Image by Combining Local and Global Color Compensation 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치 Integrated Color Matching in Stereoscopic Image by Combining Local and Global Color Compensation 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

하호건 (12) 김대철 (11) 하영호 (150)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치
Integrated Color Matching in Stereoscopic Image by Combining Local and Global Color Compensation 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper