[논문]3D 입체영상을 위한 색온도와 색 일치 보정

김정엽; 김상현

doi:10.3745/kipstb.2011.18b.3.139

3D 입체영상을 위한 색온도와 색 일치 보정
A Correction of Color Temperature and Consistency for 3D Stereoscopic Images 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.18B no.3, 2011년, pp.139 - 146

김정엽 (영산대학교 게임.콘텐츠학과) , 김상현 (영산대학교 게임.콘텐츠학과)

초록
AI-Helper

3D 입체영상의 색 보정은 전체의 화질에 영향을 미치는 중요한 과정이다. 기존의 색 보정 방법들은 좌, 우 영상 중에서 밝기 정보 또는 칼라 채널별로 히스토그램을 바탕으로 하여 어느 한쪽을 기준으로 일치성을 강화하는 처리를 한다. 히스토그램을 기반으로 색 보정을 하는 경우, 충분한 색온도 변환이 이루어 지지 않아 색조의 보정이 어려운 단점이 있으며, 본 논문에서는 히스토그램을 사용하지 않고 색온도 변환을 중심으로 색 보정하는 방법, 색 일치를 통한 색 보정 방법을 제안한다. 제안한 색온도 보정 방법은 동일한 조명환경에서 촬영된 영상들에 대하여 화소 당 평균 색 오차(CIE-${\Delta}E$ 기준) 3 정도로 일치되는 결과를 나타냈고 기존 방법도 유사한 성능을 보였다, 색 일치 보정 방법은 서로 다른 조명하에서 촬영된 좌우영상들에 대하여 색 오차 9이며, 기존의 방법은 18로 나타났다. 기존 방법에 비하여 제안한 방법이 좌우 영상의 색 일치 처리에서 우수한 성능을 보였다.

Abstract ▼ AI-Helper

The color correction is the important process of influencing on the picture quality of the 3D stereoscopic images. Existing colorcorrecting methods handle the processing intensifying a correspondence among a left and right image using a histogram based on any one side. In case of color correction based on a histogram, it is difficult to correct tone of image, because the color temperature is not converted enough. And in this paper, the color temperature correction and color consistency correction is proposed without using histogram. The proposed color correction method by color temperature gives 3 in CIE-${\Delta}E$ for each pixel on the images captured with same illuminants and the conventional gives similar results. For color consistency, the proposed gives 9 in CIE-${\Delta}E$ on the images captured with different illuminants while the conventional gives 18. The proposed method shows better results than the conventional in color consistency processing.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 스테레오 영상에 대한 색 보정을 위하여 히스토그램을 사용하지 않는 방법을 제안하였다. 제안한 색온도를 이용하는 방법으로 색 오차가 감소하는 것을 알 수 있었다.
색상의 일치를 위해서는 전문적인 색상의 보정을 위한 알고리즘의 적용보다는 구현의 용이성을 고려하여 RGB 각 채널별로 구해진 평균값을 활용하여 영상 전체에 대한 스케일을 적용하는 형태로 일관성의 보장을 추구한다. 본 논문에서는 이와 같은 간단한 색 보정 방법을 탈피하여 선택적인 평균을 활용하는 인지조명 형태의 색온도 추정[4]과, 원하는 색온도로의 변환 알고리즘[5]을 이용하는 스테레오 영상에서의 색 보정 방법을 제안하였다. 본 논문에서는 입력된 입체 좌우 영상에 대한 색차와, 밝기성분을 기준으로 하는 색 보정 방법[2] 및 제안한 방법에 의한 색 보정의 색차를 비교하여 성능을 분석하였다.
본 논문에서는 좌 영상을 기준으로 하고, 우 영상을 색온도 보정한 변환영상에 대하여 색차(CIE-∆E)를 계산하여 성능을 평가한다. 두 장의 영상에 대하여 전체 색차를 계산한 다음 화소수로 나누어 화소 당 평균 ∆E가 작게 나타나면 색 보정이 잘 된 것으로 평가한다.

제안 방법

본 논문에서는 좌 영상을 기준으로 하고, 우 영상을 색온도 보정한 변환영상에 대하여 색차(CIE-∆E)를 계산하여 성능을 평가한다. 두 장의 영상에 대하여 전체 색차를 계산한 다음 화소수로 나누어 화소 당 평균 ∆E가 작게 나타나면 색 보정이 잘 된 것으로 평가한다.
본 논문에서는 입력된 입체 좌우 영상에 대한 색차와, 밝기성분을 기준으로 하는 색 보정 방법[2] 및 제안한 방법에 의한 색 보정의 색차를 비교하여 성능을 분석하였다. 또한, 색온도에 의한 색 보정 이외에, 좌 영상을 기준으로 하는 직접적인 색 변환을 할 수 있는 방법도 제안하였다.
김태희[2]등은 좌우 영상의 RGB로부터 각 채널의 평균값을 이용한 선형 스케일을 곱하여 보상하는 방법을 제안하였다. 본 논문에서는 김태희[2] 등의 알고리즘과 성능을 비교하였다.
)을 보정하여 좌, 우영상의 색차를 감소시키는 방법은 (그림 1)과 같다. 본 논문에서는 색온도를 이용하여 우 영상을 보정하는 색 보정 방법[10]과, 직접적인 색 변환을 이용한 색 일치 방법 두 가지를 제안한다. 이론적으로, 좌, 우영상의 연색성이 우수하다면 두 가지 방법 모두 비슷한 결과를 나타내게 되고, 연색성이 미흡한 경우는 서로 다른 결과를 낼 수 있다.
본 논문에서는 이와 같은 간단한 색 보정 방법을 탈피하여 선택적인 평균을 활용하는 인지조명 형태의 색온도 추정[4]과, 원하는 색온도로의 변환 알고리즘[5]을 이용하는 스테레오 영상에서의 색 보정 방법을 제안하였다. 본 논문에서는 입력된 입체 좌우 영상에 대한 색차와, 밝기성분을 기준으로 하는 색 보정 방법[2] 및 제안한 방법에 의한 색 보정의 색차를 비교하여 성능을 분석하였다. 또한, 색온도에 의한 색 보정 이외에, 좌 영상을 기준으로 하는 직접적인 색 변환을 할 수 있는 방법도 제안하였다.
본 알고리즘은 스테레오 정합을 연산한 다음 구할 수 있는 좌, 우 영상의 디스패리티 맵(disparity map)을 기준으로 색을 보정한다. 이는 2.
입력은, 좌 영상, 우 영상, 좌에서 우로의 디스패리티 맵, 우에서 좌로의 디스패리티 맵의 4장을 사용한다. 색변환 함수를 계산하기 위하여, 우에서 좌로의 디스패리티 맵을 이용하여 우 영상에서 좌 영상으로의 대응하는 화소들의 쌍(pair)의 집합인 (P_L,P_R)을 구한다. 구해진 화소들의 쌍을 CIELAB 좌표계로 변환한 다음, ∆E가 10 이상으로 차이가 나는 쌍들인 (SP_L,SP_R)을 추출하여 색변환 관계를 계산한다.
색상의 일치를 위해서는 전문적인 색상의 보정을 위한 알고리즘의 적용보다는 구현의 용이성을 고려하여 RGB 각 채널별로 구해진 평균값을 활용하여 영상 전체에 대한 스케일을 적용하는 형태로 일관성의 보장을 추구한다. 본 논문에서는 이와 같은 간단한 색 보정 방법을 탈피하여 선택적인 평균을 활용하는 인지조명 형태의 색온도 추정[4]과, 원하는 색온도로의 변환 알고리즘[5]을 이용하는 스테레오 영상에서의 색 보정 방법을 제안하였다.
Muhammad[9]는 스테레오 정합에서 얻어지는 좌우 영상의 대응점과 동일지점의 색상 집합을 이용한 색 보정을 제안하였다. 안정적인 색 일치 처리방법이며, 1차, 2차, 복합 등의 맵핑 방법을 제안하였다. 맵핑 결과는 처리된 영상의 전체평균값을 기준으로 비교하였으나 정확한 화질을 대표하지 못하는 단점이 있다.
추가적인 실험으로, 동일한 조명환경에서 촬영된 일반적인 영상들을 대상으로 본 논문에서 제안하는 색 일치 보정 방법을 적용하였다. 결과는 <표 2>에 나타내었으며, 전반적으로 예측할 수 있는 바와 같이 기존의 방법과 제안한 방법들의 평균 색 오차가 10.

대상 데이터

기준이 되는 T_R에서의 삼자극치XYZ_R를 계산하기 위해서는 색온도 T_R에 해당하는 조명의 스펙트럼과 24개의 맥배스칼라체커(Macbeth Color Checker)의 표면 반사 스펙트럼을 각각 곱한 후, X, Y, Z의 스펙트럼으로 필터링을 하면 24개의 삼자극치를 구할 수 있다. 같은 방법으로 목표로 하는 T_L에서의 삼자극치XYZ_L을 계산하면 기준과 목표에 해당하는 24개 삼자극치 쌍을 얻는다.
실험은 Middlebury 대학[11]에서 제공하는 스테레오 영상의 집합을 이용하였으며, 실험결과는 에 나타내었다.

이론/모형

앞 절에서 구해진 색온도를 기준으로 하여 색온도 변환 알고리즘[5]을 적용하였다. 색온도 변환 알고리즘은 (그림 3)에 나타내었다.
1절에서와 같이 색 보정을 위한 기준과 목표 집합을 생성하는 용도이며, 본 논문에서는 스테레오 정합알고리즘을 제안하지는 않는다. 제안한 알고리즘의 성능을 평가하기 위하여, Middlebury 기준 영상에 포함되어 있는 그라운드 트루스 디스패리티 맵(ground truth disparity map)을 이용하였다. 입력은, 좌 영상, 우 영상, 좌에서 우로의 디스패리티 맵, 우에서 좌로의 디스패리티 맵의 4장을 사용한다.

성능/효과

(그림 11)의 (a)의 색온도는 5232K이고, (b)는 4425K 로 계산되었다. 좌영상인 (a)의 색온도는 5000K 정도의 색온도를 보이지만, 실질적인 색온도 5000K의 연색성을 보이지는 않고 있다. 이유는 색온도 추정 시 상관색온도를 계산하기 때문이다.
결과는 에 나타내었으며, 전반적으로 예측할 수 있는 바와 같이 기존의 방법과 제안한 방법들의 평균 색 오차가 10.0, 10.1의 수준으로 유사함을 볼 수 있었다.
102로 나타났다. 그러므로 적절한 영상 집합에 적용한 평균 색 오차를 살펴보면 제안한 색 일치 보정 경우의 성능이 가장 우수하였다.
연색성이 우수한 경우는 색온도 기반 보정의 성능이 우수함을 알 수 있었다. 또한, 색 일치의 관점에서 직접적인 색 보정도 제안하였으며, 기존의 방법에 비하여 색 오차 관점에서의 성능이 우수하였다.
색보정 오차는 의 17번 항목에서와 같이, 기존방법은 37이고 제안한 방법은 10정도로 우수함을 볼 수 있다.
색 온도 보정의 경우, 입력영상에서 기본적으로 녹색성분이 많이 포함되어 있어 연색성이 저하된 문제가 있었다. 연색성이 우수한 경우는 색온도 기반 보정의 성능이 우수함을 알 수 있었다. 또한, 색 일치의 관점에서 직접적인 색 보정도 제안하였으며, 기존의 방법에 비하여 색 오차 관점에서의 성능이 우수하였다.
다만, <표 2>의 인덱스 기준으로 20, 21 영상은 평균적인 색 오차가 3을 넘었다. 이는 제안한 방법이 기존의 방법보다 우수함을 나타낸다. 전체적인 성능은 대체로 유사한 편이며, 일부 영상(표 2 인덱스 기준 20번)의 실험결과를 (그림 8)에 나타내었다.
전체적으로 제안한 색 일치의 색보정이 가장 적은 색 오차로 좋은 성능을 나타냄을 알 수 있다. 전체 21장의 영상들에 대한 평균적인 색 오차를 구해 보면, 처리 전 23.471, 기존방법 19.673, 색온도 보정 17.558, 색 일치 보정 14.039로 나타나 제안한 방법들의 성능이 우수함을 볼 수 있다. <표 3>의 일련번호 중 9,10,14,15,16의 경우 우 영상의 촬영 시 카메라의 노출정보가 과다하게 책정되어 좌 영상과의 상관성이 많이 감소하는 경향을 보인다.
주어진 입력 영상의 좌우 색 보정 상태가 양호하기 때문이다. 전체 21장의 영상들에 대한 평균적인 색 오차를 구해보면, 처리 전 2.416, 기존방법 2.795, 색온도 보정 2.975, 색일치 보정 3.310 정도로 나타나 방법들 간의 성능 차는 거의 없음을 볼 수 있다.
<표 3>은 조명1의 좌영상과 조명3의 우 영상을 기준으로 하여, 좌우영상의 조명효과가 서로 다른 경우에 대한 알고리즘의 성능을 평가한다. 전체적으로 제안한 색 일치의 색보정이 가장 적은 색 오차로 좋은 성능을 나타냄을 알 수 있다. 전체 21장의 영상들에 대한 평균적인 색 오차를 구해 보면, 처리 전 23.
본 논문에서는 스테레오 영상에 대한 색 보정을 위하여 히스토그램을 사용하지 않는 방법을 제안하였다. 제안한 색온도를 이용하는 방법으로 색 오차가 감소하는 것을 알 수 있었다. 색 온도 보정의 경우, 입력영상에서 기본적으로 녹색성분이 많이 포함되어 있어 연색성이 저하된 문제가 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	좌우 영상의 일관성이 보장되지 않은 입체영상을 시청하면 시청자에게 어떤 문제점이 발생하는가?	정확한 거리의 추정을 위해서는, 좌우 영상의 일관성(consistency)이 보장되어야 한다. 일관성이 보장되지 않은 입체영상을 시청하면 시청자가 어지러움을 느끼거나 눈의 피로가 쉽게 오는 문제점이 발생한다. 그러나 대부분의 자연 상태에서 획득되는 입체영상은 일관성의 보장이 어렵다.
	정확한 거리의 추정을 위해서 무엇이 보장되어야 하는가?	전통적인 컴퓨터비전의 영역에서 사용되던 스테레오 관련 영상처리기법들이 많이 제안되어 있으나, 주로 양안시차에 근거한 거리의 추정에 초점이 맞추어져 있다. 정확한 거리의 추정을 위해서는, 좌우 영상의 일관성(consistency)이 보장되어야 한다. 일관성이 보장되지 않은 입체영상을 시청하면 시청자가 어지러움을 느끼거나 눈의 피로가 쉽게 오는 문제점이 발생한다.
	히스토그램을 기반으로 색 보정을 하는 경우 어떤 단점이 있는가?	기존의 색 보정 방법들은 좌, 우 영상 중에서 밝기 정보 또는 칼라 채널별로 히스토그램을 바탕으로 하여 어느 한쪽을 기준으로 일치성을 강화하는 처리를 한다. 히스토그램을 기반으로 색 보정을 하는 경우, 충분한 색온도 변환이 이루어 지지 않아 색조의 보정이 어려운 단점이 있으며, 본 논문에서는 히스토그램을 사용하지 않고 색온도 변환을 중심으로 색 보정하는 방법, 색 일치를 통한 색 보정 방법을 제안한다. 제안한 색온도 보정 방법은 동일한 조명환경에서 촬영된 영상들에 대하여 화소 당 평균 색 오차(CIE-${\Delta}E$ 기준) 3 정도로 일치되는 결과를 나타냈고 기존 방법도 유사한 성능을 보였다, 색 일치 보정 방법은 서로 다른 조명하에서 촬영된 좌우영상들에 대하여 색 오차 9이며, 기존의 방법은 18로 나타났다.

참고문헌 (11)

이동식, 배경훈, 이원경, "다시점 영상의 왜곡 보정처리 방법," 대한민국 특허10-0668073, 2007.
김태희, 유필호, 김대식, "입체 영상 신호 처리 장치 및 방법," 대한민국 특허10-0739764, 2007.
김종수, "스테레오 영상의 불균형 제거 및 정합에 관한 연구" 박사 학위논문, 중앙대학교 첨단영상대학원 영상공학과 , 2009.8.
Jeong-Yeop Kim, Yang-Seok Seo, Yeong-Ho Ha,"Estimation of Illuminant Chromaticity from Single Color Image Using Perceived illumination and Highlight,"Journal of Imaging Science & Technology, Vol.45, No.3, pp.274-282, 2001.
김정엽, 김상현, 현기호, "임의 색온도에 대한 조명 색 변환기법", 멀티미디어학회논문지 제7권 제10호, pp.1370-1377, 2004.10
Wei Zhou "Scene Illuminant Estimation with Binocular Stereo Matching," A Thesis Submitted for the Degree of Doctor of Philosophy in Computer Science, University of Delaware, 2005.
Yong Seok Heo, Kyung Mu Lee, Sang Uk Lee, "Robust Stereo Matching Using Adaptive Normalized Cross Correlation," IEEE Trans. on PAMI, 20 Jul. 2010, IEEE computer Society Digital Library, IEEE Computer Society.
배경훈, 박재성, 이동식, 김은수, "효과적인 3차원 디스플레이를 위한 다시점 영상왜곡 보정처리 시스템 구현," pp.36-45, 06-1 Vol.31, No.1C, 한국통신학회논문지, 2006.
Muhammad Moazzam Aziz, "Colour Stereo Matching with Automated Camera Gain Adjustment in Different Lighting Conditions," A Thesis Submitted for the Degree of Erasmus Mundus MSc in Vision and Robotics(VIBOT), LITIS Lab, ISNA de Rouen, France, 2009.
김정엽, 김상현, 소길자, "색온도 변환을 이용한 3D 입체영상의 보정,"pp.664-667, 제34회 한국정보처리학회 추계학술대회 논문집, 서울, 2010.
http://vision.middlebury.edu/stereo/data/scenes2006.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

3D 입체영상을 위한 색온도와 색 일치 보정
A Correction of Color Temperature and Consistency for 3D Stereoscopic Images 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

3D 입체영상을 위한 색온도와 색 일치 보정 A Correction of Color Temperature and Consistency for 3D Stereoscopic Images 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

김정엽 (11)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

3D 입체영상을 위한 색온도와 색 일치 보정
A Correction of Color Temperature and Consistency for 3D Stereoscopic Images 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper