[논문]다시점 영상 색상 보정을 위한 개선된 다항식 모델

정재일; 호요성

doi:10.7840/kics.2013.38c.10.881

다시점 영상 색상 보정을 위한 개선된 다항식 모델
Improved Polynomial Model for Multi-View Image Color Correction 원문보기

한국통신학회논문지. The Journal of Korea Information and Communications Society. 통신이론 및 시스템, v.38C no.10, 2013년, pp.881 - 886

정재일 (광주과학기술원 정보통신공학부, 영상통신연구실) , 호요성 (광주과학기술원 정보통신공학부, 영상통신연구실)

초록
AI-Helper

여러 대의 카메라를 이용하여 영상을 획득하는 다시점 카메라 시스템에서 각 시점의 색상이 서로 다르게 촬영되는 문제가 발생한다. 본 논문에서는 이런 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안한다. 특징점 기반 대응점 추출 알고리즘을 이용하여 기준 시점과 다른 시점 간의 색상 대응 관계를 획득하고, 이를 이용하여 상대적인 매핑 곡선을 계산한다. 이때 비선형적인 관계를 반영하기 위해서 5차 다항 모델을 이용한다. 추출된 대응점의 동적 영역이 좁을 경우에 매핑 곡선의 정확도가 떨어지게 되는데, 이를 보완하기 위해서 매핑 곡선의 양 끝 부분을 1차 다항 모델을 이용하여 다시 추정한다. 이렇게 유추된 모델을 이용하여 색상을 보정하면, 추출된 대응점의 동적 영역에 강인하게 색상 불일치 문제를 해결할 수 있다. 제안한 방법은 색상 차트 촬영과 같은 전처리 과정이 필요하지 않기 때문에, 기존에 촬영된 다시점 영상에도 적용할 수 있다는 장점을 갖는다. 다양한 실험을 통해 제안한 알고리즘이 다른 최신의 알고리즘보다 보정 효과가 우수함을 확인했고, 객관적 평가에서도 우수한 성능을 보였다.

Abstract ▼ AI-Helper

Even though a multi-view camera system is able to capture multiple images at different viewpoints, the color distributions of captured multi-view images can be inconsistent. This problem decreases the quality of multi-view images and the performance of post-image processes. In this paper, we propose an improved polynomial model for effectively correcting the color inconsistency problem. This algorithm is fully automatic without any pre-process and considers occlusion regions of the multi-view image. We use the 5th order polynomial model to define a relative mapping curve between reference and source views. Sometimes the estimated curve is seriously distorted if the dynamic range of extracted correspondences is quite low. Therefore we additionally estimate the first order polynomial model for the bottom and top regions of the dynamic range. Afterwards, colors of the source view are modified via these models. The proposed algorithm shows the good subjective results and has better objective quality than the conventional color correction algorithms.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

3차원 영상에 대한 관심이 증가하면서 3차원 장면을 촬영하기 위해 다시점 카메라 시스템이 제안되어 널리 연구되고 있다. 본 논문에서는 다시점 카메라에서 발생하는 시점 간 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안하였다. 기준 시점과 다른 시점 간의 색상 대응 관계를 특징점 기반 대응점 추출 알고리즘을 통해 추출하고, 얻어진 색상 샘플들을 기반으로 하여 1차와 5차 다항식 모델을 유추한다.
본 논문에서는 대응점 기반의 색상 보정 알고리즘의 문제점을 보완하고, 추출된 대응점의 동적 영역에 강인한 개선된 다항식 모델 기반의 알고리즘을 제안한다. 제안하는 기술은 하나의 참조 시점 영상을 기준으로 다수의 보정시점 영상의 색상을 보정한다.

제안 방법

일반적으로 조명의 영향을 최소화하고 추출되는 대응점의 수를 충분히 확보하기 위해서 여러 참조 시점 영상 중에 가운데 위치하는 영상을 선택한다. 그 뒤, 특징점 기반의 대응점 추출 알고리즘을 사용하여 참조 시점 영상과 각 보정 시점 영상 사이의 색상 대응 관계를 확인한다. 본 논문에서는 Scale-invariant feature transform (SIFT) 알고리즘을 이용하여 대응점을 추출하였다^[9].
기존 색상 보정 알고리즘과 성능을 비교하기 위해서 히스토그램 매칭 (HM)[6], 전역 색상 이동(GCT)[11], 카메라 특성 곡선 (CC)[8]와 제안한 다항식 모델 (PN)을 함께 비교하였다. 그 결과를 표1에 나타냈다.
본 논문에서는 다시점 카메라에서 발생하는 시점 간 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안하였다. 기준 시점과 다른 시점 간의 색상 대응 관계를 특징점 기반 대응점 추출 알고리즘을 통해 추출하고, 얻어진 색상 샘플들을 기반으로 하여 1차와 5차 다항식 모델을 유추한다. 이렇게 유추된 모델들을 자연스럽게 결합하기 위해서 과도 영역을 설정하고 가중합을 통해 결과값을 도출한다.
먼저, 수학적 모델을 사용하는 Jung의 방법과 비교하여 매핑 곡선이 추출된 대응점의 특성을 얼마나 잘 반영하는지를 살펴보았다. 그림 6은 추출된 대응점과 각 방법으로 추출된 매핑 곡선을 보여준다.
각 구간의 범위는 실험을 통해 정의하였다. 상, 하위 10% 영역은 샘플 수가 적기 때문에 고차원의 다항식 모델 대신 (4)와 같이 1차원의 선형 모델을 이용하여 모델링한다. 1차원 모델은 샘플의 세세한 특성을 반영하지는 못하지만 샘플이 없는 영역에서 상대적으로 왜곡을 줄일 수 있다는 장점을 갖는다.
먼저 기준이 되는 하나의 참조 시점 선택하고, 다른 보정 시점 영상과의 대응점을 추출한다. 색상 대응관계를 분석하여 5차 다항식 모델을 유추하고, 높고 낮은 동적 영역의 정확도를 높이기 위해서 1차 다항식 모델을 추가로 유추한다. 이렇게 유추된 모델을 통해 보정 시점 영상의 색상을 교정한다.
색상 보정 결과를 정량적으로 분석하기 위해서, 테스트 영상의 색상 차트의 값을 읽고, (6)을 통해 참조 시점 영상의 차트 값과 유클리디안 거리를 계산하였다. 사람의 시각적 특성을 반영하기 위해서 CIELab 색공간을 이용했다.
이런 문제를 해결하기 위해서, 얻어진 샘플을 세 구간으로 나누고 각 구간에 서로 다른 모델을 정의한다.
기준 시점과 다른 시점 간의 색상 대응 관계를 특징점 기반 대응점 추출 알고리즘을 통해 추출하고, 얻어진 색상 샘플들을 기반으로 하여 1차와 5차 다항식 모델을 유추한다. 이렇게 유추된 모델들을 자연스럽게 결합하기 위해서 과도 영역을 설정하고 가중합을 통해 결과값을 도출한다. 본 알고리즘은 사용자의 개입없이 영상 간의 색상 불일치 문제를 해결할 수 있다.
본 논문에서는 대응점 기반의 색상 보정 알고리즘의 문제점을 보완하고, 추출된 대응점의 동적 영역에 강인한 개선된 다항식 모델 기반의 알고리즘을 제안한다. 제안하는 기술은 하나의 참조 시점 영상을 기준으로 다수의 보정시점 영상의 색상을 보정한다. 일반적으로 조명의 영향을 최소화하고 추출되는 대응점의 수를 충분히 확보하기 위해서 여러 참조 시점 영상 중에 가운데 위치하는 영상을 선택한다.
제안한 알고리즘의 성능을 테스트하기 위해서 그림 5와 같이 색온도와 노출을 변화시켜 가며 테스트 영상을 촬영했다. 특히, 알고리즘의 보정 결과를 정량적으로 평가하기 위해서 색상 차트(GretagMacbeth [11] ColorCheckerTM)를 함께 촬영하였다.
제안한 알고리즘의 성능을 테스트하기 위해서 그림 5와 같이 색온도와 노출을 변화시켜 가며 테스트 영상을 촬영했다. 특히, 알고리즘의 보정 결과를 정량적으로 평가하기 위해서 색상 차트(GretagMacbeth [11] ColorCheckerTM)를 함께 촬영하였다.

이론/모형

그 뒤, 특징점 기반의 대응점 추출 알고리즘을 사용하여 참조 시점 영상과 각 보정 시점 영상 사이의 색상 대응 관계를 확인한다. 본 논문에서는 Scale-invariant feature transform (SIFT) 알고리즘을 이용하여 대응점을 추출하였다^[9].
본 논문에서는 다시점 영상의 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 이용한다. 먼저 기준이 되는 하나의 참조 시점 선택하고, 다른 보정 시점 영상과의 대응점을 추출한다.
색상 보정 결과를 정량적으로 분석하기 위해서, 테스트 영상의 색상 차트의 값을 읽고, (6)을 통해 참조 시점 영상의 차트 값과 유클리디안 거리를 계산하였다. 사람의 시각적 특성을 반영하기 위해서 CIELab 색공간을 이용했다. 참조 시점과의 유클리디안 거리는 실제 두 영상의 색상 분포가 얼마나 유사한지를 보여주는 객관적인 척도가 된다.
정제된 대응점을 이용해서 카메라 간의 매핑 곡선을 유추한다. 카메라는 다양한 특징에 따라서 출력 화소의 밝기가 정해지기 때문에 본 연구에서는 다양한 형태의 매핑 곡선을 다루기 위해서 (1)과 같은 5차원의 다항식 모델을 이용한다. 보다 낮은 차수를 이용하게 되면 복잡한 대응 특성을 반영할 수 없고, 차수가 너무 높을 경우 이상치에 민감하게 반응한다는 문제점을 갖는다.

성능/효과

대응점을 기반으로 하는 카메라 특성 곡선 알고리즘과 제안한 기술은 상기한 문제없이 색상을 보정할 수 있었지만, 제안한 다항식 모델이 추출된 대응점의 특성을 보다 잘 반영하여 카메라 특성 곡선 모델보다 유클리디안 거리를 줄일 수 있음을 확인할 수 있다.
본 알고리즘은 사용자의 개입없이 영상 간의 색상 불일치 문제를 해결할 수 있다. 심하게 색상이 왜곡된 영상을 이용하여 알고리즘의 성능을 테스트해본 결과, 제안한 개선된 다항식 모델이 기존의 다른 알고리즘 보다 색상 오차 특성을 잘 반영함을 물론 왜곡이 심한 영상에서도 안정적으로 색상을 보정하는 것을 확인할 수 있었다. 제안된 기술은 다시점 영상을 촬영하거나 재생하는 분야에서 널리 사용될 수 있을 것으로 기대된다.

후속연구

심하게 색상이 왜곡된 영상을 이용하여 알고리즘의 성능을 테스트해본 결과, 제안한 개선된 다항식 모델이 기존의 다른 알고리즘 보다 색상 오차 특성을 잘 반영함을 물론 왜곡이 심한 영상에서도 안정적으로 색상을 보정하는 것을 확인할 수 있었다. 제안된 기술은 다시점 영상을 촬영하거나 재생하는 분야에서 널리 사용될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	광전 특성 차이가 발생하는 원인은 무엇인가?	이는 각 카메라가 서로 다른 광전 (photo-electric) 특성을 갖기 때문이며, 이런 특성 차이가 그림 1에서와 같이 시점 별 색상 차이로 나타나게 된다. 이런 광전 특성 차이는 디지털 카메라의 전하 결합 소자(CCD)나 상보성 금속 산화막반도체(CMOS)의 차이에서 기인하는 것일 수도 있고, 카메라의 셔터 속도나 조리개 등의 미세한 차이에 의해 발생할 수도 있다.
	다시점 카메라 시스템이 가진 문제는 무엇인가?	이를 해결하기 위해서, 여러 대의 카메라를 이용하여 한 장면은 동시에 촬영하는 다시점 카메라 시스템이 제안되었다[2]. 하지만, 카메라의 수가 증가함에 따라서 단일 카메라에서는 문제가 되지 않았던 카메라 특성 차이로 인한 색상 오차나 기하학 오차 문제 등이 발생하였다.
	다시점 영상은 무엇으로 구성되는가?	다시점 영상은 자유롭게 시점을 변경하며 영상을 시청할 수 있는 자유 시점 텔레비전(free viewpoint television)이나 게임, 시뮬레이션 등 다양한 분야에 적용될 수 있어 활용도가 무한하다고 할 수 있다. 이런 다시점 영상은 한 장면에 대해 서로 다른 위치에서 촬영된 여러 장의 영상으로 구성된다. 연구 초기에는 한 대의 카메라를 이용하여 한 장면을 여러 번 촬영하는 시스템이 사용되었다[1].

참고문헌 (11)

M. Levoy and P. Hanrahan, "Light field rendering," in Proc. ACM SIGGRAPH, pp. 33-42, New Orleans, U.S.A., Aug. 1996.
A. Smolic, K. Mueller, P. Merkle, C. Fehn, P. Kauff, P. Eisert, and T. Wiegand, "3D video and free viewpoint video - technologies, applications and MPEG standards," in Proc. IEEE Int. Conf. Multimedia Expo, pp. 2161-2164, Toronto, Canada, July 2006.
A. Smolic and D. McCutchen, "3DAV exploration of video-based rendering technology in MPEG," IEEE Trans. Circuits Syst. Video Technol., vol. 14, no. 3, pp. 348-356, Mar. 2004.

상세보기
A. Ilie and G. Welch, "Ensuring color consistency across multiple cameras," in Proc. IEEE Int. Conf. Computer Vision (ICCV 2005), vol. 2, pp. 1268-1275, Beijing, China, Oct. 2005.
N. Joshi, B. Wilburn, V. Vaish, M. Levoy, and M. Horowitz, Automatic color calibration for large camera arrays, UCSD CSE TR CS2005-0821, May 2005.
U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-based prefiltering for luminance and chrominance compensation of multiview video," IEEE Trans. Circuits Syst. Video Technol., vol. 18, no. 9, pp. 1258-1267, Sep. 2008.

상세보기
K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview video coding using view interpolation and color correction," IEEE Trans. Circuits Syst. Video Technol., vol. 17, no. 11, pp. 1436-1449, Nov. 2007.

상세보기
J. Jung and Y. Ho, "Color correction algorithm based on camera characteristics for multi- view video coding," Signal, Image, Video Process., DOI:10.1007/s11760-012-0341-1, pp. 1-12, May 2012.

상세보기
D. Lowe, "Distinctive image features from scale-invariant keypoints," Int. J. Comput. Vision, vol. 60, no. 2, pp. 91-110, Jan. 2004.

상세보기
J. Wolberg, Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments, Springer, 2005.
E. Reinhard, M. Adhikhmin, B. Gooch, and P. Shirley, "Color transfer between images," IEEE Comput. Graph. Appl, vol. 25, no. 5, pp. 34-41, Sep./Oct. 2001.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증