[논문]디스플레이 상관 색온도에 따른 색 보정 매트릭스를 이용한 3D 영상 재생

송인호; 권혁주; 김태규; 이성학

doi:10.9717/kmms.2019.22.1.055

Abstract ▼ AI-Helper

Almost all 3D displays have a brightness reduction in the 3D mode comparing to the 2D mode. When the brightness is reduced, one of the color attributes, the colorfulness, is decreased. In this case, the viewer feels that the image quality is deteriorated. In this paper, we proposed a method to compe...

Almost all 3D displays have a brightness reduction in the 3D mode comparing to the 2D mode. When the brightness is reduced, one of the color attributes, the colorfulness, is decreased. In this case, the viewer feels that the image quality is deteriorated. In this paper, we proposed a method to compensate for the degradation of colorfulness due to brightness reduction in 3D mode for high quality 3D image viewing using the CIECAM02 model and the color correction matrix. As a result of applying the proposed method, we can confirm that the colorfulness is improved in 3D mode.

주제어

표/그림 (7)

그림 Fig. 1. The structure diagram of color appearance model.
그림 Fig. 2. Block diagram of the proposed color adjustment method.
그림 Fig. 3. Element functions of the proposed correction matrix: (a) M₁₁, M₂₂, and M₃₃, (b) M₂₁, M₂₂, and M₂₃, and (c) M₃₁, M₃₂, and M₃₃.
표 Table 1. Element functions’ coefficients of the proposed color correction matrix M_CC
그림 Fig. 4. Measured values and predicted values in chro-maticity coordinates.
그림 Fig. 5. Pictures of ColorChecker: (a) 2D mode, (b) 3D mode before compensation, (c) 3D mode after compensation, and (d) the top is 2D mode, the middle is 3D mode before compensation, and the bottom is 3D mode after compensation.
표 Table 2. Color differences of ColorChecker 24 samples between the measured values before and after applying the proposed method and predicted values

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

디스플레이의 상관 색온도를 바꾸게 될 경우에는 위에서 설명한 전 과정을 다시 수행해서 각 상관 색온도에 대응하는 색 보정 매트릭스를 다시 계산하여야 한다. 따라서 본 논문에서는 추가적으로 디스플레이의 상관 색온도 변경에 대응하여 색 보정 매트릭스의 원소를 예측할 수 있는 색보정 매트릭스 원소 함수도 모델링하였고 다음과 같다.
본 논문에서는 3D 디스플레이의 3D 모드에서의 순응 밝기 및 디스플레이 밝기 감소로 인한 colorfulness 저하를 CIECAM02 모델과 색 보정 매트릭스를 통해서 영상을 보상 재생하는 방법을 제안하였다. 제안한 방법을 적용한 결과 3D 모드에서의 colorfulness의 효과적 향상을 시각적으로도 확인할 수 있었고, 정량적인 색차의 계산을 통해 개선도를 확인할 수 있었다.
이러한 colorfulness의 저하는 현색 모델(color appearance model)을 이용하여 예측가능 하다. 본 논문에서는 현색 모델 중 CIECAM02 모델 [13]을 이용하여, 변화된 시 환경에 대한 colorfulness 저하를 계산하고, 이를 색 보정 매트릭스를 통하여 보다 간단하게 보정하는 방법을 제안하고자 한다. 또한 디스플레이의 상관 색온도(CCT)에 따른 색 보정 매트릭스(M_cc)의 원소의 변화를 모델링하였다.
현재까지의 3D 디스플레이는 많은 연구에도 불구하고 밝기 저하, 크로스토크(cross-talk), 해상도 저하, 눈의 피로, 및 관찰자 위치 자유도의 제한 등의 문제들이 존재한다[1-9]. 이 문제들 중에서, 본 논문에서는 3D 모드에서의 밝기 저하와 이에 따른 색 왜곡에 주목하였다. 입체 영상 디스플레이의 밝기 저하는 측정에 따르면, 안경방식의 디스플레이, 즉 셔터 안경 방식 및 FPR(film patterned retarder) 안경 방식의 디스플레이 고유의 휘도대비는 각각 약 20% 및 40%로 휘도가 저하되었다.
현재의 디스플레이에서 이 방법을 적용하기 위해 서는 계산을 위한 새로운 하드웨어 설계가 필요하기 때문에, 본 논문에서는 하드웨어적인 변경 없이 적용이 가능한 방법을 제안한다. 그 방법은 입력 영상 값에 대한 출력 삼자극치가 계산된 목표 삼자극치가 되도록 색 보정 매트릭스를 통해서 구현하는 방법이다.

제안 방법

1. 컬러체커 샘플 영상 값(RGB)을 디스플레이에 출력한 후, 2D 모드와 3D 모드에서 측색계(CS-1000, minolta)를 이용하여, 컬러체커의 패치별 삼자극치 (XYZ2D, XYZ3D ), 백색의 삼자극치(#) 3원색의 삼자극치, 및 디스플레이의 최대휘도(LMAX2D, LMAX3D)를 측정하고, 디스플레이 특성 매트릭스 (M2D , M3D)를 구한다.
2. CIECAM02 모델에 패치별 삼자극치, 백색의 삼자극치 및 순응휘도(#)를 입력하여 colorfulness, lightness, chroma, 및 hue를 계산한다. 이때, 순응휘도는 CIECAM02의 정의에 따라
과 같이 구한다. 구해진 RGB 자극치는 디스플레이 백색에 대한 응답치 R_WG_WB_W와 순응 정도를 나타내는 순응 휘도 L_A에 대한 변수 D를 이용하여 표준 광원에 순응된 응답치를 다음과 같이 구한다.
다음으로 압축된 순응 삼자극치로 부터 brightness, lightness, chroma, 및 colorfulness에 대한 현색 정량화를 수행한다.
본 논문에서는 현색 모델 중 CIECAM02 모델 [13]을 이용하여, 변화된 시 환경에 대한 colorfulness 저하를 계산하고, 이를 색 보정 매트릭스를 통하여 보다 간단하게 보정하는 방법을 제안하고자 한다. 또한 디스플레이의 상관 색온도(CCT)에 따른 색 보정 매트릭스(M_cc)의 원소의 변화를 모델링하였다. 제안한 방법은 3x3 색 변환 매트릭스 형태로 디스플레이 적용이 용이하며, 이를 적용한 실험 결과에서 3D 모드에서 2D 모드에서의 색상과 colorfulness와 비교하여 최소 오차 수준으로 동일하게 재현되는 것을 확인할 수 있었다.
inverse-CIECAM02 모델을 이용하여, 목표 삼자극치(X'Y'Z')를 계산한다. 이때, 목표 삼자극치는 2D 모드의 colorfulness와 동일한 colorfulness를 갖는 목표 색자극이므로 inverse-CIECAM02 모델을 수정하여 계산한다[16]. 2D 모드와 3D 모드에서의 colorfulness는 CIECAM02 모델의 정의에 따라

이론/모형

3. inverse-CIECAM02 모델을 이용하여, 목표 삼자극치(X'Y'Z')를 계산한다.

성능/효과

4는 상관 색온도 6500K의 디스플레이에서 컬러체커 샘플에 대해, 제안한 방법을 이용하여 예측한 값과 이를 적용하여 측정한 값을 색도도상에서 비교한 것을 보여준다. 3D 모드에서 보정 전의 측정값에 비해 보정 후의 측정값이 3D 모드에서의 예측 값 쪽으로 색도도상에서 거의 옮겨갔음을 확인할 수 있다.
대표적인 현색 모델로서 CIECAM02 모델은 CIE 에서 2002년에 발표한 현색 모델이다. 기존의 다른 모델과 비교하여 색 예측 성능, 계산의 복잡성, 및호환성 등 측면에서 우수한 성능을 보여준다. 특히 선형적인 색 순응 변환, 비선형 응답 압축 함수, 그리고 현색 변환식 등을 포함한다.
일반적으로 인간 시각 체계는 chroma와 brightness를 복합적으로 인지하여 colorfulness로 느끼게 되고, colorfulness 저하에 따라, 영상의 품질 저하를 더 민감하게 인지하게 된다[11-12]. 따라서 2D 모드와 3D 모드 시청 조건 차에서 발생되는 시각적 colorfulness 저감량을 예측하고 최소의 색 오차가 되도록 보상하여 3D 영상 품질을 효과적으로 향상시킬 수 있다. 이러한 colorfulness의 저하는 현색 모델(color appearance model)을 이용하여 예측가능 하다.
4장에서는 제안한 방법을 적용한 영상을 평가하고 객관적 측정치를 비교하였다. 마지막으로 5장 결론부에서 제안한 방법이 기존 방법과 대비되는 특징을 나타내었다.
또한 디스플레이의 상관 색온도(CCT)에 따른 색 보정 매트릭스(M_cc)의 원소의 변화를 모델링하였다. 제안한 방법은 3x3 색 변환 매트릭스 형태로 디스플레이 적용이 용이하며, 이를 적용한 실험 결과에서 3D 모드에서 2D 모드에서의 색상과 colorfulness와 비교하여 최소 오차 수준으로 동일하게 재현되는 것을 확인할 수 있었다. 본 논문의 2장에서는 현색 모델을 설명하였고, 3장에서는 3D 영상 재생을 위한 색 보정 매트릭스 모델에 대해 논하였다.
본 논문에서는 3D 디스플레이의 3D 모드에서의 순응 밝기 및 디스플레이 밝기 감소로 인한 colorfulness 저하를 CIECAM02 모델과 색 보정 매트릭스를 통해서 영상을 보상 재생하는 방법을 제안하였다. 제안한 방법을 적용한 결과 3D 모드에서의 colorfulness의 효과적 향상을 시각적으로도 확인할 수 있었고, 정량적인 색차의 계산을 통해 개선도를 확인할 수 있었다. 제안한 방법은 일반적인 디스플레이에 적용될 경우 계산 시간의 증가가 없고 현색 맵핑 계산을 위한 추가적 하드웨어 자원이 필요치 않다.
5는 2D 모드의 컬러체크 샘플 영상과 제안한 방법을 이용하여, colorfulness 보정을 하기 전 후의 컬러체크 샘플 영상을 자극치 측정과정에서 사진으로 찍은 것으로 비교를 위해 조리개와 노출시간을 고정하여 촬영하였다. 제안한 방법을 적용한 영상이 훨씬 2D 모드와 비슷해 보이는 것을 확인할 수 있다. 쉬운 주관 화질 비교를 위해 Fig.
5(d)에서 각 컬러 샘플에 대해 위에서 아래 방향으로 2D 모드일 때, 보상 전 3D 모드일 때, 그리고 보상 후 3D 모드일때 재현 샘플을 배치하였다. 제안한 보상 방법이 적 용된 색 샘플이 2D 모드일 때 촬영된 컬러에 근접했음을 확인할 수 있다.

후속연구

제안한 방법은 일반적인 디스플레이에 적용될 경우 계산 시간의 증가가 없고 현색 맵핑 계산을 위한 추가적 하드웨어 자원이 필요치 않다. 기존의 영상 후처리 과정에서 색 변환 매트릭스를 추가하는 방식으로 쉽게 구현할 수 있고, 현재의 3D 디스플레이에도 바로 적용할 수가 있을 것이다. 향후 연구 과제로 어두운 3D 시청환경에 순응적인 국부적인 HDR 톤맵핑 과정을 추가하여 시각적 휘도 표현 개선을 추가한다면, 2D 모드와 거의 유사한 HDR 영상 재현이 3D 모드에서도 가능할 것이다.
제안한 방법을 적용한 결과 3D 모드에서의 colorfulness의 효과적 향상을 시각적으로도 확인할 수 있었고, 정량적인 색차의 계산을 통해 개선도를 확인할 수 있었다. 제안한 방법은 일반적인 디스플레이에 적용될 경우 계산 시간의 증가가 없고 현색 맵핑 계산을 위한 추가적 하드웨어 자원이 필요치 않다. 기존의 영상 후처리 과정에서 색 변환 매트릭스를 추가하는 방식으로 쉽게 구현할 수 있고, 현재의 3D 디스플레이에도 바로 적용할 수가 있을 것이다.
기존의 영상 후처리 과정에서 색 변환 매트릭스를 추가하는 방식으로 쉽게 구현할 수 있고, 현재의 3D 디스플레이에도 바로 적용할 수가 있을 것이다. 향후 연구 과제로 어두운 3D 시청환경에 순응적인 국부적인 HDR 톤맵핑 과정을 추가하여 시각적 휘도 표현 개선을 추가한다면, 2D 모드와 거의 유사한 HDR 영상 재현이 3D 모드에서도 가능할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3D 영상 품질을 효과적으로 향상시킬 수 있는 방법은?	일반적으로 인간 시각 체계는 chroma와 brightness를 복합적으로 인지하여 colorfulness로 느끼게 되고, colorfulness 저하에 따라, 영상의 품질 저하를 더 민감하게 인지하게 된다[11-12]. 따라서 2D 모드와 3D 모드 시청 조건 차에서 발생되는 시각적 colorfulness 저감량을 예측하고 최소의 색 오차가 되도록 보상하여 3D 영상 품질을 효과적으로 향상시킬 수 있다. 이러한 colorfulness의 저하는 현색 모델(color appearance model)을 이용하여 예측가능 하다.
	현색 모델의 구성 요소는?	현색 모델 은 일반적으로 Fig. 1에서와 같이 색 순응 변환 (chromatic adaptation transform), 다이나믹 응답 함수(dynamic response function), 그리고 현색 성분을 나타내기 위한 색 공간(color space)의 세 부분으로 이루어져 있다. 색 순응 변환은 광원의 색도나 휘도 변화를 고려하기 위한 과정으로 다른 광원에 대해 역변환 과정을 거치면 대응색을 예측하기 위한 색 순응 모델로 활용될 수 있다.
	CIECAM02 모델과 색 보정 매트릭스를 적용한 결과 3D 모드에서 얻을 수 있는 효과는?	본 논문에서는 3D 디스플레이의 3D 모드에서의 순응 밝기 및 디스플레이 밝기 감소로 인한 colorfulness 저하를 CIECAM02 모델과 색 보정 매트릭스를 통해서 영상을 보상 재생하는 방법을 제안하였다. 제안한 방법을 적용한 결과 3D 모드에서의 colorfulness의 효과적 향상을 시각적으로도 확인할 수 있었 고, 정량적인 색차의 계산을 통해 개선도를 확인할 수 있었다. 제안한 방법은 일반적인 디스플레이에 적용될 경우 계산 시간의 증가가 없고 현색 맵핑 계산 을 위한 추가적 하드웨어 자원이 필요치 않다.

참고문헌 (16)

H.C. Yu, X.H. Tsai, A.C. Luo, M. Wu, and S.W. Chen, “Study of Three-dimensional Image Brightness Loss in Stereoscopy,” Applied Science, Vol. 5, No. 4, pp. 926-941, 2015.

상세보기
A. Woods, "Understanding Crosstalk in Stereoscopic Displays," Proceeding of Keynote Presentation at the Three-dimensional Systems and Applications Conference, pp. 19-21, 2010.
A.J. Woods, "Crosstalk in Stereoscopic Displays: A Review," Journal of Electronic Imaging, Vol. 21, 040902, pp. 1-21, 2012.

상세보기
J.Y. Son, B.R. Lee, M.C. Park, and T. Leportier, "Crosstalk in Multiview 3D Images," Proceeding of SPIE 9495, Three-dimensional Imaging, Visualization, and Display, 94950P, pp. 1-10, 2015.
A. Yuuki, S. Uehara, K. Taira, G. Hamagishi, K. Izumi, T. Nomura, et al., "Influence of 3-D cross-talk on Qualified Viewing Spaces in Two- and Multi-view Autostereoscopic Displays," Journal of the Society for Information Display, Vol. 18, pp. 483-493, 2010.

상세보기
M.S. Banks, D.M. Hoffman, J.H. Kim, and G. Wetzstein, "3D displays," Annual Review of Vision Science, Vol. 2, pp. 397-435, 2016.

상세보기
J. Geng, “Three-dimensional Display Technologies,” Advances in Optics and Photonics, Vol. 5, No. 4, pp. 456-535, 2013.

상세보기
M. Lambooij and W. IJsselsteijn, "Visual Discomfort and Visual Fatigue of Stereoscopic," Journal of Imaging Science and Technology, Vol. 53, No. 3, 030201, pp. 1-14, 2009.
H.S. Hwang, H.S. Chang, D.K. Nam, and I.S. Kwon, “3D Display Calibration by Visual Pattern Analysis,” IEEE Transactions on Image Processing, Vol. 26, No. 5, pp. 2090-2102, 2017.

상세보기
C.Y. Chen, M.C. Chang, M.D. Ke, C.C. Lin, and Y.M. Chen, “A Novel High Brightness Parallax Barrier Stereoscopy Technology Using a Reflective Crown Grating,” Microwave and Optical Technology Letters, Vol. 50, No. 6, pp. 1610-1616, 2008.

상세보기
M.D. Fairchild, Color Appearance Models, John Wiley and Sons Ltd., Chichester, England, 2005.
D. Hasler and S. Susstrunk, "Measuring Colourfulness in Natural Images," Proceedings of IS&T/SPIE Electronic Imaging 2003: Human Vision and Electronic Imaging VIII, pp. 87-95, 2003.
N. Moroney, M. Fairchild, R. Hunt, C. LI, M. R. Luo, and T. Newman, "The CIECAM02 Color Appearance Model", Proceedings of Color Imaging Conference, IS and T, pp. 23-27, 2002.
S.M. Chae, S.H. Lee, and K.I. Sohng, “Color Correction of the Color Difference in the PT Space for HDR Image Tone Compression Using iCAM06,” Journal of Korea Multimedia Society, Vol. 16, No. 3, pp. 281-289, 2013.

원문보기 상세보기
J.H. Jang, S.H. Lee, and K.I. Sohng, “Performance Improvement of Tone Compression of HDR Images and Qualitative Evaluations Using a Modified iCAM06 Technique,” Journal of Korea Multimedia Society, Vol. 12, No. 8, pp. 1055-1065, 2009.
S.M. Chae, H.J. Kwon, K.I. Sohng, and D.K. Choi, “Colorfulness Adjustment Method for the Image Quality Enhancement in 3D TV,” The Journal of Korean Institute of Information Technology, Vol. 10, No. 12, pp. 187-195, 2012.

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

디스플레이 상관 색온도에 따른 색 보정 매트릭스를 이용한 3D 영상 재생
3D Image Representation Using Color Correction Matrix According to the CCT of a Display 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (7)

표/그림 (7)

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

디스플레이 상관 색온도에 따른 색 보정 매트릭스를 이용한 3D 영상 재생 3D Image Representation Using Color Correction Matrix According to the CCT of a Display 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (7) 모든 표/그림 보기

표/그림 (7) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

송인호 (1) 김태규 (3) 이성학 (20)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

디스플레이 상관 색온도에 따른 색 보정 매트릭스를 이용한 3D 영상 재생
3D Image Representation Using Color Correction Matrix According to the CCT of a Display 원문보기

표/그림 (7)

표/그림 (7)

AI 본문요약
AI-Helper