지각 양자기 광전 변환 함수의 생략 Taylor 급수를 이용한 선형 근사는 휘도 조절 기법의 하드웨어 구현에 적합한 폐쇄형 솔루션을 제공할 수 있지만, 600~3,900 cd/m2 구간의 선형 영역 광 신호에 대해 상대적으로 큰 근사 오차를 유발한다. 이러한 비-선형 광전 변환 함수의 근사 오차 개선을 위해, 본 논문에서는 새로운 선형 모델을 제안한다. 제안된 선형 근사 모델은 그 근사 범위를 고려한 직선의 위치 교정 및 기울기 산출을 수행한다. 제안 모델의 성능 검증을 위해, 다양한 고-휘도 실험 시퀀스를 대상으로 모의실험을 수행하였고, 이를 통해 채도가 높은 색상을 포함하는 시퀀스에 대해서는, Taylor 급수를 기반으로 한 기존의 선형 모델에 비해, 휘도 신호의 t-PSNR을 4.65dB 만큼 개선할 수 있는 높은 성능 향상을 확인하였다.
지각 양자기 광전 변환 함수의 생략 Taylor 급수를 이용한 선형 근사는 휘도 조절 기법의 하드웨어 구현에 적합한 폐쇄형 솔루션을 제공할 수 있지만, 600~3,900 cd/m2 구간의 선형 영역 광 신호에 대해 상대적으로 큰 근사 오차를 유발한다. 이러한 비-선형 광전 변환 함수의 근사 오차 개선을 위해, 본 논문에서는 새로운 선형 모델을 제안한다. 제안된 선형 근사 모델은 그 근사 범위를 고려한 직선의 위치 교정 및 기울기 산출을 수행한다. 제안 모델의 성능 검증을 위해, 다양한 고-휘도 실험 시퀀스를 대상으로 모의실험을 수행하였고, 이를 통해 채도가 높은 색상을 포함하는 시퀀스에 대해서는, Taylor 급수를 기반으로 한 기존의 선형 모델에 비해, 휘도 신호의 t-PSNR을 4.65dB 만큼 개선할 수 있는 높은 성능 향상을 확인하였다.
Highly non-linear electro-optical transfer function of the Perceptual Quantizer was approximated by a truncated Taylor series, resulting in a closed form solution for luma adjustment. This previous solution is fast and quite suitable for the hardware implementation of luma adjustment, but the approx...
Highly non-linear electro-optical transfer function of the Perceptual Quantizer was approximated by a truncated Taylor series, resulting in a closed form solution for luma adjustment. This previous solution is fast and quite suitable for the hardware implementation of luma adjustment, but the approximation error becomes relatively large in the range of 600~3,900 cd/m2 linear light. In order to reduce such approximation error, we propose a new linear model, for which a correction is performed on the position and the slope of line based on the scope of approximation. In order to verify the approximation capability of the proposed linear model, a comparative study on the luma adjustment schemes was conducted using various high dynamic range test video sequences. Via the comparative study, we identified a significant performance enhancement over the previous fast luma adjustment scheme, where a 4.65dB of adjusted luma t-PSNR gain was obtained for a test sequence having a large portion of saturated color pixels.
Highly non-linear electro-optical transfer function of the Perceptual Quantizer was approximated by a truncated Taylor series, resulting in a closed form solution for luma adjustment. This previous solution is fast and quite suitable for the hardware implementation of luma adjustment, but the approximation error becomes relatively large in the range of 600~3,900 cd/m2 linear light. In order to reduce such approximation error, we propose a new linear model, for which a correction is performed on the position and the slope of line based on the scope of approximation. In order to verify the approximation capability of the proposed linear model, a comparative study on the luma adjustment schemes was conducted using various high dynamic range test video sequences. Via the comparative study, we identified a significant performance enhancement over the previous fast luma adjustment scheme, where a 4.65dB of adjusted luma t-PSNR gain was obtained for a test sequence having a large portion of saturated color pixels.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존의 빠른 휘도 조절 방식에서 사용했던 생략 Taylor 급수를 이용한 지각 양자기 EOTF의 선형 근사 한계를 주목하고, 이를 개선할 수 있는 새로운 선형 근사 모델을 제안하였다. 제안 모델은 EOTF 함수의 볼록 면 특징을 고려하여 근사 직선이 접선보다 위쪽에 위치할 수 있도록 하였고, 근사를 수행하는 범위를 고려하여 그 위치를 결정하였다.
본 논문에서는 생략 Taylor 급수를 통한 1차식 근사가 함수의 곡률이 높은 영역에서 성능이 떨어지는 문제를 보완한 개선된 빠른 휘도 수정 기법을 제안한다. 제안 기법은 기존의 빠른 휘도 수정 기법이 가진 낮은 연산 복잡도 및 하드웨어 구현 적합성을 가지면서, 반복적 휘도 수정 기법의 성능에 더욱 근접한 성능을 보장할 수 있는 장점을 가진다.
본 장에서는 [13]에 소개된 HDR 방송을 위한 일반적인 신호 변환 과정 및 그 안에서 발생하는 고-휘도 영상의 주관적 화질 열화 현상에 대해 알아보고, 이러한 열화를 줄이기 위한 기존의 휘도 조절 기법에 대해 설명한다.
본 장에서는, 식 (12)의 생략 Taylor 급수가 가진 ST 2084 EOTF 함수에 대한 근사 성능 한계 살펴보고, 이 한계를 극복할 수 있는 개선된 선형 근사 함수를 제안한다.
앞 절에서 지적한 선형 근사 오차의 문제를 해결하기 위해, 본 논문에서는 ST 2084 EOTF가 가진 볼록면(Convexity) 특성을 이용한 선형 근사 수정 모델을 제안한다. 볼록 면 특성은 곡선 위 두 점을 지나는 직선이 (그 두 점 사이에서) 언제나 해당 곡선보다 위쪽에 위치한다는 사실을 말하며, 따라서 이는 Taylor 선형 근사 값이 언제나 곡선의 값보다 작다는 것을 의미한다.
신호 생성 과정이다. 이러한 색차 신호의 처리 과정은 HVS의 낮은 색차민감도를 이용한 신호 압축을 목적으로 하고, 저-대역 통과 필터의 적용 및 부-표본(subsample) 생성의 단계를 거친다. [13]의 저-대역 통과 필터는 식 (4)와 같은 유한 임펄스 응답 필터를 사용하도록 하였고, 권고 [2]와 [5]에 따라 Y’ 샘플과 동일 위치에서(co-sited) 색차 신호 부-표본을 생성하도록 하였다.
제안 방법
이 표준에서는 지각 양자기(PQ – Perceptual Quantizer) 전광 변환[3]의 역변환을 사용하는 4:2:0 형식 변항적(Non-Constant) YCbCr BT. 2020 색 공간[5]의 10-bit 신호를 기반으로 미디어 포맷을 규정하였다. 이는 기존 BT.
개선된 제안 휘도 조절 기법의 성능을 검증하기 위해, 기존 방식(반복적 휘도 수정 기법 [9], 빠른 휘도 수정 기법[10]]에 대한 제안 기법의 성능 비교를 수행 하였다. 비교를 위한 모의실험에서는, 최근 MPEG에서 사용했던 고-휘도/광-색역 비디오 부호화 실험의 테스트 시퀀스 중, BT.
고-휘도 비디오의 휘도 신호 왜곡 현상과 휘도 조절 기법을 알아보기 위해, 그림 1의 후-처리 과정(그림의 아래 부분 블록도 참조)을 자세히 살펴보자. 우선 전-처리 과정과 부/복호화 과정을 통해 주어진 10 bit 4:2:0 형식의 # 신호가 업-샘플링 되어 4:4:4 형식의 # 신호로 변환된다.
Taylor 급수를 이용한 선형 근사는, 일반적으로, 근사 대상 함수(곡선)의 곡률이 높은 부분에서, 그리고 근사 범위가 클수록 그 성능이 떨어진다. 본 논문의 관심 대상인, ST2084 EOTF에 대한 이러한 선형 근사의 성능 한계를 살펴보기 위해, 그림 4에 비선형 광선 기준의 3개 영역(0.1~0.3, 0.7~0.9, 그리고 0.95~1.0)에 대한 식 (12)의 선형 근사를 예시하였다. 그림에 보이는 바와 같이, 0.
Norkin은 [10]에서 이러한 반복적 휘도 수정 기법을 근사하여 하드웨어 구현에 매우 적합한 형태의 빠른 휘도 수정 기법을 제안하였다. 제안 기법은 생략 Taylor 급수를 이용하여 비-선형 지각 양자기 전광 변환을 1차식으로 근사함으로써 화소 당 일정 양의 연산을 통해 수정된 휘도 값을 계산하도록 하였고, 이를 통해 반복적 휘도 수정 기법에 비해 매우 낮은 연산 복잡도에서 매우 유사한 휘도 수정 성능을 제공하는 것으로 알려져 있다. [9]와 [10]의 휘도 수정 기법은 HDR10 기반 신호의 H.
본 논문에서는 기존의 빠른 휘도 조절 방식에서 사용했던 생략 Taylor 급수를 이용한 지각 양자기 EOTF의 선형 근사 한계를 주목하고, 이를 개선할 수 있는 새로운 선형 근사 모델을 제안하였다. 제안 모델은 EOTF 함수의 볼록 면 특징을 고려하여 근사 직선이 접선보다 위쪽에 위치할 수 있도록 하였고, 근사를 수행하는 범위를 고려하여 그 위치를 결정하였다. 제안 방식은 기존의 빠른 휘도 조절 기법과 마찬가지로, 화소 당 균일한 계산 양이 요구되는 폐쇄형 솔루션 형식을 가지면서도, 색차 신호의 부-표본화에 따르는 고-휘도 영상의 휘도 오류 개선에 더욱 우수한 성능을 제공할 수 있음이 확인되었다.
대상 데이터
개선된 제안 휘도 조절 기법의 성능을 검증하기 위해, 기존 방식(반복적 휘도 수정 기법 [9], 빠른 휘도 수정 기법[10]]에 대한 제안 기법의 성능 비교를 수행 하였다. 비교를 위한 모의실험에서는, 최근 MPEG에서 사용했던 고-휘도/광-색역 비디오 부호화 실험의 테스트 시퀀스 중, BT.709[6] 색-영역을 컨테이너로 사용했던 시퀀스를 중심으로 그림 6과 같이 구성하였다.
2020 컨테이너 테스트 시퀀스가 적절하지 않을 수 있기 때문이다1). 실험에 사용된 시퀀스는 모두 BT.709 색-영역으로 편집된 BT.709 컨테이너 형식의 선형 광을 최대 4,000cd/m2 범위까지 16-비트 부동 소수점 포맷[15]을 사용하여 OpenEXR 포맷[16]으로 기록한 것이다. 각 시퀀스별 세부 정보를 표 1에 정리했는데, 시퀀스 이름에는 각 테스트 비디오의 해상도와 프레임-율 정보가 추가적으로 들어 있으며, 모의실험에 사용된 프레임 수(범위) 및 각 시퀀스 영상의 요약된 색-범위 특징을 살펴볼 수 있다.
데이터처리
이상에서 설명한 테스트 시퀀스에 대한 각 휘도 조절 기법의 성능을 표 2에 요약하였다. 표에서 각 방식을 비교한 객관적 화질 측도로는 tPSNR(Annex F[14])로 표현한 휘도신호(즉, tPSNR-Y)를 사용하였고, 휘도 조절을 수행하지 않은 신호(No Adj.)에 대한 개선 정도(즉, tPSNR-Y의 차이)를 표시하였다.
성능/효과
그림에서와 같이, 항상 0~1 사이에서 최고 성능을 나타내는 감쇄 요소가 존재하고 최고 성능 지점을 벗어날수록 점차 성능이 낮아지는 것을 (모든 실험 시퀀스에서) 확인할 수 있었다. 또한, 최고 성능을 나타내는 감쇄 요소를 프레임별로 찾아 각 프레임 별 최고 성능을 평균한 결과는 그림7에 보이는 시퀀스 별 감쇄 요소를 이용한 최고 성능과 (소수점 이하 첫째 자리까지) 동일한 결과를 보였는데, 이는 하나의 실험 시퀀스에 속하는 모든 영상이 유사한 색상과 밝기를 가지는 특징 때문이라 생각된다.
본 논문에서는 생략 Taylor 급수를 통한 1차식 근사가 함수의 곡률이 높은 영역에서 성능이 떨어지는 문제를 보완한 개선된 빠른 휘도 수정 기법을 제안한다. 제안 기법은 기존의 빠른 휘도 수정 기법이 가진 낮은 연산 복잡도 및 하드웨어 구현 적합성을 가지면서, 반복적 휘도 수정 기법의 성능에 더욱 근접한 성능을 보장할 수 있는 장점을 가진다.
제안 모델은 EOTF 함수의 볼록 면 특징을 고려하여 근사 직선이 접선보다 위쪽에 위치할 수 있도록 하였고, 근사를 수행하는 범위를 고려하여 그 위치를 결정하였다. 제안 방식은 기존의 빠른 휘도 조절 기법과 마찬가지로, 화소 당 균일한 계산 양이 요구되는 폐쇄형 솔루션 형식을 가지면서도, 색차 신호의 부-표본화에 따르는 고-휘도 영상의 휘도 오류 개선에 더욱 우수한 성능을 제공할 수 있음이 확인되었다. 이러한 제안 방식의 우수성은 고-휘도 방송을 위한 다양한 콘텐츠의 제작 및 송출 장비 하드웨어 구현에 있어 매우 높은 활용도가 예상된다.
표 2에서 볼 수 있는 바와 같이, 제안된 휘도 조절 방식은 기존의 빠른 휘도 조절 방식을 평균 1.78dB 개선하였고, 최적의 방법이라 할 수 있는 반복적 휘도 조절 방법과의 성능 차이를 평균 –1.18dB로 (기존 –2.96 dB) 줄여주었다.
표 2의 실험 결과를 각 실험 시퀀스 별로 살펴보면, 제안기법이 빠른 휘도 조절 기법을 최대 4.65dB(PanoHD 실험시퀀스) 개선하여, 반복적 휘도 조절 기법의 성능에 매우 근접한 결과를 보이고 있음을 알 수 있다. 반면, 표 2의 Ground 실험 시퀀스의 결과를 보면, 각 휘도 조절 기법을 통한 개선도가 매우 낮은 것을 볼 수 있는데, 이는 색차 신호의 전/후처리에 의한 손실이 매우 낮아 개선할 대상 오류가 적기 때문이다.
후속연구
제안 방식은 기존의 빠른 휘도 조절 기법과 마찬가지로, 화소 당 균일한 계산 양이 요구되는 폐쇄형 솔루션 형식을 가지면서도, 색차 신호의 부-표본화에 따르는 고-휘도 영상의 휘도 오류 개선에 더욱 우수한 성능을 제공할 수 있음이 확인되었다. 이러한 제안 방식의 우수성은 고-휘도 방송을 위한 다양한 콘텐츠의 제작 및 송출 장비 하드웨어 구현에 있어 매우 높은 활용도가 예상된다.
9)))을 지나는 직선을 생각해 보면, 근사영역 내에서 전광 변환 곡선 보다 언제나 큰 값을 가진다는 것을 알 수 있다. 이를 기반으로, 제안 된 수정 근사 모델은 앞서 살펴본 두 극단의 근사 직선 중간을 지나도록 설계하였는데, 이러한 설계는 근사 영역 내 데이터의 발생 빈도에 따라 달라지기는 하겠지만 기본적으로 Taylor 급수 기반 선형 근사 모델의 근사 정확도 개선을 기대할 수 있다. 이러한 설계를 조금 더 구체적으로 설명하면, 식 (17)의 파라미터 # 는 비선형 신호 X’에서의 두 근사 직선 높이를 평균하고 여기에 감쇄 요소를 고려하한 것이고, 근사 모델의 기울기는 근사 영역 양 끝 점을 지나는 직선의 기울기를 따르도록 한 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
고-휘도 콘텐츠의 제작 및 방송은 최근 가장 주목 받고있는 방송 기술의 한 영역인 이유는?
고-휘도 콘텐츠의 제작 및 방송은 최근 가장 주목 받고있는 방송 기술의 한 영역이다. 이는 인간 시각 체계의 휘도인지에 대한 해석 연구 발전[1]과, 제작 및 디스플레이의 고-대비 명암 기록 및 표현 기술에 대한 비약적 최근 발전들을 통합적으로 활용함으로써, 이전 비디오 콘텐츠에 비해 상대적으로 매우 높은 수준의 콘텐츠 체감 품질 증대를 제공할 수 있기 때문이다. 고-휘도 콘텐츠의 활용을 위해, ITUR(International Telecommunication Union – Radio communication sector) SG6(Study Group 6)에서는 2016년 7월 HDR(High Dynamic Range) TV 방송 콘텐츠 제작 표준을 제정하였고[2], 이보다 앞서 2014년 SMPTE(Society of Motion Picture & Television Engineers)에서는 제작 단의 편집에 사용되는 기준 모니터에 고-휘도 콘텐츠 재현을 위한 전광 변환을 표준화 하였다[3].
J. Strom 등이 제안한 반복적 휘도 수정 기법의 특징은?
Strom 등은 [9]에서 반복적 휘도 수정 기법을 제안하였다. 이 방법은 변항적 YCbCr 색-공간에서 색차 신호의부-표본화(Sub-sampling)와 업-샘플링을 수행한 후 수정된 휘도(Y) 신호를 반복적으로 탐색하여 4:2:0 형식의 YCbCr신호가 4:4:4 형식의 원본 신호와 가장 유사한 선형 휘도를 가질 수 있도록 한다. 또한, A.
주관적 화질열화의 문제의 특징은?
709[6] 기반의 YCbCr 8-bit 4:2:0 형식을 따르던 다양한 디지털 비디오 소비자 장치들과 유사성을 유지하면서 HDR 콘텐츠의 활성화를 염두에 둔 선택이었지만, PQ의 극단적인 비-선형성과 변항적 YCbCr 색-공간의 사용 및 색차 신호의 서브-샘플링 조합에 따라 주관적 화질 열화의 문제를 유발하였다. 이러한 주관적 화질열화의 문제는 표준화 기구인 MPEG(Moving Picture Experts Group)에서 여러 차례 확인되었는데[7-8], 주로 색-영역 가장자리에 위치한 높은 채도의 색상을 나타내는 화소에서 큰 열화가 발생하는 것으로 알려져 있다.
참고문헌 (16)
Peter G. J. Barten, Contrast sensitivity of the human eye and its effects on image quality, SPIE Press, 1999.
ITU-R, Image parameter vlaues for high dynamic range television for use in production and international programme exchange, Rec. ITU-R BT.2100, 2016.
SMPTE, High dyamic range electro-optical transfer function of mastering reference displays, ST 2084, 2014.
DECE, Common file format & media formats specification, Version 2.1, 2015.
ITU-R, Parameter values for ultra-high definition television systems for production and international programme exchange, Rec. ITU-R BT.2020-2, 2015.
ITU-R, Parameter values for the HDTV standards for production and international programme exchange, Rec. ITU-R BT.709-6, 2015.
J. Stessen, R. Nijland, R. Brondjik, R. Grois, Chromaticity based color signals for wide color gamut and high dynamic range, ISO/IEC doc. m35065, France, 2014.
J. Strom, Investigation of HDR color subsampling, ISO/IEC doc. m35841, Switzerland, 2015.
J. Strom, J. Samuelsson, and K. Dovstam, "Luma adjustment for high dynamic range video," in Proc. of IEEE Data Compression Conf. (DCC), Snowbird, USA, pp.319-328, 2016.
A. Norkin, "Fast algorithm for HDR video pre-processing," in Proc. of IEEE Data Compression Conf. (DCC), Snowbird, USA, pp.486-495, 2016.
ITU-T, Advanced video coding for generic audiovisual services, Rec. ITU-T H.264, 2017.
ITU-T, High efficiency video coding, Rec. ITU-T H.265, 2016.
ISO/IEC, Conversion and coding practices for HDR/WCG Y'CbCr 4:2:0 video with PQ transfer characteristics, ISO/IEC doc. N16505, 2016.
ISO/IEC, Call for Evidence (CfE) for HDR and WCG Video Coding, ISO/IEC doc. N15083, 2015.
IEEE, IEEE Standard for Floating-Point Arithmetic, IEEE 754-2008, 2008.
F. Kainz, R. Borgart, P. Stanczyk, and P. Hillman, Technical Introduction to OpenEXR, Lucas Digital Ltd. LLC., 2013, http://www.openexr. com.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.