인간 시각 체계(Human Visual System: HVS)의 영상 화질 인지 특성을 정교하게 반영하는 객관적 영상 화질 측정(Image Quality Assessment: IQA)방법들이 최근 활발히 연구되어 왔다. 이와 관련된 HVS의 특성 중, 광적응(Luminance Adaptation: LA)효과는 HVS의 왜곡에 대한 민감도가 영상 배경 밝기에 따라 달라지는 특성을 가리키며, 이 효과는 베버의 법칙(Weber's law) 모델을 통해 많은 IQA 방법들에 반영되어져 왔다. 본 논문에서는 처음으로 이러한 베버의 법칙 모델을 기반으로 하는 기존 IQA 방법들이 LA 효과를 부정확하게 반영해 왔다는 점을 수학적/정신물리학적 분석을 통해 밝힌다. 이러한 분석을 기반으로 우리는 IQA 방법에 LA 효과가 정교하게 적용될 수 있는 새로운 LA 효과 기반 국부 가중치 함수(LA effect-based Local weight Function: LALF)를 제안한다. 우리는 제안 LALF를 SSIM(Structural SIMilarity) 및 PSNR 척도(metric)에 적용하여 제안 방법의 효과를 검증하였다. 실험 결과, LALF가 적용된 SSIM은 기존 SSIM 대비 측정된 주관적 화질 점수와의 스피어 랭크 순위 상관계수 기준 약 5% 포인트가 향상될 정도로 제안 방법의 큰 효과성을 입증하였다. 또한, 제안한 LALF는 PSNR에 적용된 경우에도 기존 PSNR 대비 약 2.5% 포인트의 성능 향상을 보였다.
인간 시각 체계(Human Visual System: HVS)의 영상 화질 인지 특성을 정교하게 반영하는 객관적 영상 화질 측정(Image Quality Assessment: IQA)방법들이 최근 활발히 연구되어 왔다. 이와 관련된 HVS의 특성 중, 광적응(Luminance Adaptation: LA)효과는 HVS의 왜곡에 대한 민감도가 영상 배경 밝기에 따라 달라지는 특성을 가리키며, 이 효과는 베버의 법칙(Weber's law) 모델을 통해 많은 IQA 방법들에 반영되어져 왔다. 본 논문에서는 처음으로 이러한 베버의 법칙 모델을 기반으로 하는 기존 IQA 방법들이 LA 효과를 부정확하게 반영해 왔다는 점을 수학적/정신물리학적 분석을 통해 밝힌다. 이러한 분석을 기반으로 우리는 IQA 방법에 LA 효과가 정교하게 적용될 수 있는 새로운 LA 효과 기반 국부 가중치 함수(LA effect-based Local weight Function: LALF)를 제안한다. 우리는 제안 LALF를 SSIM(Structural SIMilarity) 및 PSNR 척도(metric)에 적용하여 제안 방법의 효과를 검증하였다. 실험 결과, LALF가 적용된 SSIM은 기존 SSIM 대비 측정된 주관적 화질 점수와의 스피어 랭크 순위 상관계수 기준 약 5% 포인트가 향상될 정도로 제안 방법의 큰 효과성을 입증하였다. 또한, 제안한 LALF는 PSNR에 적용된 경우에도 기존 PSNR 대비 약 2.5% 포인트의 성능 향상을 보였다.
Recently, objective image quality assessment (IQA) methods that elaborately reflect the visual quality perception characteristics of human visual system (HVS) have actively been studied. Among those characteristics of HVS, luminance adaptation (LA) effect, indicating that HVS has different sensitivi...
Recently, objective image quality assessment (IQA) methods that elaborately reflect the visual quality perception characteristics of human visual system (HVS) have actively been studied. Among those characteristics of HVS, luminance adaptation (LA) effect, indicating that HVS has different sensitivities depending on background luminance values to distortions, has widely been reflected into many existing IQA methods via Weber's law model. In this paper, we firstly reveal that the LA effect based on Weber's law model has inaccurately been reflected into the conventional IQA methods. To solve this problem, we firstly derive a new LA effect-based Local weight Function (LALF) that can elaborately reflect LA effect into IQA methods. We validate the effectiveness of our proposed LALF by applying LALF into SSIM (Structural SIMilarity) and PSNR methods. Experimental results show that the SSIM based on LALF yields remarkable performance improvement of 5% points compared to the original SSIM in terms of Spear rank order correlation coefficient between estimated visual quality values and measured subjective visual quality scores. Moreover, the PSNR (Peak to Signal Noise Ratio) based on LALF yields performance improvement of 2.5% points compared to the original PSNR.
Recently, objective image quality assessment (IQA) methods that elaborately reflect the visual quality perception characteristics of human visual system (HVS) have actively been studied. Among those characteristics of HVS, luminance adaptation (LA) effect, indicating that HVS has different sensitivities depending on background luminance values to distortions, has widely been reflected into many existing IQA methods via Weber's law model. In this paper, we firstly reveal that the LA effect based on Weber's law model has inaccurately been reflected into the conventional IQA methods. To solve this problem, we firstly derive a new LA effect-based Local weight Function (LALF) that can elaborately reflect LA effect into IQA methods. We validate the effectiveness of our proposed LALF by applying LALF into SSIM (Structural SIMilarity) and PSNR methods. Experimental results show that the SSIM based on LALF yields remarkable performance improvement of 5% points compared to the original SSIM in terms of Spear rank order correlation coefficient between estimated visual quality values and measured subjective visual quality scores. Moreover, the PSNR (Peak to Signal Noise Ratio) based on LALF yields performance improvement of 2.5% points compared to the original PSNR.
식(1)은 배경 신호의 광도가 커질수록 JND 임계치도 증가한다는 것을 의미한다. 본 논문에서 우리는 기존의 많은 FR-IQA 방법들에 도입된 베버의 법칙 기반 LA 효과 모델들이 실제 LA 효과를 부정확하게 반영하고 있다는 것을 처음으로 제기하며, 그 이유는 아래와 같은 근거로 정리된다.
본 논문은 위에서 언급한 베버의 법칙 기반 LA 효과 모델이 기존 많은 FR-IQA 방법에 있어서 부정확하게 반영되어 왔다는 점을 보이고, 이에 대한 깊은 분석을 통해 효과적인 해결 방법을 제안한다. 즉, 본 논문은 아래의 2가지 새로운 내용을 포함한다.
가설 설정
식 (10)의 유도된 LA-JND 모델을 FR-IQA 방법에 효과적으로 적용하기 위해, 우리는 LA 효과 기반 국부 가중 함수(LALF)를 제안한다. 이를 위해 우리는 우선 시각적으로 왜곡에 민감한 영상 국부 영역은 그렇지 않은 국부 영역보다 시각 인지 화질에 있어서 더욱 중요한 역할을 한다고 가정한다. 이는 합리적 가정으로서, 그 이유는 HVS가 시각적으로 왜곡에 민감한 영상 영역에서 왜곡을 더 쉽게 발견할 수 있기 때문이다[11]-[15].
제안 방법
여기서 3개 테스트 영상의 배경영역(bg)은 공통적으로 8비트-심도 영상 포맷 기준 127의 평균 픽셀 강도 값(μ)을 가지며, 중심 영역(R1)은 그림 1-(a), -(b), -(c)에서 각각 μ = 10, 75, 245의 값을 가지도록 설정 하였다. 각각의 테스트 영상의 중심 영역(R1)에 인공 백색 가산 가우시안 노이즈(pseudo-Addictive White Gaussian Noise: AWGN)를 삽입하였다. 그림 1-(d), -(e), -(f)는 각각 그림 1-(a), -(b), -(c)로부터 동일한 SSIM 값, 즉 SSIM = 0.
본 논문에서는 처음으로 기존 베버의 법칙 모델 기반 LA 효과 모델이 픽셀 강도 영역에서 부정확하게 동작하는 이유를 분석하고, 이 분석을 기반으로 새로운 픽셀 강도 기반 LA 효과 모델을 감마 교정 함수와 제곱-법칙 모델로부터 유도하였다. 유도한 픽셀 강도 기반 LA 효과 모델을 이용해 우리는 LA효과를 FR-IQA 방법에 정교하게 적용할 수 있는 LALF를 제안하였다.
왜냐하면, 이 방법은 ‘HVS는 영상의 구조적 정보를 추출하는데 상당히 적응되어 있다’는 새로운 가정과 원본과 왜곡 신호 간 새로운 유사도 측정 모델을 기반으로 기존 FR-IQA 방법들이 보였던 영상화질 예측 성능을 괄목할 만한 수준으로 향상 시켰기 때문이다[7]. 위에서 언급한 SSIM의 HVS 특성에 대한 새로운 가정과 유사도 측정 모델은 많은 FR-IQA 방법들에도 동일하게 도입되어 왔기 때문에[8]-[10], 본 논문에서는 SSIM의 구조를 먼저 고찰한다. SSIM은 HVS의 광도(luminance), 대비(contrast), 구조(structure) 특징과 관련된 3개의 구성요소들에 대한 유사도 측정 모델들의 곱으로 국부(local) SSIM 값을 측정한다.
본 논문에서는 처음으로 기존 베버의 법칙 모델 기반 LA 효과 모델이 픽셀 강도 영역에서 부정확하게 동작하는 이유를 분석하고, 이 분석을 기반으로 새로운 픽셀 강도 기반 LA 효과 모델을 감마 교정 함수와 제곱-법칙 모델로부터 유도하였다. 유도한 픽셀 강도 기반 LA 효과 모델을 이용해 우리는 LA효과를 FR-IQA 방법에 정교하게 적용할 수 있는 LALF를 제안하였다. 제안하는 LALF의 효과를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 적용한 다음 주적 화질 예측 성능 실험을 수행하였다.
유도한 픽셀 강도 기반 LA 효과 모델을 이용해 우리는 LA효과를 FR-IQA 방법에 정교하게 적용할 수 있는 LALF를 제안하였다. 제안하는 LALF의 효과를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 적용한 다음 주적 화질 예측 성능 실험을 수행하였다. 실험 결과, 제안하는 LALF가 적용된 SSIM과 PSNR이 그렇지 않은 기존 방법들 대비 훨씬 더 강력한 주관적 화질 점수 예측력을 보였다.
대상 데이터
본 논문에서 제안하는 LALF의 성능을 검증하기 위해 주관적 화질 예측 성능 실험을 수행한다. 실험에 사용한 데이터는 TID2008 IQA 데이터로, 이는 25개의 참조 영상에 대해 17 종류의 다른 왜곡 종류를 가지는 총 1700개의 왜곡된 영상과 이 왜곡 영상에 대해 측정한 주관적 화질 점수값(Mean Opinion Score values)을 포함하고 있다[17]. 제안하는 LALF는 그 성능을 검증하기 위해 SSIM과 PSNR에 적용되었다.
실험에 사용한 데이터는 TID2008 IQA 데이터로, 이는 25개의 참조 영상에 대해 17 종류의 다른 왜곡 종류를 가지는 총 1700개의 왜곡된 영상과 이 왜곡 영상에 대해 측정한 주관적 화질 점수값(Mean Opinion Score values)을 포함하고 있다[17]. 제안하는 LALF는 그 성능을 검증하기 위해 SSIM과 PSNR에 적용되었다. LALF가 적용된 SSIM과 PSNR은 원래의 방법들과의 구분을 위해 LA-SSIM, LA-PSNR으로 표기된다.
데이터처리
반면 RMSE(Root Mean Squared Error)의 경우 IQA 방법으로 예측한 결과 값과 실제 측정한 주관적 화질 점수 간 평균 유클리디언 거리를 나타내는 것으로, 이 거리가 0에 가까울수록 IQA 방법이 주관적 화질 점수를 더 정확하게 예측한다고 할 수 있다. FR-IQA 방법의 예측된 값과 실제 측정한 주관적 화질 점수 간 단조-비선형 관계를 가질 수 있기 때문에, 로지스틱 회귀 모델[18]을 사용하여 예측한 화질값을 측정값 주관적 화질 점수에 매핑한 후 PLCC와 RMSE을 측정하였다. 4가지 성능 측정 지표 중, SROC가 FR-IQA 방법의 성능을 측정하기 위한 대표적인 성능 지표로 사용된다[6].
본 논문에서 제안하는 LALF의 성능을 검증하기 위해 주관적 화질 예측 성능 실험을 수행한다. 실험에 사용한 데이터는 TID2008 IQA 데이터로, 이는 25개의 참조 영상에 대해 17 종류의 다른 왜곡 종류를 가지는 총 1700개의 왜곡된 영상과 이 왜곡 영상에 대해 측정한 주관적 화질 점수값(Mean Opinion Score values)을 포함하고 있다[17].
성능 검증을 위해, 본 논문에서는 4개의 성능 지표를 도입하였다: SROC(Spearman Rank-Order Correlation coefficient), KROC(Kendall Rank-Order Correlation coefficients), PLCC(Pearson Linear Correlation coefficient), RMSE(Root Mean Squared Error). 여기서 SROC, KROC, PLCC는 IQA 방법을 이용해 예측한 화질 값과 실제 측정한 주관적 화질 값 간의 상관도를 나타내는 것으로, 클 값을 가질수록 IQA방법이 더 좋은 성능을 가진다고 할 수 있다.
이론/모형
FR-IQA 방법의 예측된 값과 실제 측정한 주관적 화질 점수 간 단조-비선형 관계를 가질 수 있기 때문에, 로지스틱 회귀 모델[18]을 사용하여 예측한 화질값을 측정값 주관적 화질 점수에 매핑한 후 PLCC와 RMSE을 측정하였다. 4가지 성능 측정 지표 중, SROC가 FR-IQA 방법의 성능을 측정하기 위한 대표적인 성능 지표로 사용된다[6].
객관적 영상 화질 측정 방법은 참조 영상 정보의 사용가능성 정도에 따라 완전 참조(Full-Reference: FR) IQA 방법, 감소 참조(Reduced-Reference: RR) IQA 방법, 무 참조(No-Reference: NR) IQA 방법으로 나뉜다[6]. 본 논문에서는 완전 참조 IQA(FR-IQA) 방법만을 다룬다.
이를 극복하기 위해, 최근 SSIM(Structural SIMilarity)을 포함하여 왜곡 영상에 대한 주관적 인지 화질과 상당히 높은 일관성을 가지는 FR-IQA 방법들이 활발히 연구되어 왔다[6]-[10]. 이 중 많은 방법들이 배경 밝기에 대한 왜곡 인지 민감도 변화 특성을 반영하기 위해 베버의 법칙(Weber’s law)을 따르는 광적응(Luminance Adaptation: LA) 효과 모델을 도입하였다[6]-[9]. 베버의 법칙은 인간시각 체계(Human Visual System: HVS)의 영상 신호에 대한 인지 왜곡민감도가 영상의 배경 밝기에 따라 달라지는 특성을 규정하는 것으로써[11] 식 (1)과 같이 모델링 된다.
성능/효과
이 중 대표 값은 j-번째 국부 영상 영역에 대한 LALF 값 w(x, y)을 wx와 wy 중 큰 값으로 결정된다. 결과적으로, FR-IQA 방법이 국부 영역의 영상화질 예측 점수를 풀링할 때, LALF는 국부 영상 영역마다 왜곡 인지 민감도에 따른 적응적인 가중치를 할당함으로써 LA 효과를 효과적으로 FR-IQA 방법에 반영하게 된다. 제안하는 LALF기반 FR-IQA방법은 아래 식 (12)와 같이 표현된다.
그림 2-(c) 및 -(f)의 LALF 맵들(W1, W2)은 위에서 분석한 HVS의 시각적 왜곡 민감도 특성과 상당히 일관된 결과를 보이는데, 여기서 LALF는 시각적으로 왜곡에 둔감한 영역(적색 박스 영역)에 대해 상대적으로 낮은 값을 생성하며, 시각적으로 왜곡에 민감한 영역(청색 박스 영역)에 대해서는 상대적으로 높은 값을 생성한다. 따라서 제안하는 LALF는 HVS의 LA 효과를 FR-IQA 방법에 정교하게 반영할 수 있는 방법이 될 수 있다.
여기서 SROC, KROC, PLCC는 IQA 방법을 이용해 예측한 화질 값과 실제 측정한 주관적 화질 값 간의 상관도를 나타내는 것으로, 클 값을 가질수록 IQA방법이 더 좋은 성능을 가진다고 할 수 있다. 반면 RMSE(Root Mean Squared Error)의 경우 IQA 방법으로 예측한 결과 값과 실제 측정한 주관적 화질 점수 간 평균 유클리디언 거리를 나타내는 것으로, 이 거리가 0에 가까울수록 IQA 방법이 주관적 화질 점수를 더 정확하게 예측한다고 할 수 있다. FR-IQA 방법의 예측된 값과 실제 측정한 주관적 화질 점수 간 단조-비선형 관계를 가질 수 있기 때문에, 로지스틱 회귀 모델[18]을 사용하여 예측한 화질값을 측정값 주관적 화질 점수에 매핑한 후 PLCC와 RMSE을 측정하였다.
SSIM의 경우 식 (3)의 광도 유사도 측정 모델이 부정확하게 LA 효과를 반영하고 있기 때문에, 광도 유사도 측정 모델을 LA-SSIM 계산에서 제거하였다. 본 논문에서는 실험적으로 LA-SSIM에 대한 LALF의 모수를 b=1.5×10-3, p = 1로, LA-PSNR에 대한 LALF의 모수를 b = p = 0.55으로 설정하였다.
제안하는 LALF의 효과를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 적용한 다음 주적 화질 예측 성능 실험을 수행하였다. 실험 결과, 제안하는 LALF가 적용된 SSIM과 PSNR이 그렇지 않은 기존 방법들 대비 훨씬 더 강력한 주관적 화질 점수 예측력을 보였다. 이 결과는 제안하는 픽셀 강도 영역에서의 LA 효과 모델을 기반으로 하는 LALF로 인해 LA 효과가 FR-IQA 방법들에 매우 효과적으로 반영되었다는 것을 의미한다.
성능 검증을 위해, 본 논문에서는 4개의 성능 지표를 도입하였다: SROC(Spearman Rank-Order Correlation coefficient), KROC(Kendall Rank-Order Correlation coefficients), PLCC(Pearson Linear Correlation coefficient), RMSE(Root Mean Squared Error). 여기서 SROC, KROC, PLCC는 IQA 방법을 이용해 예측한 화질 값과 실제 측정한 주관적 화질 값 간의 상관도를 나타내는 것으로, 클 값을 가질수록 IQA방법이 더 좋은 성능을 가진다고 할 수 있다. 반면 RMSE(Root Mean Squared Error)의 경우 IQA 방법으로 예측한 결과 값과 실제 측정한 주관적 화질 점수 간 평균 유클리디언 거리를 나타내는 것으로, 이 거리가 0에 가까울수록 IQA 방법이 주관적 화질 점수를 더 정확하게 예측한다고 할 수 있다.
실험 결과, 제안하는 LALF가 적용된 SSIM과 PSNR이 그렇지 않은 기존 방법들 대비 훨씬 더 강력한 주관적 화질 점수 예측력을 보였다. 이 결과는 제안하는 픽셀 강도 영역에서의 LA 효과 모델을 기반으로 하는 LALF로 인해 LA 효과가 FR-IQA 방법들에 매우 효과적으로 반영되었다는 것을 의미한다.
참고문헌 (18)
Z. Wang and A. C. Bovik, “Mean squared error: Love it or leave it? A new look at signal fidelity measures,” IEEE Signal Process. Mag., vol. 26, no. 1, pp. 98-117, Jan. 2009.
S.-H. Bae, J. Kim, M. Kim, S. H. Cho, and J. S. Choi, “Assessments of subjective video quality on HEVC-encoded 4K-UHD video for beyond-HDTV broadcasting services,” IEEE Trans. on Broadcast., vol. 59, no. 2, pp. 209-222, Jun. 2013.
J.-S. Choi, S.-H. Bae and M. Kim, “Single image super-resolution based on self-examples using context-dependent subpatches,” IEEE Int. Conf. on Image Proc, accepted for publication, Sept. 27-30, 2015.
J.-S. Choi, S.-H. Bae and M. Kim, "A no-reference perceptual blurriness metric based fast super-resolution of still pictures using sparse representation," Proc. SPIE, vol. 9401, pp. 94010N.1-94010N.7, Mar. 2015.
J. Kim, S.-H. Bae, and M. Kim, “An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels,” IEEE Trans. Circuits Syst. Video Technol., in press, Jan. 2014.
L. Zhang, L. Zhang, X. Mou, and D. Zhang, “A comprehensive evaluation of full reference image quality assessment algorithms,” Proc. 19th IEEE Int. Conf. Image Process., pp. 1477–1480, Sep./Oct. 2012.
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: from error visibility to structural similarity,” IEEE Trans. on Image Process., vol. 13, pp. 600-612, Apr. 2004.
Z. Wang and Q. Li, “Information content weighting for perceptual image quality assessment,” IEEE Trans. Image Process., vol. 20, no. 5, pp. 1185-1198, May 2011.
Z. Wang, E. P. Simoncelli, and A. C. Bovik, “Multiscale structural similarity for image quality assessment,” Proc. 37th Asilomar Conf. Signals, Syst., Comput., pp. 1398–1402, Nov. 2003.
S.-H. Bae and M. Kim, "A novel image quality assessment based on an adaptive feature for image characteristics and distortion types," IEEE Video Comm. and Image Proc., accepted for publication, Dec. 13-16, 2015.
S.-H Bae and M. Kim,“A novel DCT-based JND model for luminance adaptation effect in DCT frequency,” IEEE Signal Process. Lett., vol. 20, no. 9, pp. 893-896, Sept. 2013.
Z. Wei and K. N. Ngan,“Spatio-temporal just noticeable distortion profile for grey scale image/video in DCT domain,” IEEE Trans. Circuits Syst. Video Technol., vol. 19, no. 3, pp. 337-346, Mar. 2009.
S.-H. Bae and M. Kim, “A new DCT-based JND model of monochrome images for contrast masking effects with texture complexity and frequency,” IEEE Int. Conf. on Image Proc, Melborne, Australia, Sept. 15-18, pp. 431-434, 2013.
S.-H Bae and M. Kim, “A novel generalized DCT-based JND profile based on an elaborate CM-JND model for variable block-sized transforms in monochrome images,” IEEE Trans. on Image Process., vol. 23, no. 8, Aug. 2014.
C.-H. Chou, Y.-C. Li, “A perceptually tuned subband image coder based on the measure of just-noticeable distortion profile,” IEEE Trans. Circuits Syst. Video Technol. vol. 5, no. 6, pp. 467-476, Dec. 1995.
T. Frese, C. A. Bouman, and J. P. Allebach. "A methodology for designing image similarity metrics based on human visual system models," Proc. SPIE, vol. 3016, pp. 472-483, 1997.
N. Ponomarenko, V. Lukin, A. Zelensky, K. Egiazarian, M. Carli, and F. Battisti, “TID2008-A database for evaluation of full-reference visual quality assessment metrics,” Adv. Modern Radioelectron., vol. 10, pp. 30–45, 2009.
Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment VQEG. Available: http://www.vqeg.org, 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.