[논문]영상의 시각적 품질향상을 위한 Saliency 맵 기반의 컬러 영상압축

정성환

doi:10.9717/kmms.2017.20.3.446

영상의 시각적 품질향상을 위한 Saliency 맵 기반의 컬러 영상압축
Saliency Map Based Color Image Compression for Visual Quality Enhancement of Image 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.20 no.3, 2017년, pp.446 - 455

정성환 (Dept. of Computer Engineering, Changwon National University)

Abstract ▼ AI-Helper

A color image compression based on saliency map was proposed. The proposed method provides higher quality in saliency blocks on which people's attention focuses, compared with non-saliency blocks on which the attention less focuses at a given bitrate. The proposed method uses 3 different quantization tables according to each block's saliency level. In the experiment using 6 typical images, we compared the proposed method with JPEG and other conventional methods. As the result, it showed that the proposed method (Qup=0.5*Qx) is about 3.1 to 1.2 dB better than JPEG and others in saliency blocks in PSNR at the almost similar bitrate. In the comparison of result images, the proposed one also showed less error than others in saliency blocks.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 실제 JPEG 영상압축에서는 이와 같은 연속된 경계는 이론적일 뿐이다. 따라서 본 연구에서는 인위적으로 연속된 화소 경계 대신에 관심영역에 대한 중요성을 고려하여, JPEG의 블록 단위로 관심영역을 다루고자 한다. 또한 H.
본 연구는 시각적 영상품질 향상을 위해 saliency 맵 기반의 컬러 영상압축을 수행한다. 즉, saliency 맵을 사용해 saliency 블록에는 상대적으로 영상품질을 높이고, non-saliency 블록에서는 영상품질을 낮추어, 주어진 비트율에서 전체적인 영상의 시각적 품질을 향상시키는 접근 방법이다.
이 방법은 Canny 에지 맵을 saliency 맵으로 사용하여 saliency 블록에는 원하는 품질 수준에 따라 주어진 JPEG의 양자화 테이블을 사용하고, non-saliency 블록에는 비트율을 낮추기 위해 DC만을 전송하는 방법을 사용하였다. 본 연구에서는 eye tracker에서 얻은 saliency 맵을 기반으로 입력 영상 블록의 시각적 중요도에 따라 양자화 테이블을 달리하여 컬러 영상을 압축하는 방법을 제시한다.

가설 설정

는 각 영역의 가중치 값을 나타낸다. ES를 계산하는 한 예로서, 만일 관심영역인 ROI의 MOS가 90으로서 전체 영역의 10%를 차지하고, 배경영역인 BG의 MOS가 50으로서 전체 영역의 90%를 차지한다고 가정하자. 그러면 실험을 위해 합성된 영상의 ES는 (90 * 0.

제안 방법

그리고 ‘3’은 전체 영상에 대한 PSNR을 나타낸다. V.A. 방법이나 A-G 방법에서는 salinecy 블록이 아닌 모든 블록의 경우, 모두 non-saliency 블록으로 처리하였기 때문에 비교를 위해 JPEG과 제안한 방법에서도 동일하게 적용하여, salinecy 블록이 아닌 경우는 모두 non-saliency 블록으로 하여 성능을 계산하였다.
그러나 이 방법은 개념적인 중요성은 인정되지만, 관심영역과 배경영역의 경계를 수작업으로 연결하여 만들고 실험하였다. 그러나 실제 JPEG 영상압축에서는 이와 같은 연속된 경계는 이론적일 뿐이다.
은 전체 영상품질 평가에서 관심영역의 영향을 모델링하였다[1]. 그리고 관심영역(ROI)과 배경영역(BG)이 전체 영상품질에 어느 정도 영향을 미치는지에 대해 실험하였다. 그들은 Fig.
1과 같이 관심영역과 배경영역을 구분하고, 영상품질이 각기 다른 관심영역과 배경영역들의 다양한 조합으로 합성영상들을 만들어 실험하였다. 그리고 식 (1)과 같이 MOS (Mean Opinion Score)를 바탕으로 새로운 영상품질 평가 예상지수 즉, 기대점수(ES: Expected Score)를 구하였다.
2에서 입력영상과 함께 읽어 들인 8x8 크기의 saliency 맵을 대상으로 해당 블록이 saliency 블록인가를 평가한다. 그리고 평가결과에 따라서 해당 입력 영상 블록을 3가지 양자화 테이블, Qup, Qdw, QX 테이블 중에 하나로 양자화한다. 즉, 해당 블록의 saliency 값이 일정 문턱치(threshold) Th1보다 높으면, saliency 블록으로 판단하고, 양자화 테이블 중에서 Qup 테이블을 사용해 양자화한다.
Alers et al. 등[2]의 연구를 바탕으로, 영상의 시각적 품질 향상을 위해 배경보다는 관심영역에 더 많은 비트를 할당하여 전체적인 영상의 품질을 높이는 간단하면서도 효과적인 방법을 다음 3장과 같이 제안한다.
본 연구에서 제안하는 개념은 일반화하여 확장이 가능하다. 즉, 이번 연구에서는 관심영역을 3가지로 구분하여 적용한 예를 보였다.
여기서 saliency 맵은 eye tracker를 사용하여 사람들에게서 직접 구할 수도 있고, 입력영상에서 다양한 방법으로 saliency 맵을 구해 사용할 수도 있다. 본 연구에서는 기존의 eye tracker로 구해 놓은 fixation points[16,17]를 사용해 가우시안 블러링을 통해 saliency 맵을 구하였다.
본 연구에서는 일반적으로 JPEG에서 주어진 품질 수준 q를 바탕으로 생성되는 QX 테이블만을 사용하는 것이 아니라, Saliency 맵을 바탕으로 블록의 시각적 중요도에 따라 3가지 다른 양자화 테이블을 사용한다. 즉, Qup 테이블은 saliency 블록(Fig.
2*QX로 고정하였다. 실험영상들에 대해 JPEG과 비교를 위해 saliency 판단 문턱치 Th1을 사용해 saliency 블록 비율인 S_rate를 조정하여, 결과영상들의 비트율이 Table 1의 JPEG과 같이 각기 0.3-0.6 bpp 범위에 들도록 조정하였다.
al.의 연구결과를 바탕으로, saliency 맵 기반의 컬러 영상압축 방법을 제시하였다. 제안한 방법은 JPEG의 품질수준을 결정하는 양자화 테이블을 적절하게 사용하여 사람들의 시선이 집중되는 관심영역에 상대적으로 더 많은 비트를 할당하고, 배경영역에는 비트 할당을 줄여 제한된 비트율에서 효과적으로 영상의 품질을 향상시키는 방법이다.
Gharibi가 사용한 방법이 소개되었다[13]. 이 방법은 Canny 에지 맵을 saliency 맵으로 사용하여 saliency 블록에는 원하는 품질 수준에 따라 주어진 JPEG의 양자화 테이블을 사용하고, non-saliency 블록에는 비트율을 낮추기 위해 DC만을 전송하는 방법을 사용하였다. 본 연구에서는 eye tracker에서 얻은 saliency 맵을 기반으로 입력 영상 블록의 시각적 중요도에 따라 양자화 테이블을 달리하여 컬러 영상을 압축하는 방법을 제시한다.
이 제안한 방법이 있다[12]. 이 방법은 특징 맵들을 center-surround mechanism을 통해 conspicuity 맵으로 바꾸고, 이들을 하나로 합쳐서 최종 saliency 맵을 구해 영상압축에 적용하였다. 또 다른 saliency 맵 기반의 영상압축 방법으로서, W.
의 연구결과를 바탕으로, saliency 맵 기반의 컬러 영상압축 방법을 제시하였다. 제안한 방법은 JPEG의 품질수준을 결정하는 양자화 테이블을 적절하게 사용하여 사람들의 시선이 집중되는 관심영역에 상대적으로 더 많은 비트를 할당하고, 배경영역에는 비트 할당을 줄여 제한된 비트율에서 효과적으로 영상의 품질을 향상시키는 방법이다.
주어진 6개의 실험영상을 사용하여 제안한 방법을 JPEG과 다른 saliency 맵 기반의 방법들과 PSNR을 사용한 객관적인 측도에서 비교하였다. 비교 결과, 거의 동일한 비트율에서 제안한 방법이 JPEG보다 관심영역의 PSNR인 S_PSNR이 높은 것으로 판단되었다.

대상 데이터

1GHz 에서 MATLB R2015a로 수행되었다. 사용한 영상 데이터베이스는 TUD_Interations과 TUD_LIVE_EyeTracking을 사용하였다[16]. 실험에 사용한 영상은 Fig.
실험에 사용한 영상은 Fig. 4의 6가지 영상이며, Womanhat과 Lighthouse 영상의 크기는 720×480이며, 나머지 4개는 512×768이다.

성능/효과

Table 2(b)인 Qup= 0.5*QX인 경우, JPEG과 평균 비트율이 거의 같은 상태에서 S_PSNR은 JPEG보다 2.11 dB 높게 나타났다. 또한 non-saliency 블록의 N_PSNR은 Qup=0.
Gharibi의 방법(A-G method)[8]의 결과로서, 마찬가지로 앞의 JPEG과 제안한 방법과의 비교를 위해, saliency 블록 비율인 S_rate를 조정하여 전체 평균 비트율을 유사하게 맞추었다. Table 2의 제안한 방법(0.5*QX)과 비교했을 때, 비트율은 조금 낮으나, 성능은 S_PSNR, PSNR, N_PSNR 면에서 전체적으로 낮은 결과를 보였다.
그래프에서 제안한 방법이 saliency 블록 영역에서 JPEG, V.A. 방법 그리고 A-G 방법보다 영상의 품질이 높은 것을 볼 수 있다. 이는 인간의 시각적 품질향상을 위해 saliency 블록에 상대적으로 많은 비트를 할당했기 때문이다.
이는 인간의 시각적 품질향상을 위해 saliency 블록에 상대적으로 많은 비트를 할당했기 때문이다. 그러나 non-saliency 블록 영역에서는 제안한 방법이 JPEG보다는 성능이 낮으나, non-saliency 블록에 대해 DC 값으로 대치하는 A-G 방법이나 V.A.방법 보다는 성능이 높다. 특히 전체 블록의 PSNR에서 A-G 방법은 제안한 방법에 비해 비트율은 0.
7*QX로 하면 saliency 블록의 영상 품질 강조가 상대적으로 크게 생기지 않는 면이 있다. 따라서 본 실험에서는Qup=0.5*QX가 전체적인 비트율의 증가도 생기지 않으면서, saliency 블록의 품질을 어느 정도 강조할 수 있어서 적절한 선택이라고 본다.
관심영역에 비트 할당을 더 많이 하기 위해 Qup 테이블의 값을 줄일 수 있지만, 그 경우에 상대적으로 비트율이 상승된다. 본 실험에서는 Qup=0.5QX 경우가 JPEG과 거의 유사한 비트율을 유지하면서 관심영역의 영상품질을 향상시킬 수 있는 것으로 판단되었다. 제안된 방법과 JPEG을 포함한 다른 방법들의 주관적인 결과영상과 오차영상의 비교에서도 제안된 방법의 결과영상이 주관적으로도 다른 방법들보다 관심영역에서 상대적으로 높은 영상품질을 나타내었다.
주어진 6개의 실험영상을 사용하여 제안한 방법을 JPEG과 다른 saliency 맵 기반의 방법들과 PSNR을 사용한 객관적인 측도에서 비교하였다. 비교 결과, 거의 동일한 비트율에서 제안한 방법이 JPEG보다 관심영역의 PSNR인 S_PSNR이 높은 것으로 판단되었다. 관심영역에 비트 할당을 더 많이 하기 위해 Qup 테이블의 값을 줄일 수 있지만, 그 경우에 상대적으로 비트율이 상승된다.
Ouerhani et al.이 제안한 visual attention 방법 (V.A. method)[7]의 결과로서, 앞의 JPEG과 제안한 방법과의 비교를 위해, saliency 블록 비율인 S_rate를 조정하여 전체 평균 비트율을 유사하게 맞춘 결과이다. Table 2의 제안한 방법과 비교했을 때, 평균 비트율이 Table 2(b)와 유사한 상태에서, S_PSNR은 1.
전체적인 실험에서, Qup=0.3*QX로 하면 saliency 블록의 영상품질을 강조할 수 있다. 하지만, 비트율이 조금 상승하는 문제가 있다.
5QX 경우가 JPEG과 거의 유사한 비트율을 유지하면서 관심영역의 영상품질을 향상시킬 수 있는 것으로 판단되었다. 제안된 방법과 JPEG을 포함한 다른 방법들의 주관적인 결과영상과 오차영상의 비교에서도 제안된 방법의 결과영상이 주관적으로도 다른 방법들보다 관심영역에서 상대적으로 높은 영상품질을 나타내었다.
방법 보다는 성능이 높다. 특히 전체 블록의 PSNR에서 A-G 방법은 제안한 방법에 비해 비트율은 0.012 bpp 정도 낮출 수는 있으나, 성능은 1.14 dB 낮은 결과를 나타냈다.

후속연구

앞으로 연구는 관심영역에 대한 더 적절한 구분 수와 QX 가중치의 효과적인 선택 그리고 지각 PSNR인 PSNR_percept을 실제로 구하기 위한 사용자들을 동원한 주관적인 영상품질 평가의 실험적 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	saliency 맵 기반의 컬러 영상압축이란?	본 연구는 시각적 영상품질 향상을 위해 saliency 맵 기반의 컬러 영상압축을 수행한다. 즉, saliency 맵을 사용해 saliency 블록에는 상대적으로 영상품질을 높이고, non-saliency 블록에서는 영상품질을 낮추어, 주어진 비트율에서 전체적인 영상의 시각적 품질을 향상시키는 접근 방법이다. 잘 정의된 양자화 테이블이 JPEG에 이미 존재하므로 이것을 잘 이용하면, 간단하면서 효과적인 방법이 가능하다.
	영상의 압축율과 품질과의 관계는?	이것은 영상압축과 영상품질 사이에 조정이 필요하다. 영상의 압축율을 높이면 품질이 낮아지고, 압축율을 낮추면 상대적으로 품질이 높아진다. JPEG 표준, CCITT/ITU T.
	saliency 맵 기반의 컬러 영상압축의 장점은?	즉, saliency 맵을 사용해 saliency 블록에는 상대적으로 영상품질을 높이고, non-saliency 블록에서는 영상품질을 낮추어, 주어진 비트율에서 전체적인 영상의 시각적 품질을 향상시키는 접근 방법이다. 잘 정의된 양자화 테이블이 JPEG에 이미 존재하므로 이것을 잘 이용하면, 간단하면서 효과적인 방법이 가능하다.

참고문헌 (17)

J.W. Bae and S.H. Jung, "Mobile Watermarking Based on the Distortion Analysis of Display- Capture Image in a Smart Phone," Journal of Korea Multimedia Society, Vol. 15, No. 7, pp. 847-858, 2012.

원문보기 상세보기
H. Alers, J. Redi, H. Liu, and I. Heynderickx, "Studying the Effect of Optimizing the Image Quality in Saliency Regions at the Expense of Background Content," International Journal of Electronic Imaging, Vol. 22, Issue 4, pp. 1-10, 2013.
R. Patil and S. Khavare, "A Survey on Saliency Detection Methods," International Journal for Scientific Research and Development, Vol. 3, Issue 1, pp. 1223-1225, 2015.
Tobii, http://www.tobiipro.com/product-listing/tobii-pro-x2-30/ (accessed Aug., 16, 2016).
Y. Gitman, M. Erofeev, D. Vatolin, and B. Andrey, "Semiautomatic Visual-attention Modeling and Its Application to Video Compression," Proceeding of IEEE International Conference on Image Processing, pp. 1105-1109, 2014.
N.W. Kim, Z. Bylinskii, M.A. Borkin, A. Oliva, K.Z. Gajos, and H. Pfister, "A Crowdsourced Alternative to Eye-tracking for Visualization Understanding," Proceeding of Conference of Human Factors in Computing Systems, pp. 1349-1354, 2015.
Z. Li, S. Qin, and L. Itti, "Visual Attention Guided Bit Allocation in Video Compression," Image and Vision Computing, Vol. 29, No. 1, pp. 1-14, 2011.

상세보기
A. Nguyen, V. Chandran, and S. Sridharan, "Gaze Tracking for Region of Interest Coding in JPEG 2000," Signal Processing: Image Communication, Vol. 21, No. 5, pp. 359-377, 2006.

상세보기
O.S. Rajankar and U.D. Kolekar, "Effect of Single and Multiple ROI Coding on JPEG 2000 Performance," International Journal of Image, Graphics and Signal Processing, Vol. 4, pp. 29-38, 2016.
N. Kaur, "A Review of Region-of-Interest Coding Techniques of JPEG 2000," International Journal of Computer Application, Special Issue on New Dimensions and Perspectives, Vol. 134, No. 10, pp. 36-40, 2011.
A. Bradley and F. Stentiford, "Visual Attention for Region of Interest Coding in JPEG 2000," Journal of Visual Communication and Image Representation, Vol. 14, No. 3, pp. 232-250, 2003.

상세보기
N. Ouerhani, J. Bracamonte, H. Heinz, M. Ansorge, and F. Pellandini, "Adaptive Color Image Compression Based on Visual Attention," Proceeding of International Conference on Image Analysis and Processing, pp. 26-28, 2001.
W. Abd-elhafiez and W. Gharibi, "Color Image Compression Algorithm Based on the DCT Blocks," International Journal of Computer Science Issues, Vol. 9, Issue 4, pp. 323-328, 2012.
JPEG Q Factor, http://tools.ietf.org/html/rfc2435 (accessed Aug., 16, 2016).
G. Wallace, "The JPEG Still Picture Compression Standard," IEEE Transactions on Consumer Electronics, Vol. 38, No. 1, pp. 18- 34, 1992.
J. Redi and I. Heynderickx, "TUD Image Quality Database: Interactions," http://mmi.tudelft.nl/iqlab/interactions.html (accessed Aug., 16, 2016).
J. Redi, H. Liu, R. Zunino, and I. Heynderickx, "Interactions of Visual Attention and Quality Perception," IS&T/SPIE Electronic Imaging 2011 and Human Vision and Electronic Imaging XVI , Vol. 7865, pp. 1-11, 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증