[논문]가우시안 영역 분리 기반 명암 대비 향상

심우성

doi:10.5909/jbe.2017.22.5.608

가우시안 영역 분리 기반 명암 대비 향상
Contrast Enhancement based on Gaussian Region Segmentation 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.22 no.5, 2017년, pp.608 - 617

초록
AI-Helper

영역 분리에 의한 명암대비 방법들이 제안되어 왔지만 영상의 히스토그램에 따라 과포화 되는 부작용이나 밝기 값 보존과 명암대비 효과의 상반 관계에 대한 개선이 필요하다. 본 논문은 다양한 히스토그램에서도 명암 대비가 개선 되도록 영역 분리 시 각 서브 영역이 가우시안 분포를 갖도록 분리하고 영역별 평활화하는 명암 대비 방법을 제안 한다. 영역 분리는 $L^*a^*b^*$ 컬러 공간에서 K-평균 방법과 기대-최대 방법에 의해 영역맵과 확률맵을 생성하며 영역별 히스토그램 평활화 방법은 영역간 히스토그램 중복 최소를 위해 평균값 이동과 영역 분리에서 생성된 확률맵을 변환 함수에 활용함으로써 영역별 밝기값을 보존 하였다. 실험은 기존의 명암 대비 방법들과 평균 밝기 차이와 평균 엔트로피 값을 이용하여 밝기 변화가 적고 영상의 세부 정보가 표현됨에 의한 명암대비 개선을 보인다.

Abstract ▼ AI-Helper

Methods of contrast enhancement have problem such as side effect of over-enhancement with non-gaussian histogram distribution, tradeoff enhancement efficiency against brightness preserving. In order to enhance contrast at various histogram distribution, segmentation to region with gaussian distribution and then enhance contrast each region. First, we segment an image into several regions using GMM(Gaussian Mixture Model)fitting by that k-mean clustering and EM(Expectation-Maximization) in $L^*a^*b^*$ color space. As a result region segmentation, we get the region map and probability map. Then we apply local contrast enhancement algorithm that mean shift to minimum overlapping of each region and preserve brightness histogram equalization. Experiment result show that proposed region based contrast enhancement method compare to the conventional method as AMBE(AbsoluteMean Brightness Error) and AE(Average Entropy), brightness is maintained and represented detail information.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

가우시안 분포를 갖는 각 영역은 히스토그램적으로 중첩되는 부분을 최소화하기 위한 영역별 평균값 이동 및 밝기 보존 히스토그램 평활화 방법에 의해 명암 대비 개선을 하고자 한다.
기존 공간적 영역 분리의 대표적 방법으로 몇 개의 비슷한 주변 픽셀이 모여 있는 것을 노드로 보고 이를 묶어 나가는 슈퍼 픽셀 방법인 SLIC(Simple Linear Iterative Clustering)^[9]이 있으나 분리된 영역은 평활화를 위한 가우시안 분포를 갖고 있다고 할 수 없어 명암 분리를 위한 평활화에 적합하지 않다. 따라서 본 논문에서는 가우시안 분포의 영역분리를 위해 GMM모델기반 기대-최대(ExpectationMaximization) 알고리즘을 활용하여 밝기 값으로의 영역을 고정된 영역 개수로 분리하고 영역별 평활화를 위하여 변형 함수를 구할 때 영역분리에서 생성 된 확률맵의 확률을 이용함으로써 세부 정보의 화질을 유지하고 밝기값을 보존 하는 명암대비 방법을 제안하고자 한다.
세부 정보 표현을 위하여 가중치 및 임계값 파라메타를 실험을 통한 설정 값으로 정하여 개선하였지만 다양한 영상의 적용은 파라메타 설정의 한계가 있다^[8]. 본 논문에서는 명암 대비를 위하여 분리된 각 영역이 가우시안 분포를 최대로 갖게 하고 영역별 중복을 최소화를 위한 평균 이동을 통한 Dynamic range를 효율적으로 증가할 수 있는 가우시안 영역 분리 평활화(GRSHE : Gaussian Region Segmentation Histogram Equalization) 방법을 제안한다. 기존 공간적 영역 분리의 대표적 방법으로 몇 개의 비슷한 주변 픽셀이 모여 있는 것을 노드로 보고 이를 묶어 나가는 슈퍼 픽셀 방법인 SLIC(Simple Linear Iterative Clustering)^[9]이 있으나 분리된 영역은 평활화를 위한 가우시안 분포를 갖고 있다고 할 수 없어 명암 분리를 위한 평활화에 적합하지 않다.
본 논문에서는 비디오 영역 분리 기법과 분리된 영역 별시간적 밝기 유지를 위한 명암 대비 개선을 제안하였다. 비슷한 컬러 값들에 대한 영역 분리를 위하여 GMM 피팅 방법을 이용하였고 장면 전환 검출기에 의한 장면 분리 후 하나의 장면에서는 동일한 GMM을 사용하여 시간적 연속성을 유지하였다.

제안 방법

기존 방법과 정량적 분석을 위하여 평균 밝기 차이 AMBE(Average Mean Brightness Error)와 평균 엔트로피 AE(Average Entropy)를 이용하여 평가 하였다. 표 1은 9가지 영상에 대하여 식 (13)을 이용한 평균 원영상 밝기 Mean(O)와 다양한 히스토그램 평활화 방법의 평균 밝기 Mean(R) 차이이며 작을수록 원영상과 평균 밝기 값을 유지함으로 판단된다.
영화나 방송에서 사용되는 비디오 영상을 활용하여 영역 분리의 성능 평가하였고 기존 명암 대비 방법들과 제안한 영역 분리 기반 방법을 정량적으로 비교한다. 마지막으로 제안한 방법에 의한 주관적 평가를 히스토그램 분포를 기반으로 비교하도록 한다.
본 논문에서는 비디오 영역 분리 기법과 분리된 영역 별시간적 밝기 유지를 위한 명암 대비 개선을 제안하였다. 비슷한 컬러 값들에 대한 영역 분리를 위하여 GMM 피팅 방법을 이용하였고 장면 전환 검출기에 의한 장면 분리 후 하나의 장면에서는 동일한 GMM을 사용하여 시간적 연속성을 유지하였다. 실험 결과 제안된 방법은 평균값 유지하면서도 세부 정보 표현이 우수함을 확인 하였으며 실시간 구현을 위해 감소된 해상도 영역에서와 원해상도 영역에서 해야 될 처리를 분리함으로써 임베디드 시스템에서 적용하였다.
비슷한 컬러 값들에 대한 영역 분리를 위하여 GMM 피팅 방법을 이용하였고 장면 전환 검출기에 의한 장면 분리 후 하나의 장면에서는 동일한 GMM을 사용하여 시간적 연속성을 유지하였다. 실험 결과 제안된 방법은 평균값 유지하면서도 세부 정보 표현이 우수함을 확인 하였으며 실시간 구현을 위해 감소된 해상도 영역에서와 원해상도 영역에서 해야 될 처리를 분리함으로써 임베디드 시스템에서 적용하였다.
영화나 방송에서 사용되는 비디오 영상을 활용하여 영역 분리의 성능 평가하였고 기존 명암 대비 방법들과 제안한 영역 분리 기반 방법을 정량적으로 비교한다. 마지막으로 제안한 방법에 의한 주관적 평가를 히스토그램 분포를 기반으로 비교하도록 한다.
동일 장면내의 프레임에서는 GMM방법을 적용하여 영상 내 영역을 분리하는데 K-mean 분류와 기대-최대(EM : Expectation Maximization)을 수행한다. 이때 같은 장면 안에서 영역 분리 결과의 시간적 연속성을 위하여 키 프레임에서만 K-mean 초기화하고 기대-최대 방법에 의한 최적화를 함으로써 GMM 피팅을 수행한다. GMM 피팅은 이미지 단위의 통계적 비슷한 컬러를 하나의 영역으로 분리 하는 컬러 분류 방법으로도 많이 사용되고 있다.
하나의 프레임 내 영역을 분리하는데, 장면 내에서는 각 분리된 영역 밝기값은 변화가 적으므로 장면에 서의 첫 프레임에서의 정보들을 장면 내 나머지 프레임에서 활용할 수 있다. 이를 위해 장면 검출 방법에 의한 장면을 분리하고, 분리된 장면 내 첫 번째 프레임에 대하여 K-mean을 수행하여 분리할 영역의 초기값을 구한다. 장면의 첫 프레임에서 구해진 초기값을 이용하여 각 영역별 기대-최대(Expectation Maximization)을 활용한 GMM 피팅을 수행한다^[10].
이를 위해 장면 검출 방법에 의한 장면을 분리하고, 분리된 장면 내 첫 번째 프레임에 대하여 K-mean을 수행하여 분리할 영역의 초기값을 구한다. 장면의 첫 프레임에서 구해진 초기값을 이용하여 각 영역별 기대-최대(Expectation Maximization)을 활용한 GMM 피팅을 수행한다^[10]. K-mean 및 기대-최대 방법은 실시간을 위해 원영상보다 작은 크기의 영상에서 수행되며 최종 프레임별 영역맵과 확률맵은 원영상의 크기에서 진행 한다.
제안된 영역 분리 알고리즘은 키프레임에서 K-mean과 EM 방법은 지정된 최소의 오차율을 찾기 위한 반복이 필요한데 영상의 해상도와 수렴 정확도의 상관성이 적어 감소한 해상도 (120x67)에서 수행한다. 하지만 최종 영역맵과 확률맵은 EM 결과를 바탕으로 입력 영상 해상도(1920x 1080)에서 수행한다.

대상 데이터

객관적 실험에 사용된 영상은 그림 5의 3가지 영상 이외에 그림 7(a)의 6가지 영상들이며, hat 영상의 명암 대비 결과 및 히스토그램은 그림 7과 같다.

이론/모형

동일 장면내의 프레임에서는 GMM방법을 적용하여 영상 내 영역을 분리하는데 K-mean 분류와 기대-최대(EM : Expectation Maximization)을 수행한다. 이때 같은 장면 안에서 영역 분리 결과의 시간적 연속성을 위하여 키 프레임에서만 K-mean 초기화하고 기대-최대 방법에 의한 최적화를 함으로써 GMM 피팅을 수행한다.
영역분리에서 장면 검출에 의해 정의된 장면들은 평균적으로 비슷한 밝기이므로 이를 유지하기 위해 프레임 내에서도 평활화 작업에서 밝기 유지를 해야 한다. 본 논문에서는 S-커브 형태의 평활화 방법^[3]을 기반으로 한 영역 내 히스토그램 기반 평활화 방법을 적용하였다. 히스토그램 평활화 작업은 기존 히스토그램을 X(j) ∈{x₀, x₁ ···, x_L-1}구간 범위에서 변형 함수 c(x)를 활용하여 평활화된 Y(j)를 구한다.
따라서 비슷한 프레임들이 모여 있는 장면 전환 검출이 필요하고 장면의 키 프레임에 서만 GMM 파라메타가 계산되며 나머지 프레임에서는 키 프레임에서 계산된 GMM 파라메타 값을 사용하여 영역 분리를 한다. 장면 전환 검출은 chi-square distribution 방법을 사용한다^[11].

성능/효과

그림 8은 제안된 비디오 영역 분리 방법을 활용한 주간적 명암 대비 개선 결과이다. 개선된 영상은 각 영상에 보여지는 히스토그램에서 알 수 있듯이 명암 대비가 확장되었음을 알 수 있다.
표 1은 9가지 영상에 대하여 식 (13)을 이용한 평균 원영상 밝기 Mean(O)와 다양한 히스토그램 평활화 방법의 평균 밝기 Mean(R) 차이이며 작을수록 원영상과 평균 밝기 값을 유지함으로 판단된다. 제안된 GRSHE 방법은 최소 평균 밝기 차이를 위한 MMBEBHE 방식보다 더 적은 밝기 차이의 변화를 보인다. 평균 엔트로피 값은 식 (14)와 같고 영상의 세부 정보를 표현 하였는지의 값으로 높을수록 세부 정보를 잘 표현했음을 알 수 있는데 표 2와 같이 모든 테스트 영상에서 제안한 방법이 가장 높음을 확인할 수 있다.
제안된 GRSHE 방법은 최소 평균 밝기 차이를 위한 MMBEBHE 방식보다 더 적은 밝기 차이의 변화를 보인다. 평균 엔트로피 값은 식 (14)와 같고 영상의 세부 정보를 표현 하였는지의 값으로 높을수록 세부 정보를 잘 표현했음을 알 수 있는데 표 2와 같이 모든 테스트 영상에서 제안한 방법이 가장 높음을 확인할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	여러 레벨을 기반으로 서브 이미지를 나누는 멀티레벨 분리 방법 중 RMSHE 방법은 무엇인가?	기존 히스토그램 기반 명암대비 방법은 둘 또는 여러 레벨로 영역을 분리하고 각 영역별 변환 함수를 이용한 평활화 방법이 제안되어 왔는데, 두 개의 밝기 값을 분리하여 평활화 하는 BBHE(Brightness preserving Bi Histogram Equalization)[3], 중간 밝기를 두 개의 레벨로 분리하는 DSIHE(Dualistic Sub-Image Histogram Equalization)[4]이 있다. 여러 레벨을 기반으로 서브 이미지를 나누는 멀티레벨 분리 방법은 평균값을 기반으로 입력 히스토그램을 반복적으로 분리하여 평활화하는 RMSHE(Recursive Mean Separate Histogram Equalization)[5]과 히스토그램의 압축과 재분배 과정을 반복하여 변형된 히스토그램을 만든 후 평활화하는 BHEDC(Bi-Histogram Equalization based on Differential Compression)[6]방법들이 있지만 반복적 방법의 최적의 분리 회수를 산정하기 어렵고 분할 회수가 증가할수록 영상 밝기는 유지되지만 개선 효과가 크지 않다는 문제가 있다. 또한 최소 밝기값 유지를 위한 MMBEBHE(Minimum Mean Brightness Error Bi-Histogram Equalization[7]방법이 제안되었지만 세부 정보 표현에서는 부족한 부분이 있다.
	명암 대비 방법에는 무엇이 있는가?	특히 비디오의 경우 물체 또는 영역별 명암 대비 개선을 위한 많은 접근 방법들이 제안되어 왔지만 선결되어야 할 문제는 명암 분리를 위한 영역의 분리 정확성 및 밝기 보존에 의한 동영상의 시간적 변화가 최소화 되어야 한다. 명암 대비 방법은 히스토그램 기반 전역적인 평활화 (Histogram Equalization) 방법과 히스토그램 내 임의 밝기 구간이나 공간적으로 의미를 갖는 물체 또는 비슷한 컬러를 영역별로 히스토그램 평활화하는 지역적 방법이 있다. 일반적으로 전역적 명암대비 방법은 히스토그램이 가우시안 분포일 때 명암대비 효과가 크고 가우시안 분포가 아닌 히스토그램 분포에서는 밝기 값이 보존 되지 않거나 명암 대비 효과가 적다.
	가우시안 영역 분리 평활화 과정에서 K-mean 및 기대-최대 방법으로 생성된 영역맵과 확률맵의 특징은 무엇인가?	K-mean 및 기대-최대 방법은 실시간을 위해 원영상보다 작은 크기의 영상에서 수행되며 최종 프레임별 영역맵과 확률맵은 원영상의 크기에서 진행 한다. 이렇게 생성된 영역맵은 각 영역별 가우시안 분포를 최대로 갖을 수 있으며, 확률맵은 밝기 보존을 위한 변환 함수에 활용한다. 이렇게 생성된 프레임별 영역맵과 확률맵은 영역별 평균값 이동과 영역 내 밝기 보존 평활화를 수행한다. 여러 개의 영역을 가우시안 분포를 고려하여 분리하여 히스토그램 평활화 방법의 전체 알고리즘의 의사코드는 그림 1과 같다.

참고문헌 (12)

UHD Alliance, http://www.uhdalliance.org/. (accessed Aug. 21, 2017)
Wang Qing and R. K. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization," IEEE Trans. Consumer Electronics, vol. 53, no. 2, pp. 757-764, May 2007.

상세보기
Yeong-Taeg Kim, "Contrast enhancement using brightness preserving bi-histogram equalization," IEEE Trans. Consumer Electronics, vol. 43, no. 1, pp. 1 - 8, February 1997

상세보기
Wang Y, Chen Q, and Zhang B, "Image Enhancement Based on Equal Area Dualistic Sub-Image Histogram Equalization Method," Conumer Electronics, IEEE Transaction on, vol. 45, no. 1, pp.68-75 (1999)

상세보기
S. D. Chen and A. R. Ramli, "Contrast Enhancement using Recursive Mean-Separate Histogram Equalization for Scalable Brightness Preservation," IEEE Transaction on Consumer Electronics, vol. 49, no. 4, pp 1301-1309 (2003)

상세보기
J. W. Lee, S. H. Hong, "Bi-Histogram Equalization based on Differential Compression Method for Preserving the trend of Natural Mean Brightness," JBE vol. 19, no. 4, pp. 453-466 (2014)
S. D. Chen, A. R. Ramli, "Minimum Mean Brightness Error Bi-Histogram Equalization in Contrast Enhancement," IEEE Transaction on Consumer Electronics, vol. 49, no. 4, pp. 1310-1319 (2003)

상세보기
J. M. Hwang, O. S. Kwon, "Multiple Layers Block Overlapped Histogram Equalization based on The Detail Information," JBE vol. 18, no. 5, pp. 722-729 (2013)
R. Achanta, A. Shaji, S. Sustrunk, K. Smith, A. Lucchi, P. Fua, "SLIC Superpixels Compared to State-of-the-Art Superpixel Methods," IEEE Tran. on pattern analysis and machine intelligence, Vol. 34, No. 11, Nov. 2012
Sungbum Park, Woo-sung Shim, and Yong Seok Heo, "Unsupervised Video Segmentation and Its Application to Region-based Local Contrast Enhancement,"IST International Symposium on Electronic Imaging (EI), 2017
U. Gargi, R. Kasturi, and S. H. Strayer, "Performance characterization of video-shot-change detection methods," IEEE Trans. on Circuits and Systems for Video Technology, vol. 10, no. 1, pp. 1-13, Feb. 2000.
Q. Yang, K.H. Tan, and N. Ahura, "Real-time O(1) bilateral filtering," IEEE Conference on CVPR, 2009

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증