본 논문에서는 모바일 폰 카메라의 적용을 위한 자동백색보정(Auto White Balance, AWB) 기능 중에서 단색영상에 대한 탈색 현상과 색상의 왜곡을 막기 위한 단색영상 검출 알고리즘을 제안하였다. 기존의 자동백색보정 기능은 복합영상의 경우에는 정상적으로 자동백색보정이 수행되었지만, 입력영상이 단색이거나 단색이 상당량 포함되어 있는 영상이 입력되는 경우에는 해당 색상이 탈색되거나, 입력영상의 색상 성분에 의해서 자동백색보정의 결과가 왜곡된 색상으로 나타나는 문제점이 발생하였다. 본 논문에서는 자동백색보정 수행 시 상기 단색영상에 대한문제 점을 해결하기 위하여 입력 영상의 색상정보에 대한 히스토그램 데이터를 이용한 단색영상 검출 알고리즘을 개발 하였다. 본 논문에서 제안하는 알고리즘을 자동백색보정 기능에 추가적으로 적용된다면 더욱 향상된 기능의 자동 백색보정이 수행될 수 있을 것이라 기대한다.
본 논문에서는 모바일 폰 카메라의 적용을 위한 자동백색보정(Auto White Balance, AWB) 기능 중에서 단색영상에 대한 탈색 현상과 색상의 왜곡을 막기 위한 단색영상 검출 알고리즘을 제안하였다. 기존의 자동백색보정 기능은 복합영상의 경우에는 정상적으로 자동백색보정이 수행되었지만, 입력영상이 단색이거나 단색이 상당량 포함되어 있는 영상이 입력되는 경우에는 해당 색상이 탈색되거나, 입력영상의 색상 성분에 의해서 자동백색보정의 결과가 왜곡된 색상으로 나타나는 문제점이 발생하였다. 본 논문에서는 자동백색보정 수행 시 상기 단색영상에 대한문제 점을 해결하기 위하여 입력 영상의 색상정보에 대한 히스토그램 데이터를 이용한 단색영상 검출 알고리즘을 개발 하였다. 본 논문에서 제안하는 알고리즘을 자동백색보정 기능에 추가적으로 적용된다면 더욱 향상된 기능의 자동 백색보정이 수행될 수 있을 것이라 기대한다.
In this paper, we proposed Single Tone Detection Algorithm for prevent decoloration and color distortion of single tone image in auto white balance of mobile phone camera. Conventional auto white balance which accomplish very well using complex color images, but there are some problems if input imag...
In this paper, we proposed Single Tone Detection Algorithm for prevent decoloration and color distortion of single tone image in auto white balance of mobile phone camera. Conventional auto white balance which accomplish very well using complex color images, but there are some problems if input images are single tone image or included large part of single tone. If input images are singlet one, or included large part of single tone, which cause decoloration or distorted color in output images. In this paper, we proposed single tone detection algorithm using color histogram data for solve decoloration or distorted color problems. If this algorithm is applied to auto white balance, it will be improvement in auto white balance.
In this paper, we proposed Single Tone Detection Algorithm for prevent decoloration and color distortion of single tone image in auto white balance of mobile phone camera. Conventional auto white balance which accomplish very well using complex color images, but there are some problems if input images are single tone image or included large part of single tone. If input images are singlet one, or included large part of single tone, which cause decoloration or distorted color in output images. In this paper, we proposed single tone detection algorithm using color histogram data for solve decoloration or distorted color problems. If this algorithm is applied to auto white balance, it will be improvement in auto white balance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 복합영상에서 단색영상으로의 진행과정에서 발생하는 색상의 왜곡에 대한 문제점 또한 고려하여서 동영상 환경에서도안정적으로 자동백색보정이 수행될 수 있도록 하였다. 단색영상을 판단하기 위한 판단조건과, 복합영상에서단색 영상으로의 진행과정을 판단할 수 있는 판단 조건에서 필요하게 되는 다양한 문턱 값은 알고리즘 개발과정에서 수행되는 실험에 의해서 결정되었으며 금후 더욱더 다양한 실험을 통해서 더욱 적절한 문턱값을 생성하는 것을 목표로 하고 있다.
따라서 본 논문에서는 복합영상에서 진행되는 단색영상의 영향에 대한 문제점을 해결하고자 하였다. 색상의 왜곡을 발생시키는 원인을 프레임이 진행될수록 발생하는 단색영상에 대한 데이터에 있다고 판단하였다.
또한 단위 그룹의 크기를 4보다 크게 하였을 경우에는 처 리하는 그룹의 숫자는 줄어들어서 시스템의 부담을 줄어들 수 있지만 너무 많은 데이터들이 하나의 그룹에 형성되어서 데이터 분석이 용이하지 못하다는 단점이 있다. 따라서 본 논문에서는 영상의 색상을 분석하기위한 히스토그램의 단위그룹 크기를 4로 고정해서 64개의 그룹으로 생산된 색상정보에 대한히스토그램의 데이터를 이용해서 단색영상 검출 알고리즘에 적용하도록 제안하였다.
따라서 본 논문에서는 자동백색보정을 위한 입력 영상의 특성을 파악하고 단색영상에 대한 탈색과 색상 왜곡에 대한 문제 해결을 위한방법을 제안하였다.
본 논문에서 는 모바일 폰 카메 라에 적용되는 자동백색 보정 기능의 단색영상에 대한 탈색과 색상의 왜곡의 문제점을 해결하기 위한 단색영상 검출 알고리즘에 대해서 제안하였다. 모바일 폰 카메라의 자동백색보정 기능은 일반적으로RGB평균값에 대한 컬러 이득(Gain)을 적용하는 알고리즘을 사용하는데 이는 단색영상에 대해서는 색상을 탈색시키는 문제점을 발생시킨다.
본 논문에서는 이러한 문제점을 해결하기 위해서 입력영상의 컬러정보에 대한 히스토그램 데이터를 분석해서 복합영상과 단색영상에 대한 특성을 판단하고 영상의 특성에 따라 자동백색보정 기능이 조정되어 영상의 탈색에 대한 문제점을 해결하였다. 또한 복합영상에서 단색영상으로의 진행과정에서 발생하는 색상의 왜곡에 대한 문제점 또한 고려하여서 동영상 환경에서도안정적으로 자동백색보정이 수행될 수 있도록 하였다.
본 논문에서는 입력 이미지의 특성을 판단하기 위해서 영 상의 색 상정보를 이용하여 특성을 판단할 수 있도록 하였다. 이 때, 영상의 RGB 정보를 모두 이용하게 판단하는 것이 아니라 RGB 색 좌표계를 YCbCr 색 좌표계로 변환하여 색상정 보인 Cb, Cr을 이용해서 영상의 특성을 판단한다.
문제점이 발생한다. 본 논문에서는 자동백색보정을위한Grayworld알고리즘의 단색 영상 입력에 대해서 영상의 색상 정보의 히스토그램 분석 [3]을 이용한 색상 왜곡에 대한 문제점을 해결할 수 있는 알고리즘을 제안하였다. 본 논문의 II장에서는 색상의 왜곡의 원인에 대해서 언급하였고 m장에서는 영상의 특성 판단을 위한 방법을 언급하였다.
가설 설정
Grayworld 알고리 즘은 간략하게 다음과 같다. RGB 각각의 값이 동일한 값으로 구성되면 이는 RGB 색 좌표계의 (0, 0, 0)에서 (1, 1, 1)까지 구성 되어 있는 Gray Scale에 있는 색상 중에 하나의 값으로 판단될 수 있으며 색상의 왜곡이 없는 영상의 RGB 평균값은 항상 Gray Scale에 있을 것이라는 가정을 바탕으로 한다. 그러므로 입력 영상의 RGB 각각 평균을 계산하였을 때, 각각의 값이 동일하지 않고 서로 다른 경우에는 그 만큼의 색상의 왜곡이 발생되었다고 판단할 수 있다.
그림 4의 좌측 이미지에서와 같이 자동백색보정을 위한 영상이 다양한 색상으로 구성되지 못하고 단일 색상이 대부분인 영상으로 입력된다고 가정해 보자. 입력 영상의 특성에 대한 고려 없이 전체 RGB의 평 균값을 동일하게 해주기 위한 자동백색보정 과정이 적용된다.
제안 방법
이러한 경우 만약 조건이 둘 중하나만을 만족시켰을 경우단색영상임에도불구하고 복합영상으로 판단되는 경우가 발생한다. 그러므로 시스템의 안정성을 위해서 두 가지 조건 중에서하나의 조건만 만족했을 경우에 단색영상으로 판단될수 있도록 판단조건을 생성하였다. 만약 판단된 영상이 단색영상일 경우에는 자동백색보정을 위해 적용하는 이득(Gain)을 더 이상 적용하지 않고 복합영상에서의 자동백색보정을 위해 생성되었던 이득(Gain)을 계속 유지하도록 함으로써 자동백색보정도 정상적으로수행되고 단색영상에 대한 탈색 문제점도 없는 결과를얻을 수 있도록 하였다.
그리고 본 논문에서 는 0~255값을 256개의 그룹으로 분할하여 각각의 해당 영역에 대한 픽셀의 비율을 따지는 것이 아니라 픽 셀을 누적 하기 위한 하나의 단위 그룹의 크기를 4로 하여 총 64개의 그룹으로 나누어서 히스토그램을 생성하였다 [9].
있다. 단색영상 여부를 판단하기 위해서 Cb 히스토그램의 최대 비율값또는Cr히스토그램의 최대 비율값, 즉 두 조건 중에서 하나의 조건만 만족시키면 단색영상이라고 판단할 수 있도록 하였다. 그러한 이유는 일반적인 단색 영 상은 Cb, Cr 히스토그램 모두가 유사한 값을 가지면서 히스토그램 각각의 최대 비율값또한큰차이가없을 것이라고예상하지만표 1의 좌측 데이 터와 같이 최대 비 율값이 유사하지 않고 일정 량 편차가 있을 경우도 발생할 수 있다.
수식 3에서와 같이 아주적은 값들을 제거할 수 있는 문턱값 이상의 데이터만을 이용해서 단색영상에 대한 데이터의 제거를 수행할 수 있도록 하였다. 따라서 수식 3이 수행된 이후에 명확히 구분된 각각의 그룹의 형태를 분석한다. 그림 10의 ③과같이 복합영상의 데이터 형 태는 64개의 데이터 저장 공간 중에서 차지 하는 공간이 많은 반면에 ②와 같이 단색영상의 경우에는 차지하는 데이터 저장 공간이 상대적으로 적다.
그러나 색상의 왜곡이 없는 우측의 영상eRGB 평균값모두가동일한 값으로 형성되어 있다는 것을 알 수 있다. 따라서 왜곡된 색상을 보정하기 위해서는 RGB 평균값을 모두 일정하게 조정할 수 있는 이득(Gain)을 적용해 줌으로써자동백색 보정이 이루어지도록 한다. 자동백색보정을위 한 이 득(Gain)을 적 용할 때 에 는 RGB중에서 G의 평균값을 기 준으로해서 R 이 득(Gain)과 B 이 득(Gain)을 생성해서 G의 평균값과 같아지도록 조정하는데, 이때 G의평균값을 기준으로 하는 이유는 사람이 지각할 수 있는 380nm에서 780nm인 가시광선 영역에서 Green의 파장영 역 인 500~550nm영역 이 사람의 눈에 가장 감도가 크며 따라서 안구의 시세포들이 Green에 해당되는 빛의 파장을 가장 잘 흡수하기 때문이 다 [7].
그림 10의 ③과같이 복합영상의 데이터 형 태는 64개의 데이터 저장 공간 중에서 차지 하는 공간이 많은 반면에 ②와 같이 단색영상의 경우에는 차지하는 데이터 저장 공간이 상대적으로 적다. 따라서 이러한 특성을 이용하여 단색영상에 대한 데이터 제거를 수행할 수 있도록 하였다.
색상의 왜곡을 발생시키는 원인을 프레임이 진행될수록 발생하는 단색영상에 대한 데이터에 있다고 판단하였다. 따라서 정상적인 자동백색보정의 수행을 위해서는 히스토그램에서 진행되는 단색영상에 대한 데이터를 제거하고 나머지 복합영상의 데이터만을 이용해서 자동백색 보정을 수행하도록 제안하였다. 그림 8은 그림 7에서 복합영상에서 프레임이 진행될수록 점차 증가하고 있는 단색 영 상에 대한 데이터를 제거 한 히 스토그램 결과를 나타내고 있다.
탈색에 대한 문제점을 해결하였다. 또한 복합영상에서 단색영상으로의 진행과정에서 발생하는 색상의 왜곡에 대한 문제점 또한 고려하여서 동영상 환경에서도안정적으로 자동백색보정이 수행될 수 있도록 하였다. 단색영상을 판단하기 위한 판단조건과, 복합영상에서단색 영상으로의 진행과정을 판단할 수 있는 판단 조건에서 필요하게 되는 다양한 문턱 값은 알고리즘 개발과정에서 수행되는 실험에 의해서 결정되었으며 금후 더욱더 다양한 실험을 통해서 더욱 적절한 문턱값을 생성하는 것을 목표로 하고 있다.
상기 그림 He 본 논문에서 제안하는 단색영상 검출알고리즘의 전체적인 흐름도를 나타내고 있으며 본 알고리즘에서의 발생하는 문턱값들은 다양한 데이터를이용한 실험을 통해서 가장 조건에 알맞은 값이라고 판단된 값으로 설정하였다.
나타내고 있다. 상기 수식 5를 통해서 전체 히스토그램에서 제거할 수 있는 데이터양의 최대값을 설정할 수 있도록 하였다.
생성된 영상의 색상 정보인 Cb, Cr의 히스토그램 정보를 이용해서 복합영상과 단색영상과의 특성을 파악할 수 있도록 하였다.
위한 수식을 나타내고 있다. 수식 3에서와 같이 아주적은 값들을 제거할 수 있는 문턱값 이상의 데이터만을 이용해서 단색영상에 대한 데이터의 제거를 수행할 수 있도록 하였다. 따라서 수식 3이 수행된 이후에 명확히 구분된 각각의 그룹의 형태를 분석한다.
성능/효과
정상적인 색상으로 표현되고 있다. RGB 각각의 평균값을 비교해보면 좌측의 영상eB의 평균이 R과G의 값에 비해서 상당히 높다는 것을 알 수 있다. 그러나 색상의 왜곡이 없는 우측의 영상eRGB 평균값모두가동일한 값으로 형성되어 있다는 것을 알 수 있다.
않는 경우가 발생할 수 있다. 결과적으로 이러한 경우에는 복합영상으로 판단되 었는데 컬러 이득(Gain)을 생성할 수 있는 데이터가 거의 남아있지 않아서 올바른 컬러 이득(Gain)을 생성 할 수 없는 문제점 이 발생한다. 그러므로 보다 안정적인 자동백색보정의 수행을 위해여추가적 인 조건이 필요하다.
반면에 단색영상의 히스토그램은 다양한 색상 없이 하나의 색상으로 구성되어 있으므로 히스토그램의 형태 역시 좁은 구간에 집중되어있다는 것을 알 수 있다. 따라서 64개 중에서 가장 높은비율을 갖는 그룹의 비율 역시 복합영상의 히스토그램과 비교했을 때 상대적으로 큰 값을 갖는 것을 확인할수 있다. 하지만 이때 단색영상이라고 해서 히스토그램의 한 그룹에 모두 집중되는 것이 아니라 적은 수의 그룹에 집중적으로 형성되어 있다는 것을 알 수 있다.
분포하고 있다는 것을 알 수 있다. 따라서 64개의그룹 중에서 가장 높은 비 율의 그룹 역 사 전체 영 상의 픽셀 수에 비해서 비교적 낮은 비율로 데이터들이 형성되어 있다는 것을 알 수 있다. 반면에 단색영상의 히스토그램은 다양한 색상 없이 하나의 색상으로 구성되어 있으므로 히스토그램의 형태 역시 좁은 구간에 집중되어있다는 것을 알 수 있다.
하지만 단색영상의 경우에 는 모두 50% 이상의 최대 비 율값을 나타내고 있는 것을 확인할 수 있다. 따라서 복합영상과 단색영상을 판단하기 위해서는Cb, Cr 히스토그램의 가장 높은 비율을 갖는 그룹의 값을 이용해서 영상의 특성을 판단할 수 있다. 즉, 다양한 실험에 의해 결정된 문턱 값을 설정하여 Cb, Cr히스토그램의 최대 비율값이 문턱값이상일 경우에는 이는 특정 영역에 색상이 집중되어 있다고 판단되어 단색영상이라고 판단하고, 만약 그렇지 않을 경우에는 전체적으로 넓은 영역으로 색상 데이터가 분포되어있어 복합영상이라고 판단할 수 있다.
만약 이상적인 경우의 단색영상이 입력된다면 하나의 그룹 안에서 모두 데이터가 형성되어 있을 것이라 예상할수 있다. 하지만 본 논문에서는 이미지 센서로부터 입력되는 영상을 입력받아서 영상신호를 처리하고 있는시스템이기 때문에 아무리 단색의 영상이 카메라 센서로부터 입력된다고 하더라도 조명에 대한 피사체의 반사광이나 매질의 상태에 의해서 하나의 그룹에 집중되지 못하고 적은 그룹으로 집중적으로 형성되어 있다는것을 알 수 있다.
후속연구
결과적으로 입력 영상의 RGB 평균값을 이용한 자동백색보정의 알고리즘에서도 단색영상에 대해서 탈색과색상의 왜곡이 없는 올바른 자동백색보정이 수행된 결과를 기대할 수 있다.
참고문헌 (9)
J. Huo, Y. Chang, J. Wang, and X. Wei, "Robust Automatic White Balance Algorithm using Gray Color Points in Images," IEEE Trans. on Consumer Electronics, Vol. 52, No. 2. pp. 541-546, 2006.05
L-T Shen and S-H Hwang, "A new single tone detection algorithm,"Communications, Control and Signal Processing, 2008. ISCCSP 2008. 3rd International Symposium on, Vol. 12-14, pp.600-603, 2008.03
조용태, '자동 화이트 밸런스 조정 장치 및 방법,' 대한민국특허청, 출원번호:10-2003-0004055, 2003-01-21
F.A. Glad, "Color temperature alignment using machine vision," IEEE Trans. on Consumer Electronics, Vol.37, pp.623-628, 1991.08
http://kdaq.empas.com/knowhow/view.html?num210125
B. Kang, O. Moon, C. Hong, H. Lee, B. Cho, and Y. Kim, "Design of Advanced Color - Temperature Control System for HDTV Applications," JKPS, Vol. 41, No. 6, pp. 865-871, 2002.12
김경린, 손경수, 하주영, 김상준, 강봉순, "CIEL*a*b* 색 공간에서 적응적 컬러 샘플링을 이용한 Mobile Phone 카메라용 자동 화이트 밸런스 알고리즘," 한국해양정보통신학회, 제12권 8호, pp.1356-1362, 2008.08
※ AI-Helper는 부적절한 답변을 할 수 있습니다.