디지털 카메라와 같은 장치에서 사용하는 단일 영상 센서는 화소 당 삼원색 중 하나의 색상만을 가진 서브샘플된 영상을 제공한다. 이 영상은 색상 보간이라는 영상 처리를 통해 완전한 색상 영상으로 복원된다. 본 논문에서는 영상 센서로부터 획득한 데이터의 평균과 각 색 채널 데이터 평균 사이의 관계를 유도하고, 이 관계를 이용하여 색상 보간을 위한 효율적인 새로운 방법을 제안하였다. 유도한 데이터 평균 관계는 채널간의 색상차가 지역적으로 균일하다는 가정을 이용하였다. 또한 휘도신호 채널의 보간은 지퍼 효과를 감소시키기 위해서 에지 방향을 따라 보간 하였다. 한편 색상신호 채널은 휘도신호 채널과의 차를 평균하고, 이 평균값을 보간할 위치의 색상 값에 더하여 복원하였다. 본 논문에서는 제안한 방법을 기존의 방법들과의 비교 실험을 통해 제안한 방법의 우수함을 입증하였다.
디지털 카메라와 같은 장치에서 사용하는 단일 영상 센서는 화소 당 삼원색 중 하나의 색상만을 가진 서브샘플된 영상을 제공한다. 이 영상은 색상 보간이라는 영상 처리를 통해 완전한 색상 영상으로 복원된다. 본 논문에서는 영상 센서로부터 획득한 데이터의 평균과 각 색 채널 데이터 평균 사이의 관계를 유도하고, 이 관계를 이용하여 색상 보간을 위한 효율적인 새로운 방법을 제안하였다. 유도한 데이터 평균 관계는 채널간의 색상차가 지역적으로 균일하다는 가정을 이용하였다. 또한 휘도신호 채널의 보간은 지퍼 효과를 감소시키기 위해서 에지 방향을 따라 보간 하였다. 한편 색상신호 채널은 휘도신호 채널과의 차를 평균하고, 이 평균값을 보간할 위치의 색상 값에 더하여 복원하였다. 본 논문에서는 제안한 방법을 기존의 방법들과의 비교 실험을 통해 제안한 방법의 우수함을 입증하였다.
In imaging devices such as digital cameras using a single image sensor, captured images are the sub-sampled images comprised of the pixels that have only one of the three primary colors per a pixel. This images should be restored to the color images through an image processing referred as color inte...
In imaging devices such as digital cameras using a single image sensor, captured images are the sub-sampled images comprised of the pixels that have only one of the three primary colors per a pixel. This images should be restored to the color images through an image processing referred as color interpolation. In this paper, we derive relation between the average of the data from CFA image sensor and the average of each color channel data. By using this relation, a new efficient method for color interpolation is proposed. Also, in order to reduce the zipper effect in a restored image, missing luminance values are interpolated along any edges in the captured image. On the other hand, for the chrominance channel interpolation, we average difference between a chrominance value and a luminance value in a local area, and this average value is added to the pixel value of the interpolated location. The proposed method has been compared with several previous methods, and our experimental results show the better results than the other methods.
In imaging devices such as digital cameras using a single image sensor, captured images are the sub-sampled images comprised of the pixels that have only one of the three primary colors per a pixel. This images should be restored to the color images through an image processing referred as color interpolation. In this paper, we derive relation between the average of the data from CFA image sensor and the average of each color channel data. By using this relation, a new efficient method for color interpolation is proposed. Also, in order to reduce the zipper effect in a restored image, missing luminance values are interpolated along any edges in the captured image. On the other hand, for the chrominance channel interpolation, we average difference between a chrominance value and a luminance value in a local area, and this average value is added to the pixel value of the interpolated location. The proposed method has been compared with several previous methods, and our experimental results show the better results than the other methods.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 CFA 영상 센서로부터 획득한 영상의 복원 성능을 높이기 위해 효율적인 색상 보간 방법을 제안하였다. 특히, 휘도신호 채널의 복원 성능을 개선시켜 전체적인 보간 성능을 향상시켰다.
본 논문에서는 CFA를 갖는 단일 영상 센서를 통하여 서브샘플링 (sub-sampling)된 영상을 보간하기 위해서 휘도신호 채널 복원 성능을 개선한 새로운 색상 보 간 방법을 제안한다. 제안한 기법에서 휘도신호 채널보간 방식은 에지 센싱 기법을 이용하고, 고정 색상 차가 정에 근거하여 에지 방향에서의 CFA 신호와 각 채널 사이의 평균 관계를 적용하였다.
정확한 特와 M? 값을 알아야 정밀한 a 값을 구할 수 있으나, CFA 데이터로부터 G-2, Git G+2와 S-i, 且+1의 값을 알 수가 없다. 본 논문에서는 이 값들을 근사하기 위해 각 화소 위치에 인접한 양쪽 화소들의 값을 평균한다. 즉, %_2의 값은 (G-3 —G-J/2로 계산한다.
본 논문에서는 휘도신호 채널에 대한 보간 성능을 개선하여 우수한 질의 영상을 얻고자 한다. 즉, 제안한 방법은 휘도신호 채널의 보간에 초점을 두고 있다.
가설 설정
에지 센싱 보간은 대부분 색상신호 (chrominance)인 R과 B 보다 휘도신호 (luminance)인 G 성분의 보간에 많이 사용된다. 반면 색상신호 채널 의보 간에 많이 사용되는 고정 색상차 기반 보간법은 휘도신호와 각 색상신호의 차인 색상차 (color difference) 가 인접 영역에서 급격히 변화하지 않는다는 가정을 이용하는 것이다.
제안 방법
특히, 휘도신호 채널의 복원 성능을 개선시켜 전체적인 보간 성능을 향상시켰다. 보간할 화소의 주변 영역에서 CFA 데이터와 각 채널간의 평균 관계를 유도하고 그 관계를 이용하여 휘도신호 성분을 보간하였다. 여러 기존의 방법들과 제안한 방법의 성능을 비교하기 위해서 각 방법으로부터 복원된 영상들의 MSE 와 PSNR 측정값을 이용하였다.
보간할 화소의 주변 영역에서 CFA 데이터와 각 채널간의 평균 관계를 유도하고 그 관계를 이용하여 휘도신호 성분을 보간하였다. 여러 기존의 방법들과 제안한 방법의 성능을 비교하기 위해서 각 방법으로부터 복원된 영상들의 MSE 와 PSNR 측정값을 이용하였다. 실험 결과, 제안한 방법이 기존의 방법들보다 전체적으로 우수함을 보였다.
방법을 제안한다. 제안한 기법에서 휘도신호 채널보간 방식은 에지 센싱 기법을 이용하고, 고정 색상 차가 정에 근거하여 에지 방향에서의 CFA 신호와 각 채널 사이의 평균 관계를 적용하였다. 색상신호 채널 보간은 Laroche와 Hamilton, Pei의 방법들과 마찬가지로 고정색상 차 기반 기법을 이용하였다.
제안한 알고리즘은 고정 색상차 가정에 근거하여 CFA 데이터의 평균값과 휘도신호 또는 색상신호 평균값 사이의 관계식을 유도하고, 그 관계식을 이용하여 휘도신호를 보간 한다. 고정 색상차 기반 기법의 가정에 따라, 日과 G채널, B와 G채널과의 관계를 식 (3) 과식 (4)와 같이 나타낼 수 있다.
대상 데이터
제안한 방법의 성능을 평가하기 위해 그림 5에 나타낸 24비트 비손실 (lossless) 영상인 KODAK PhotoCD PCD0992 샘플 영상들을 이용하였다.
데이터처리
각 색상 보간 방식들의 수치적 성능은 원래의 영상 데이터와 각 방법으로 통해 얻은 복원 영상 데이터에 대한 평균제곱오차 (MSE; mean square error) 와 최대 신호 대 잡음 비 (PSNR; peak signal to noise rate)를 대상으로 평가하였다. 실험 영상에 대한 각 방법의 MSE 값을 그림 6에 그래프로 나타내었다.
또한 세 개의 기존 방법들을 같은 영상에 적용하여 제안한 방법의 결과와 비교하였다. 제안한 방법과 비교 대상 방법들은 모두 동일한 색상신호에 대한 채널 보간
이론/모형
Pei의 방법은 영상의 완만한 영역에서 매우 우수한 결과를 나타내지만, 에지 부근에서 지퍼 효과 (zipper effect)가 심각하게 발생하는 단점을 갖고 있다. Pei 방법 역시 색상신호 채널 보간을 위해 Laroche의 방식을 따른다.
본 논문에서는 색상신호 채널 보간은 고정 색상차 기반 기법을 사용하였으며, Laroche와 Hamilton, Pei의 연구에서 색상신호 채널 보간을 위해 사용한 방식과 동일하다.
이용한다. 본 논문에서는 에지 선택의 기준인 수평과 수직 방향의 경사도를 구하기 위해 Hamilton 빙^식에서 사용한 복합분류자를 사용한다. 경사도 계산 방법을 설명하기 위해 그림 2에 현재 복원할 화소에 R 색상이 존재하는 경우의 패턴을 보였다.
제안한 기법에서 휘도신호 채널보간 방식은 에지 센싱 기법을 이용하고, 고정 색상 차가 정에 근거하여 에지 방향에서의 CFA 신호와 각 채널 사이의 평균 관계를 적용하였다. 색상신호 채널 보간은 Laroche와 Hamilton, Pei의 방법들과 마찬가지로 고정색상 차 기반 기법을 이용하였다.
제안한 휘도신호 채널의 보간 방법은 에지 센싱 기법을 이용한다. 본 논문에서는 에지 선택의 기준인 수평과 수직 방향의 경사도를 구하기 위해 Hamilton 빙^식에서 사용한 복합분류자를 사용한다.
성능/효과
실험 영상에 대한 각 방법의 MSE 값을 그림 6에 그래프로 나타내었다. 그림 6에서 알 수 있듯이, 제안한 방법이 기존의 방법들보다 전체적으로 작은 MSE 값을 갖고 있음을 알 수 있다. 그림 7에 나타낸 PSNR 결과에서도 제안한 방법이 가장 우수함을 알 수 있다.
93 dB 우수하였다. 또한 우리는 시각적 비교 실험에서도 제안한 방법이 우수함을 보였다.
표 1 과 표 2에서 15번 영상의 G와 B채널을 제외한 모든 샘플 영상의 모든 채널에서 제안한 방법이 기존의 방법들에 낮은 MSE와 높은 PSNR 값을 나타내고 있다. 또한 표 2에서도 제안한 방법이 전반적으로 높은 PSNR 값은 나타냄을 알 수 있다. 제안한 방법을 포함하여 실험에 사용한 모든 방법들이 같은 색상신호 채널 보간법을 사용함에도 불구하고, 표 1과 표 2에서 각 방법들이 R 과 B 채널에 대해 다른 결과 값을 나타내는 것은 휘도신호 채널의 보간 결과가 색상신호 채널 보간에 영향을 미친다는 것을 의미한다.
여러 기존의 방법들과 제안한 방법의 성능을 비교하기 위해서 각 방법으로부터 복원된 영상들의 MSE 와 PSNR 측정값을 이용하였다. 실험 결과, 제안한 방법이 기존의 방법들보다 전체적으로 우수함을 보였다. 특히 PSNR 비교 실험에서 제안한 방법의 결과가 Laroche의 방법보다 최대 5.
또한 표 2에서도 제안한 방법이 전반적으로 높은 PSNR 값은 나타냄을 알 수 있다. 제안한 방법을 포함하여 실험에 사용한 모든 방법들이 같은 색상신호 채널 보간법을 사용함에도 불구하고, 표 1과 표 2에서 각 방법들이 R 과 B 채널에 대해 다른 결과 값을 나타내는 것은 휘도신호 채널의 보간 결과가 색상신호 채널 보간에 영향을 미친다는 것을 의미한다. 시각적 비교를 위해 그림 8과 그림 9에 각 방법들을 이용하여 복원한 결과 영상들의 일부분을 확대하여 나타내었다.
실험 결과, 제안한 방법이 기존의 방법들보다 전체적으로 우수함을 보였다. 특히 PSNR 비교 실험에서 제안한 방법의 결과가 Laroche의 방법보다 최대 5.44 北가 높았고, 평균적으로 3.93 dB 우수하였다. 또한 우리는 시각적 비교 실험에서도 제안한 방법이 우수함을 보였다.
특히, 휘도신호 채널의 복원 성능을 개선시켜 전체적인 보간 성능을 향상시켰다. 보간할 화소의 주변 영역에서 CFA 데이터와 각 채널간의 평균 관계를 유도하고 그 관계를 이용하여 휘도신호 성분을 보간하였다.
그림 8과 그림 9는 각각 16번과 17번 영상을 보간한 결과들이다. 확대 크림들에서 알 수 있듯이, 제안한 방법의 결과가 Hamilton의 것과 유사하고, 나머지 방법들의 결과 영상보다 우수한 질을 나타내고 있다. 제안한 방법의 결과가 Hamilton의 것과 유사하게 보이는 것은 제안한 알고리즘의 경사도 판단 방법이 Hamilton의 것과 같기 때문이다.
참고문헌 (7)
B. E. Bayer, 'Color imaging array,' U.S. Patent 3,971,065, 1975
B. K. Gunturk, J. Glotzback, Y. Altunbasak, et al., 'Demosaicking: color filter array interpolation,' IEEE Signal Processing Magazine, Vol. 22, Iss. 1, pp 44-54, Jan 2005
P. S. Tsai, T. Acharya, and A. K. Ray, 'Adaptive fuzzy color interpolation,' Journal of Electronic Imaging, Vol. 11, Iss. 3, pp. 293-305, Jul 2002
C. A. Laroche and M. A. Prescott, 'Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients,' U.S. Patent 5,373,322, 1994
J. F. Hamilton Jr. and J. E. Adams Jr., 'Adaptive color plan interpolation in single sensor color electronic camera,' U.S. Patent 5,629,734, 1997
D. R. Cok, 'Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal,' U.S. Patent 4,642,678, 1987
S. C. Pei and I. K. Tam, 'Effective color interpolation in CCD color filter arrays using signal correlation,' IEEE Trans. Circuits and Systems for Video Tech., Vol. 13, No. 6, pp. 503-513, Jun 2003
※ AI-Helper는 부적절한 답변을 할 수 있습니다.