색상 필터 배열 컬러 영상 시스템은 센서를 통해 얻은 색상 정보를 색상 보간을 통해 컬러 영상을 얻는다. 컬러 영상을 얻기 위해 물리적 필터를 통해 넓은 가시 대역 중 색상 채널 별 독립적으로 일부만 센서가 수광 하게 된다. 이러한 차이로 인해 색상이 구분된 컬러 영상이 생성 된다. 하지만, 색상 채널들은 필터로 인한 빛 에너지의 손실이 발생하고 획득된 영상은 일정이상의 가시광선을 받지 못해 감도의 한계를 갖는다. 또한 가시대역의 에너지가 희박한 극저조도 상황에선 가시대역만을 활용하기에 영상 감도의 한계가 있다. 본 논문에서는 영상 시스템의 감도 한계를 해결 하기 위해 가시전대역 및 ...
색상 필터 배열 컬러 영상 시스템은 센서를 통해 얻은 색상 정보를 색상 보간을 통해 컬러 영상을 얻는다. 컬러 영상을 얻기 위해 물리적 필터를 통해 넓은 가시 대역 중 색상 채널 별 독립적으로 일부만 센서가 수광 하게 된다. 이러한 차이로 인해 색상이 구분된 컬러 영상이 생성 된다. 하지만, 색상 채널들은 필터로 인한 빛 에너지의 손실이 발생하고 획득된 영상은 일정이상의 가시광선을 받지 못해 감도의 한계를 갖는다. 또한 가시대역의 에너지가 희박한 극저조도 상황에선 가시대역만을 활용하기에 영상 감도의 한계가 있다. 본 논문에서는 영상 시스템의 감도 한계를 해결 하기 위해 가시전대역 및 근적외선을 활용을 제안한다. 가시전대역 채널은 필터링 되지 않은 가시대역을 온전히 받아들이며, 필터링 된 색상 채널들이 포함되어있어 각 채널간 상관도가 높다. 또한 근적외선 채널은 가시대역에 근접하여, 극저조도 상황에서 가시대역을 도와 감도 향상을 위해 활용이 가능하다. 첫 번째로 가시전대역의 활용은 필터링에 의해 손실되는 가시대역 에너지를 보상하여 영상의 감도를 높여준다. 가시전대역을 활용한 색상필터배열의 색상 보간 과정은 가시전대역의 고감도 특성을 반영하지만 이에 한계가 있다. 이를 위해 본 논문에서 가시전대역의 감도를 갖는 색상 보간 방법의 후처리 기법을 제안한다. 제안하는 후처리는 노이즈와 해상도 정보가 있는 텍스쳐 성분을 분리하며, 고해상도 저노이즈 특성을 갖는 가시전대역 채널의 텍스쳐 성분을 통해 RGB 채널들의 감도와 해상도를 향상 시킨다. 텍스쳐 성분의 효과적인 분리를 위해 컬러채널간 차이 정보가 반영된 교차 다자간 필터링이 제안한다. 이는 가시전대역에서 구분 되지 않는 색상 성분을 구분 할 수 있는 에지 보존 스무더 이다. 필터링을 통해 RGB 채널들에선 노이즈를 제거 할 수 있으며, W 채널에선 노이즈가 없는 해상도 성분을 취할 수 있다. 두 번째로 극저조도 상황에서 RGB-NIR 필터 배열 센서는 부족한 가시대역 빛 에너지를 보완하기 위해 근적외선 까지 수광 능력이 확장 되었다. 색상 보간 및 복원 과정에 의해 생성된 컬러 영상은 극저조도 상황에서 근적외선의 높은 감도 특성을 모두 반영하지 못한다. 이를 위해 본 논문에서, 근적외선의 감도를 갖는 컬러 복원 영상의 후처리 기법을 제안한다. 고감도 근적외선을 활용하기 위해 여러 선형 회귀 기반 컬러 채널 재구성 방법 들이 있지만, 극 저조도 상황에서 컬러 채널들의 많은 노이즈 때문에, 정확한 선형 상수 추정에 어려움이 있다. 이러한 문제를 해결하기 위해 제안하는 방법은 다음의 세 단계로 구성된다 : 근적외선 채널과 컬러 채널들 간 선형유사성을 활용한 가이드 필터링, 선형 상수의 정확도를 높이기 위한 에지-보존 스무더, 그리고 손실된 공간해상도 정보를 위한 나머지정보 보상. 위의 세 단계를 통해 선형회귀 방법의 정확도를 높임과 동시에, 누락될 수 있는 정보를 동시에 보상하여, 영상의 감도를 극대화 한다.
색상 필터 배열 컬러 영상 시스템은 센서를 통해 얻은 색상 정보를 색상 보간을 통해 컬러 영상을 얻는다. 컬러 영상을 얻기 위해 물리적 필터를 통해 넓은 가시 대역 중 색상 채널 별 독립적으로 일부만 센서가 수광 하게 된다. 이러한 차이로 인해 색상이 구분된 컬러 영상이 생성 된다. 하지만, 색상 채널들은 필터로 인한 빛 에너지의 손실이 발생하고 획득된 영상은 일정이상의 가시광선을 받지 못해 감도의 한계를 갖는다. 또한 가시대역의 에너지가 희박한 극저조도 상황에선 가시대역만을 활용하기에 영상 감도의 한계가 있다. 본 논문에서는 영상 시스템의 감도 한계를 해결 하기 위해 가시전대역 및 근적외선을 활용을 제안한다. 가시전대역 채널은 필터링 되지 않은 가시대역을 온전히 받아들이며, 필터링 된 색상 채널들이 포함되어있어 각 채널간 상관도가 높다. 또한 근적외선 채널은 가시대역에 근접하여, 극저조도 상황에서 가시대역을 도와 감도 향상을 위해 활용이 가능하다. 첫 번째로 가시전대역의 활용은 필터링에 의해 손실되는 가시대역 에너지를 보상하여 영상의 감도를 높여준다. 가시전대역을 활용한 색상필터배열의 색상 보간 과정은 가시전대역의 고감도 특성을 반영하지만 이에 한계가 있다. 이를 위해 본 논문에서 가시전대역의 감도를 갖는 색상 보간 방법의 후처리 기법을 제안한다. 제안하는 후처리는 노이즈와 해상도 정보가 있는 텍스쳐 성분을 분리하며, 고해상도 저노이즈 특성을 갖는 가시전대역 채널의 텍스쳐 성분을 통해 RGB 채널들의 감도와 해상도를 향상 시킨다. 텍스쳐 성분의 효과적인 분리를 위해 컬러채널간 차이 정보가 반영된 교차 다자간 필터링이 제안한다. 이는 가시전대역에서 구분 되지 않는 색상 성분을 구분 할 수 있는 에지 보존 스무더 이다. 필터링을 통해 RGB 채널들에선 노이즈를 제거 할 수 있으며, W 채널에선 노이즈가 없는 해상도 성분을 취할 수 있다. 두 번째로 극저조도 상황에서 RGB-NIR 필터 배열 센서는 부족한 가시대역 빛 에너지를 보완하기 위해 근적외선 까지 수광 능력이 확장 되었다. 색상 보간 및 복원 과정에 의해 생성된 컬러 영상은 극저조도 상황에서 근적외선의 높은 감도 특성을 모두 반영하지 못한다. 이를 위해 본 논문에서, 근적외선의 감도를 갖는 컬러 복원 영상의 후처리 기법을 제안한다. 고감도 근적외선을 활용하기 위해 여러 선형 회귀 기반 컬러 채널 재구성 방법 들이 있지만, 극 저조도 상황에서 컬러 채널들의 많은 노이즈 때문에, 정확한 선형 상수 추정에 어려움이 있다. 이러한 문제를 해결하기 위해 제안하는 방법은 다음의 세 단계로 구성된다 : 근적외선 채널과 컬러 채널들 간 선형유사성을 활용한 가이드 필터링, 선형 상수의 정확도를 높이기 위한 에지-보존 스무더, 그리고 손실된 공간해상도 정보를 위한 나머지정보 보상. 위의 세 단계를 통해 선형회귀 방법의 정확도를 높임과 동시에, 누락될 수 있는 정보를 동시에 보상하여, 영상의 감도를 극대화 한다.
Color filter array color image system obtains color image through color interpolation of color information obtained through sensor. The visible band is filtered by the filter to independently extract a part of the wide band independently of each channel, and the sensor receives the color difference ...
Color filter array color image system obtains color image through color interpolation of color information obtained through sensor. The visible band is filtered by the filter to independently extract a part of the wide band independently of each channel, and the sensor receives the color difference image. However, the color channels cause a loss of light energy in the filter, and the sensitivity of the image is limited. Also, in extremely low light conditions where the visible band information is sparse, there is a limit to utilizing only the visible band. In this dissertation, I propose the use of visible full band and near infrared rays to solve the sensitivity limit of the imaging system. The visible full band channel fully accepts the unfiltered visible band, and the correlation is also high because the filtered color channels are included. In addition, the near infrared channel is close to the visible band and can be utilized in extremely low light conditions where the visible band light energy is sparse. First, to use a W channel, red-green-blue-white (RGBW) color filter arrays (CFAs), which include highly sensitive W pixels, have been proposed. However, RGBW CFA patterns suffer from spatial resolution degradation owing to the sensor composition having more color components than the Bayer CFA pattern. RGBW CFA demosaicing methods reconstruct resolution using the correlation between white (W) pixels and pixels of other colors, which does not improve the red-green-blue (RGB) channel sensitivity to the W channel level. In this dissertation, I thus propose a demosaiced image post-processing method to improve the RGBW CFA sensitivity and resolution. The proposed method decomposes texture components containing image noise and resolution information. The RGB channel sensitivity and resolution are improved through updating the W channel texture component with those of RGB channels. For this process, a cross multilateral filter (CMF) is proposed. It decomposes the smoothness component from the texture component using color difference information and distinguishes color components through that information. Moreover, it decomposes texture components, luminance noise, color noise, and color aliasing artifacts from the demosaiced images. Finally, by updating the texture of the RGB channels with the W channel texture components, the proposed algorithm improves the sensitivity and resolution. Second, to use a NIR channel, red-green-blue near-infrared (RGB-NIR) multispectral filter arrays (MFAs), which include near infrared (NIR) pixels, have been proposed. For extremely low light scenes, the RGB-NIR MFA sensor has been extended to receive NIR light by adding NIR pixels to supplement for the insufficient visible band light energy. However, the resolution reconstruction of the RGB-NIR MFA using demosaicing and color restoration methods is based on the correlation between the NIR pixels and the pixels of other colors; this does not improve the RGB channel sensitivity with respect to the NIR channel sensitivity. In this dissertation, I propose a color restored image post-processing method to improve the sensitivity and resolution of an RGB-NIR MFA. Although several linear regression based color channel reconstruction methods have taken advantage of the high sensitivity NIR channel, it is difficult to accurately estimate the linear coefficients because of the high level of noise in the color channels under extremely low light conditions. The proposed method solves this problem in three steps: guided filtering based on the linear similarity between the NIR and color channels, edge preserving smoothing to improve the accuracy of linear coefficient estimation, and residual compensation for lost spatial resolution information. In order to verify the performance in visual and numerical comparison, the conventional methods and proposed methods were applied to various image sequences. To measure the quantitative improvement, signal-to-noise ratio (SNR) is compared. The qualitative evaluation was also performed.
Color filter array color image system obtains color image through color interpolation of color information obtained through sensor. The visible band is filtered by the filter to independently extract a part of the wide band independently of each channel, and the sensor receives the color difference image. However, the color channels cause a loss of light energy in the filter, and the sensitivity of the image is limited. Also, in extremely low light conditions where the visible band information is sparse, there is a limit to utilizing only the visible band. In this dissertation, I propose the use of visible full band and near infrared rays to solve the sensitivity limit of the imaging system. The visible full band channel fully accepts the unfiltered visible band, and the correlation is also high because the filtered color channels are included. In addition, the near infrared channel is close to the visible band and can be utilized in extremely low light conditions where the visible band light energy is sparse. First, to use a W channel, red-green-blue-white (RGBW) color filter arrays (CFAs), which include highly sensitive W pixels, have been proposed. However, RGBW CFA patterns suffer from spatial resolution degradation owing to the sensor composition having more color components than the Bayer CFA pattern. RGBW CFA demosaicing methods reconstruct resolution using the correlation between white (W) pixels and pixels of other colors, which does not improve the red-green-blue (RGB) channel sensitivity to the W channel level. In this dissertation, I thus propose a demosaiced image post-processing method to improve the RGBW CFA sensitivity and resolution. The proposed method decomposes texture components containing image noise and resolution information. The RGB channel sensitivity and resolution are improved through updating the W channel texture component with those of RGB channels. For this process, a cross multilateral filter (CMF) is proposed. It decomposes the smoothness component from the texture component using color difference information and distinguishes color components through that information. Moreover, it decomposes texture components, luminance noise, color noise, and color aliasing artifacts from the demosaiced images. Finally, by updating the texture of the RGB channels with the W channel texture components, the proposed algorithm improves the sensitivity and resolution. Second, to use a NIR channel, red-green-blue near-infrared (RGB-NIR) multispectral filter arrays (MFAs), which include near infrared (NIR) pixels, have been proposed. For extremely low light scenes, the RGB-NIR MFA sensor has been extended to receive NIR light by adding NIR pixels to supplement for the insufficient visible band light energy. However, the resolution reconstruction of the RGB-NIR MFA using demosaicing and color restoration methods is based on the correlation between the NIR pixels and the pixels of other colors; this does not improve the RGB channel sensitivity with respect to the NIR channel sensitivity. In this dissertation, I propose a color restored image post-processing method to improve the sensitivity and resolution of an RGB-NIR MFA. Although several linear regression based color channel reconstruction methods have taken advantage of the high sensitivity NIR channel, it is difficult to accurately estimate the linear coefficients because of the high level of noise in the color channels under extremely low light conditions. The proposed method solves this problem in three steps: guided filtering based on the linear similarity between the NIR and color channels, edge preserving smoothing to improve the accuracy of linear coefficient estimation, and residual compensation for lost spatial resolution information. In order to verify the performance in visual and numerical comparison, the conventional methods and proposed methods were applied to various image sequences. To measure the quantitative improvement, signal-to-noise ratio (SNR) is compared. The qualitative evaluation was also performed.
주제어
#red-green-blue-white (RGBW) demosaicing texture decomposition color filter array sensitivity improvement resolution improvement extremely low light near infrared multispectral filter array
학위논문 정보
저자
Jee, Seung Hoon
학위수여기관
연세대학교 일반대학원
학위구분
국내박사
학과
전기전자공학과
지도교수
강문기
발행연도
2019
총페이지
xi, 95p.
키워드
red-green-blue-white (RGBW) demosaicing texture decomposition color filter array sensitivity improvement resolution improvement extremely low light near infrared multispectral filter array
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.