최근 디지털 카메라의 해상도가 급격하게 증가하는 방향으로 발전하고 있는 반면, CMOS 영상 센서 칩의 크기는 센서의 특성 상 거의 일정하게 유지되고 있다. 그렇기 때문에 CMOS 영상 센서, 다시 말해 CFA 내부에 존재하는 색상 센서들의 수가 점점 늘어나고 있으며, 그로 인해 각 색상 센서들의 크기가 상대적으로 계속해서 작아지고 있는 추세이다. 이는 각 픽셀이 일정 시간 동안 받아들일 수 있는 빛의 양 또한 줄어든다는 것을 의미한다. 이로 인해 저조도 환경에서 영상의 품질이 저하되는데, 특히 심각한 노이즈나 블러 등의 현상을 초래할 수가 있다. 이러한 단점을 개선하기 위해 기존 CFA보다 빛에 대한 ...
최근 디지털 카메라의 해상도가 급격하게 증가하는 방향으로 발전하고 있는 반면, CMOS 영상 센서 칩의 크기는 센서의 특성 상 거의 일정하게 유지되고 있다. 그렇기 때문에 CMOS 영상 센서, 다시 말해 CFA 내부에 존재하는 색상 센서들의 수가 점점 늘어나고 있으며, 그로 인해 각 색상 센서들의 크기가 상대적으로 계속해서 작아지고 있는 추세이다. 이는 각 픽셀이 일정 시간 동안 받아들일 수 있는 빛의 양 또한 줄어든다는 것을 의미한다. 이로 인해 저조도 환경에서 영상의 품질이 저하되는데, 특히 심각한 노이즈나 블러 등의 현상을 초래할 수가 있다. 이러한 단점을 개선하기 위해 기존 CFA보다 빛에 대한 민감도가 더 높은 CFA의 필요성이 제기되었고, 그 결과 기존 보다 민감도가 더 높은 W-RGB CFA가 개발이 되었다. W-RGB CFA는 기존 Bayer CFA의 초록색 필터 중 일부를 투명한 필터로 대체함으로써 만들어 졌는데, 이 투명 필터의 존재로 인해 더 높은 민감도를 가질 수 있다. 모든 단일 센서 영상 시스템은 최초로 특정한 장면을 촬영했을 때, 모든 픽셀에 모든 색상정보가 존재하지 않고, 주변 색상정보들의 정보를 이용하여 풀 컬러 영상을 재현해 내어야 한다. 현재 새로운 W-RGB CFA가 개발이 되었으므로, 이에 맞는 풀 컬러 재현 알고리즘 역시 개발이 필요하다. 이러한 필요성을 기반으로 해서 본 논문은 민감도가 높은 W-RGB CFA기반 영상 시스템에 사용 될 수 있는 Demosaicing 방법을 제안하는데, 이는 색상 차 추정 방법을 이용한다. 색상 차란 동일한 픽셀 위치에서 다른 색상 채널 간의 값들의 차이를 의미하는데, 본 논문에서는 이 색상 차 정보를 이용해서 센서에서 촬영 된 색상정보의 조각들을 풀 컬러 영상으로 재현한다. 2가지 방식의 접근이 이루어 지는데, 두 채널 간의 색상 차를 이용한 방법과, 다중 채널 간의 색상 차를 이용한 방법이 제안된다. 알고리즘 뿐 만 아니라 하드웨어 구조를 제안함으로써 제안하는 알고리즘이 리얼타임으로 구현될 수 있으며, 그 결과 역시 우수하다는 것을 증명한다. 제안된 방법의 성능 측정을 위해서 2가지 종류의 테스트 이미지가 사용되는데, 실제 프로토 타입으로 제작된 W-RGB 카메라를 이용해서 촬영한 실제 테스트 이미지와 일반적으로 영상처리의 시뮬레이션에 사용되는 풀 컬러 이미지의 특정 색상을 강제로 제거하여서 센서에서 받아오는 입력 이미지의 형태로 만든 테스트 이미지를 사용해 평가를 진행 하였다. 실험결과 제안하는 CDA기반 Demosaicing 방법 및 그 하드웨어 구조는 기존의 방법들보다 PSNR이 최소 3.1dB, FSIM이 최소 0.007 그리고 CIELAB 색 공간 정확도가 최소 1.00 증가하는 결과를 얻을 수 있었다.
최근 디지털 카메라의 해상도가 급격하게 증가하는 방향으로 발전하고 있는 반면, CMOS 영상 센서 칩의 크기는 센서의 특성 상 거의 일정하게 유지되고 있다. 그렇기 때문에 CMOS 영상 센서, 다시 말해 CFA 내부에 존재하는 색상 센서들의 수가 점점 늘어나고 있으며, 그로 인해 각 색상 센서들의 크기가 상대적으로 계속해서 작아지고 있는 추세이다. 이는 각 픽셀이 일정 시간 동안 받아들일 수 있는 빛의 양 또한 줄어든다는 것을 의미한다. 이로 인해 저조도 환경에서 영상의 품질이 저하되는데, 특히 심각한 노이즈나 블러 등의 현상을 초래할 수가 있다. 이러한 단점을 개선하기 위해 기존 CFA보다 빛에 대한 민감도가 더 높은 CFA의 필요성이 제기되었고, 그 결과 기존 보다 민감도가 더 높은 W-RGB CFA가 개발이 되었다. W-RGB CFA는 기존 Bayer CFA의 초록색 필터 중 일부를 투명한 필터로 대체함으로써 만들어 졌는데, 이 투명 필터의 존재로 인해 더 높은 민감도를 가질 수 있다. 모든 단일 센서 영상 시스템은 최초로 특정한 장면을 촬영했을 때, 모든 픽셀에 모든 색상정보가 존재하지 않고, 주변 색상정보들의 정보를 이용하여 풀 컬러 영상을 재현해 내어야 한다. 현재 새로운 W-RGB CFA가 개발이 되었으므로, 이에 맞는 풀 컬러 재현 알고리즘 역시 개발이 필요하다. 이러한 필요성을 기반으로 해서 본 논문은 민감도가 높은 W-RGB CFA기반 영상 시스템에 사용 될 수 있는 Demosaicing 방법을 제안하는데, 이는 색상 차 추정 방법을 이용한다. 색상 차란 동일한 픽셀 위치에서 다른 색상 채널 간의 값들의 차이를 의미하는데, 본 논문에서는 이 색상 차 정보를 이용해서 센서에서 촬영 된 색상정보의 조각들을 풀 컬러 영상으로 재현한다. 2가지 방식의 접근이 이루어 지는데, 두 채널 간의 색상 차를 이용한 방법과, 다중 채널 간의 색상 차를 이용한 방법이 제안된다. 알고리즘 뿐 만 아니라 하드웨어 구조를 제안함으로써 제안하는 알고리즘이 리얼타임으로 구현될 수 있으며, 그 결과 역시 우수하다는 것을 증명한다. 제안된 방법의 성능 측정을 위해서 2가지 종류의 테스트 이미지가 사용되는데, 실제 프로토 타입으로 제작된 W-RGB 카메라를 이용해서 촬영한 실제 테스트 이미지와 일반적으로 영상처리의 시뮬레이션에 사용되는 풀 컬러 이미지의 특정 색상을 강제로 제거하여서 센서에서 받아오는 입력 이미지의 형태로 만든 테스트 이미지를 사용해 평가를 진행 하였다. 실험결과 제안하는 CDA기반 Demosaicing 방법 및 그 하드웨어 구조는 기존의 방법들보다 PSNR이 최소 3.1dB, FSIM이 최소 0.007 그리고 CIELAB 색 공간 정확도가 최소 1.00 증가하는 결과를 얻을 수 있었다.
While the resolution of digital cameras continues to increase, the chip size of complementary metal-oxide semiconductor (CMOS) image sensor remains limited. As a result, CMOS image sensors now contain a very large number of pixels; however, the size of each sensor element, which means the array of t...
While the resolution of digital cameras continues to increase, the chip size of complementary metal-oxide semiconductor (CMOS) image sensor remains limited. As a result, CMOS image sensors now contain a very large number of pixels; however, the size of each sensor element, which means the array of the color filter array (CFA), is becoming increasingly smaller, thus the amount of light absorbed is therefore significantly decreased. This degradation of light sensitivity, particularly in low-light conditions, can lead to image quality deterioration. The images captured by the cameras with the above-mentioned CMOS sensors in low-light conditions can be affected by significant blurs and noises. To overcome this defect, a sensor with a higher sensitivity is required. In order to achieve a high sensitivity, a White-RGB (W-RGB) CFA with a greater sensitivity than a conventional Bayer CFA was developed. This W-RGB CFA-based imaging system substitutes half green filter arrays of the Bayer CFA with white filter arrays, which are made by transparent resin films. These white filter arrays on the W-RGB CFA enable to penetrate all color intensities (red, green, and blue), while other arrays do not. In other words, the existence of the white filter arrays themselves improves the sensitivity of the W-RGB CFA-based image sensors. The sensed raw images from the single-sensor digital cameras using CFA do not have full-color information because of its structural characteristic. Therefore, a post-processing process is essential to reproduce full-color images from raw mosaiced images. The process is called CFA interpolation or demosaicing process. In this thesis, new demosaicing approaches for W-RGB CFA are proposed. In order to fill up the missing color channels of the raw mosaiced images captured by W-RGB CFA, the proposed methods demosaic based on the principle of color difference assumption (CDA). The term CDA means pixel intensity differences between different channels at the same location. By using the proposed equations of CDA, the missing channels can be interpolated to form full-color image which has Bayer image or complete three-channel information. Two types of CDA-based approaches are proposed in this thesis: (1) two-channel CDA-based color separation approach, and (2) multi-channel CDA-based demosaicing approach. These two approaches are based on the same principle, CDA. However, the two-channel approach utilizes only two channels, for example, white and green channels, while multi-channel approach utilizes all four channels (white, red, green and blue) in the proposed processes. In order to evaluate the performance of the proposed approaches, simulations using two types of mosaiced images sets are performed: (1) real mosaiced images set captured by an actual prototype digital camera with W-RGB CFA and (2) purpose-built mosaiced images set. By virtue of these proposed methods, the simulation results show that the proposed demosaicing approaches perform better than the conventional approaches by approximately at least 3.1dB signal-to-noise ratio (PSNR), 0.007 feature similarity index (FSIM), and 1.00 CIELAB accuracy comparing to the results from hardware implementation which can satisfy the real-time with magnificent qualities. In conclusion, the proposed approaches can demosaic better than the conventional approaches with fewer estimation artifacts. Therefore, the proposed methods can be practically used for the W-RGB CFA-based imaging system.
While the resolution of digital cameras continues to increase, the chip size of complementary metal-oxide semiconductor (CMOS) image sensor remains limited. As a result, CMOS image sensors now contain a very large number of pixels; however, the size of each sensor element, which means the array of the color filter array (CFA), is becoming increasingly smaller, thus the amount of light absorbed is therefore significantly decreased. This degradation of light sensitivity, particularly in low-light conditions, can lead to image quality deterioration. The images captured by the cameras with the above-mentioned CMOS sensors in low-light conditions can be affected by significant blurs and noises. To overcome this defect, a sensor with a higher sensitivity is required. In order to achieve a high sensitivity, a White-RGB (W-RGB) CFA with a greater sensitivity than a conventional Bayer CFA was developed. This W-RGB CFA-based imaging system substitutes half green filter arrays of the Bayer CFA with white filter arrays, which are made by transparent resin films. These white filter arrays on the W-RGB CFA enable to penetrate all color intensities (red, green, and blue), while other arrays do not. In other words, the existence of the white filter arrays themselves improves the sensitivity of the W-RGB CFA-based image sensors. The sensed raw images from the single-sensor digital cameras using CFA do not have full-color information because of its structural characteristic. Therefore, a post-processing process is essential to reproduce full-color images from raw mosaiced images. The process is called CFA interpolation or demosaicing process. In this thesis, new demosaicing approaches for W-RGB CFA are proposed. In order to fill up the missing color channels of the raw mosaiced images captured by W-RGB CFA, the proposed methods demosaic based on the principle of color difference assumption (CDA). The term CDA means pixel intensity differences between different channels at the same location. By using the proposed equations of CDA, the missing channels can be interpolated to form full-color image which has Bayer image or complete three-channel information. Two types of CDA-based approaches are proposed in this thesis: (1) two-channel CDA-based color separation approach, and (2) multi-channel CDA-based demosaicing approach. These two approaches are based on the same principle, CDA. However, the two-channel approach utilizes only two channels, for example, white and green channels, while multi-channel approach utilizes all four channels (white, red, green and blue) in the proposed processes. In order to evaluate the performance of the proposed approaches, simulations using two types of mosaiced images sets are performed: (1) real mosaiced images set captured by an actual prototype digital camera with W-RGB CFA and (2) purpose-built mosaiced images set. By virtue of these proposed methods, the simulation results show that the proposed demosaicing approaches perform better than the conventional approaches by approximately at least 3.1dB signal-to-noise ratio (PSNR), 0.007 feature similarity index (FSIM), and 1.00 CIELAB accuracy comparing to the results from hardware implementation which can satisfy the real-time with magnificent qualities. In conclusion, the proposed approaches can demosaic better than the conventional approaches with fewer estimation artifacts. Therefore, the proposed methods can be practically used for the W-RGB CFA-based imaging system.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.