본 논문에서는 이미지 센서에서 불량 화소를 자동으로 검출하기 위한 알고리듬을 제안하고, 그에 따른 하드웨어 구조를 제시하였다. 기존에 제안된 방법은 영상의 특징을 고려하지 않고 단순히 주위 화소들 값과의 차이가 일정 이상이면 불량 화소로 간주하였다. 그러나 이러한 방식은 영상에 따라서 불량 화소가 아닌 화소를 불량 화소로 간주하거나, 불량 화소를 정상 화소로 판단하는 일이 발생한다. 이러한 단점을 보완하기 위해 여러 프레임에 걸쳐 확인하는 방법도 제안되었으나, 불량 화소 검출시간이 오래 걸리는 단점이 있다. 이러한 기존 방식의 단점을 해결하기 위해, 제안된 불량 화소 검출 기법은 단일화면 내에서는 경계 영역을 고려하여 불량 화소를 검출하고, 여러 프레임에 걸친 확인 과정을 거치되, 화면 전환 여부를 확인하여 화면 전환이 일어날 때마다 검출된 화소의 불량 화소 여부를 판단하고 확인한다. 실험 결과, 단일 화면 내에서의 검출률은 기존 대비 6% 향상되었고, 100%의 불량화소 검출까지 걸리는 시간은 평균적으로 3배 이상 단축되었다. 본 논문에서 제안된 알고리듬은 하드웨어로 구현되었고, 하드웨어 구현 시 색 보간 블록에서 사용되는 경계 영역 표시자를 그대로 활용함으로써 0.25um 표준 셀 라이브러리를 이용하여 합성했을 때, 5.4K gate의 낮은 복잡도로 구현할 수 있었다.
본 논문에서는 이미지 센서에서 불량 화소를 자동으로 검출하기 위한 알고리듬을 제안하고, 그에 따른 하드웨어 구조를 제시하였다. 기존에 제안된 방법은 영상의 특징을 고려하지 않고 단순히 주위 화소들 값과의 차이가 일정 이상이면 불량 화소로 간주하였다. 그러나 이러한 방식은 영상에 따라서 불량 화소가 아닌 화소를 불량 화소로 간주하거나, 불량 화소를 정상 화소로 판단하는 일이 발생한다. 이러한 단점을 보완하기 위해 여러 프레임에 걸쳐 확인하는 방법도 제안되었으나, 불량 화소 검출시간이 오래 걸리는 단점이 있다. 이러한 기존 방식의 단점을 해결하기 위해, 제안된 불량 화소 검출 기법은 단일화면 내에서는 경계 영역을 고려하여 불량 화소를 검출하고, 여러 프레임에 걸친 확인 과정을 거치되, 화면 전환 여부를 확인하여 화면 전환이 일어날 때마다 검출된 화소의 불량 화소 여부를 판단하고 확인한다. 실험 결과, 단일 화면 내에서의 검출률은 기존 대비 6% 향상되었고, 100%의 불량화소 검출까지 걸리는 시간은 평균적으로 3배 이상 단축되었다. 본 논문에서 제안된 알고리듬은 하드웨어로 구현되었고, 하드웨어 구현 시 색 보간 블록에서 사용되는 경계 영역 표시자를 그대로 활용함으로써 0.25um 표준 셀 라이브러리를 이용하여 합성했을 때, 5.4K gate의 낮은 복잡도로 구현할 수 있었다.
This paper proposes a defective pixel detection algorithm and its hardware structure for CCD/CMOS image sensor. In previous algorithms, the characteristics of image have not been considered. Also, some algorithms need quite a time to detect defective pixels. In order to make up for those disadvantag...
This paper proposes a defective pixel detection algorithm and its hardware structure for CCD/CMOS image sensor. In previous algorithms, the characteristics of image have not been considered. Also, some algorithms need quite a time to detect defective pixels. In order to make up for those disadvantages, the proposed defective pixel detection method detects defective pixels efficiently by considering the edges in the image and verifies them using several frames while checking scene-changes. Whenever scene-change is occurred, potentially defective pixels are checked and confirmed whether it is defective or not. Test results showed that the correct detection rate in a frame was increased 6% and the defective pixel verification time was decreased 60%. The proposed algorithm was implemented with verilog HDL. The edge indicator in color interpolation block was reused. Total logic gate count was 5.4k using 0.25um CMOS standard cell library.
This paper proposes a defective pixel detection algorithm and its hardware structure for CCD/CMOS image sensor. In previous algorithms, the characteristics of image have not been considered. Also, some algorithms need quite a time to detect defective pixels. In order to make up for those disadvantages, the proposed defective pixel detection method detects defective pixels efficiently by considering the edges in the image and verifies them using several frames while checking scene-changes. Whenever scene-change is occurred, potentially defective pixels are checked and confirmed whether it is defective or not. Test results showed that the correct detection rate in a frame was increased 6% and the defective pixel verification time was decreased 60%. The proposed algorithm was implemented with verilog HDL. The edge indicator in color interpolation block was reused. Total logic gate count was 5.4k using 0.25um CMOS standard cell library.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존 불량화소 검출 알고리즘의 단점을 보완하기 위해, 본 논문에서는 두 가지 방식을 제안한다. 첫째, 화면 내에서는 경계 영역을 고려하여 불량화소 여부를 판단함으로써, 화면 내 불량화소 검출의 정확도를 높인다.
본 논문에서는 불량화소를 검출하는 알고리듬을 제시하였다. CIS에서 불량화소가 발생은 동시에 화질의 열화로 이어지기 때문에 불량화소를 정확히 검출 할 수 있다면 화질의 열화를 막을 수 있다.
이 때, 서로 다른 화면을 이용해야 정확도가 높아지기 때문에 화면 간격을 크게 해야 하고, 이로 인해 검출 시간이 길어지게 된다. 본 논문에서는 이를 보완하기 위해 화면 전환 여부를 판단하고, 화면전환이일어났을 때만 불량화소 여부를 확인함으로써, 정확도도 높이면서 검출에 필요한 시간을 단축시켰다.
제안 방법
그러나 기존 방식들은 불량화소 검출의 정확도가 떨어지거나, 시간이 오래 걸린다는 단점이 있다.'6四 본 논문에서는 한 화면 내에서 불량화소 검출률을 높이기 위해, 경계 영역을 고려한 불량화소 검출 알고리듬을 제안한다. 이와 함께, 여러 화면을 통해 불량 화소 여부를 검증하되, 화면 전환 여부를 체크하여 화면 전환이 있을 때마다 불량화소 여부를 점검하는 방식을 통해, 보다 고속으로 불량화소를 검출할 수 있는 알고리듬을 제안한다.
Bayer 데이터를 받아서, 우선 경계 영역을 고려하여 불량화소 여부를 판단한다. 그리고 나서 식(8)의 Frame Distance(FD)를 계산한 뒤 화면 전환 여부를 판단한다.
제안된 방법의 화면 전환 임계치는 50S으로 설정하였고, 리스트의 크기는 두 방법 모두 10으로 설정하였다. [12]의 화면 간격 설정을 다양하게 하면서, 비교 횟수를 10〜35까지 변화 시켜가면서 실험하였다.
이를 위해, 주변 8개의 화소의 평균값을 구하고, 현재 화소와 평균값의 차이가 일정 이상 이면 불량 화소일 가능성이 높다고 보고, 불량화소 후보 리스트에 추가한다. 그러고 나서, 리스트에 저장되어 있는 화소 값들에 대해 일정 시간 간격으로 불량화소 여부를 확인한다. 불량화소로 의심되는 여러 화소들에 대해 일정 시간동안 점검을 하고, N번 비교 후에도 리스트에 남아 있는 화소들을 불량화소로 간주한다.
그러나 제안된 방법에서는 화면 전환 검출이 목적이 아니기 때문에, 전체 화면을 비교하지 않고 단순히 임의의 위치의 화소에 대해서만 값의 변화를 관찰함으로써 판단한다.
제안된 알고리듬은。언어를 이용하여 기존 알고리즘과 성능 비교 분석을 하였다. 일반 동영상에서 추출한 Bayer영상을 이용하였고, 임의의 위치에 10개의 불량 화소를 발생시킨 후, 이를 얼마나 잘 검출하는지에 대해 실험을 수행하였다.
이장의 수식 (3)〜(7)에 의해 불량화소 여부를 판단하는데, dl ~d4 방향에 해당하는 5가지 값을(DH: 가로 방향, DV: 세로 방향, DN: 대각선 방향(d2), DP: 대각선 방향(d4), MEAN: 평균값)을 미리 계산해 놓고, MIN 블록에서 계산된 최소 방향 정보에 따라 미리 계산된 5가지 값 중 하나를 선택한다. 이 값과 현재 입력되는 화소와의 차를 구하고, 이 값을 정해진 임계치와 비교한다. 정해진 임계치보다 크게 되면 이 값을 불량화소로 선언하게 된다.
우선 화면 내에서는 기존 알고리즘과 마찬가지로 주위 화소값과의 차이를 구한다. 이를 위해, 주변 8개의 화소의 평균값을 구하고, 현재 화소와 평균값의 차이가 일정 이상 이면 불량 화소일 가능성이 높다고 보고, 불량화소 후보 리스트에 추가한다. 그러고 나서, 리스트에 저장되어 있는 화소 값들에 대해 일정 시간 간격으로 불량화소 여부를 확인한다.
'6四 본 논문에서는 한 화면 내에서 불량화소 검출률을 높이기 위해, 경계 영역을 고려한 불량화소 검출 알고리듬을 제안한다. 이와 함께, 여러 화면을 통해 불량 화소 여부를 검증하되, 화면 전환 여부를 체크하여 화면 전환이 있을 때마다 불량화소 여부를 점검하는 방식을 통해, 보다 고속으로 불량화소를 검출할 수 있는 알고리듬을 제안한다.
성능 비교 분석을 하였다. 일반 동영상에서 추출한 Bayer영상을 이용하였고, 임의의 위치에 10개의 불량 화소를 발생시킨 후, 이를 얼마나 잘 검출하는지에 대해 실험을 수행하였다. 성능 평가 지표는 검출률, 정확도, 시간 3가지이다.
제안된 알고리듬은 화면 내에서는 영상의 특징을 고려해서 불량 화소를 검출함으로써 기존 대비 6% 정도의 정확도를 높였고, 화면 전환 기반 검증 과정을 통해 검증과에 필요한 시간을 평균적으로 3배 이상 단축시켰다. 제안된 알고리듬은 Verilog HDL을 이용하여 설계되었고, 0.25um CMOS Standard Cell Library를 이용하여 합성했을 때, 5.4K 게이트의 복잡도를 갖는다. 따라서 제안된 방식이 기존 제안된 알고리듬과 비교했을 때, 검출의 정확도, 검증 속도, 잘못된 검출로 인한 화질 열화 등의 측면에서 좋은 성능을 가짐을 확인 할 수 있다.
일반적인 이미지 센서들은 . 컬러 영상을 만들기 위해 Color Filter Array(CFA)를 사용해서 각 화소당 한 가지의 색만을 인식한다. 그러고 나서 색보간 과정을 거쳐 화소당 3가지 색을 갖는 컬러 영상을 만들어 내는데, 이 때 주변 화소들의 값을 이용하게 된다.
대상 데이터
설계된 불량화소 검출기는 0.25um CMOS StandardCell Library를 이용하여 합성되었다. 표 4는 합성 결과를 보여준다.
그림 2는 영상의 특징을 반영하기 위한 4 가지 방향 벡터이다. 제안된 방법에서는 5x5 크기의 윈도우를 사용한다. 이는 색 보간 알고리듬에서 많이 사용되는 크기이기 때문에, 색 보간 알고리듬을 위해 버퍼에 저장된 영상을 그대로 사용할、수 있다는 장점이 있다.
표 4는 합성 결과를 보여준다. 제안된 불량화소 검출기는 총 5.4K 게이트로 구현되었다.
성능/효과
8초의 시간이 필요하다. 그러나 제안된 방법을 이용하면 100%의 정확한 불량화소 검출에 걸리는 시간은 4.38초 정도에 불과하다.
첫째, 화면 내에서는 경계 영역을 고려하여 불량화소 여부를 판단함으로써, 화면 내 불량화소 검출의 정확도를 높인다. 둘째, 여러 화면에 걸쳐서 불량화소 여부를 확인하는 과정을 거치되, 일정 화면 간격이 아닌 화면 전환이 일어날 때마다 불량화소.여부를 확인한다.
4K 게이트의 복잡도를 갖는다. 따라서 제안된 방식이 기존 제안된 알고리듬과 비교했을 때, 검출의 정확도, 검증 속도, 잘못된 검출로 인한 화질 열화 등의 측면에서 좋은 성능을 가짐을 확인 할 수 있다.
여부를 확인한다. 제안된 2가지 방법을 통해 초기 검출 확률 및 검출된 불량화소의 정확도를 높일 수 있다.
따라서 [8]과의 성능 비교가 중요하게 된다. 제안된 방법은 표 1과 표 2에서 보듯이 검출률에서는 3-6%, 정확도 측면에서도 최대 6%의 성능이 향상되었다.
CIS에서 불량화소가 발생은 동시에 화질의 열화로 이어지기 때문에 불량화소를 정확히 검출 할 수 있다면 화질의 열화를 막을 수 있다. 제안된 알고리듬은 화면 내에서는 영상의 특징을 고려해서 불량 화소를 검출함으로써 기존 대비 6% 정도의 정확도를 높였고, 화면 전환 기반 검증 과정을 통해 검증과에 필요한 시간을 평균적으로 3배 이상 단축시켰다. 제안된 알고리듬은 Verilog HDL을 이용하여 설계되었고, 0.
본 논문에서는 두 가지 방식을 제안한다. 첫째, 화면 내에서는 경계 영역을 고려하여 불량화소 여부를 판단함으로써, 화면 내 불량화소 검출의 정확도를 높인다. 둘째, 여러 화면에 걸쳐서 불량화소 여부를 확인하는 과정을 거치되, 일정 화면 간격이 아닌 화면 전환이 일어날 때마다 불량화소.
참고문헌 (12)
J. Adams, K. Parulski and K. Spaulding, Eastman Kodak Company, 'Color Processing in Digital Cameras', IEEE MICRO, pp.20-30, Nov. 1998
Weerasinghe C., Wanqing Li, Kharitonenko I., Nilsson M. and Twelves S., 'Novel Color Processing Architecture For Digital Cameras With CMOS Image Sensors', IEEE Transactions on Consumer Electronics Volume 51, No. 4, Nov. 2005 P:1092-1098
박선호, '컬러CCD의 구동회로부터 영상처리보드 설계까지 CCD 카메라와 영상처리 회로설계', 국제테크노 정보 연구소 (International Technology Information Institute), 2003
A. Kumar Garg S. S. Negi, S. Sarkar R. P. Agarwal, 'Design and Development of a High-Performance Third-Generation Hand-Held Thermal Camera', Optical Engineering 459, 096401 September 2006
민동욱, 서보홍 '불량화소 검출 및 복원이 가능한 카메라폰 및 그 방법(Camera-Phone For Detecting And Restoring Dead Pixel and Method Thereof)', 공개특허 10-2005-0098704, 2005
R. Zhou, X. Chen, F. Liu, J. He, T. Liao, Y. Su, J. Ye, Y. Qin, X. Yi and Z. Hong, 'System-on-chip for Mega-Pixel Digital Camera Processor with Auto Control Functions', ASIC, 2003. Proceedings. 5th International Conference on Volume 2, 21-24 Oct. 2003 Page(s):894 ？ 897 Vol.2
전성천, '이미지 센서에서의 실시간 불량화소 검출 및 보정을 위한 장치(Apparatus For Real-Time Detecting And Correcting Defect Pixels In Image Sensor)', 등록특허 10-0362178
J. M. Lopez-Alonso and J. Alda, 'Bad Pixel Identification By Means Of Principal Components Analysis,' Optical Engineering, Vol. 41, No. 9, pp. 2152-2157, September 2002
C. N. Sabbey, R. G. McMahon, J. R. Levis, and M. J. Irwin, 'Infrared Imaging Data Reduction Software and Techniques,' in Astronomical Data Analysis Software and Systems X, ASP Conference Series, Vol. 238, pp.317-320 (2001)
R. S. Hill, W. B. Landsman, D. Lindler, and R. Shaw, 'Cosmic Ray and Hot Pixel Removal from STIS CCD Images,' in Proc. HST Calibration Workshop, S. Casertano et al., Eds, pp. 120-125, Space Telescope Science Institute (1997)
안지훈, 이원재, 김재석, '효율적인 불량화소 검출 알고리듬 및 하드웨어 구현', 대한전자공학회 논문지 제43권 SD편 제9호, pp.38-43, 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.