Honeycomb CFA 구조를 갖는 CCD 이미지센서의 필터특성을 고려한 디모자이킹 알고리즘의 개발 및 검증 A New Demosaicking Algorithm for Honeycomb CFA CCD by Utilizing Color Filter Characteristics원문보기
CFA(Color Filter Array)를 사용하는 이미지 센서에서는 컬러정보를 획득하기 위해 디모자이킹 과정을 거치게 된다. 이상적인 컬러특성을 갖는 이미지센서에 적용되는 디모자이킹 방식은 실제로 이미지센서에 바로 적용할 경우 올바른 동작을 장담할 수 없는데, 이는 센서마다 그 특성이 다르기 때문이다. 따라서 디모자이킹 알고리즘을 적용할 때에는 각 센서의 특성에 따라서 다르게 적용이 되어야만 한다. 본 논문에서는 Honeycomb CFA방식을 사용하는 CCD 이미지 센서에서 사용되는 디모자이킹 알고리즘을 제안하고, 실제 이미지 센서(CBN385B)의 컬러특성을 고려하여 필터의 계수를 보정함으로써 개선된 성능을 갖는 디모자이킹 알고리즘을 제안한다. 또한 디모자이킹 알고리즘을 하드웨어로 구현하여 그 성능을 비교한다. 제안한 알고리즘을 검증하기 위한 방법으로 전체 ISP시스템을 구현 했으며, 성능을 확인할 지표로 알고리즘 자체성능은 PSNR로 이미지센서의 필터특성의 적용의 결과는 RGB분포도를 이용하였다. 결과적으로 기존의 방법에 비해 PSNR 값이 4~8dB 증가하였으며, 실제 이미지센서(CBN385B)에서 Red 성분으로 편중된 현상도 제거하였다. 또한 하드웨어 설계를 통해 소프트웨어적인 연산의 복잡성을 해결하였으며 검증을 위해 Spartan-3E FPGA가 사용되었다. 총 게이트 수는 45K개이며 25 frame/sec의 속도를 보였다.
CFA(Color Filter Array)를 사용하는 이미지 센서에서는 컬러정보를 획득하기 위해 디모자이킹 과정을 거치게 된다. 이상적인 컬러특성을 갖는 이미지센서에 적용되는 디모자이킹 방식은 실제로 이미지센서에 바로 적용할 경우 올바른 동작을 장담할 수 없는데, 이는 센서마다 그 특성이 다르기 때문이다. 따라서 디모자이킹 알고리즘을 적용할 때에는 각 센서의 특성에 따라서 다르게 적용이 되어야만 한다. 본 논문에서는 Honeycomb CFA방식을 사용하는 CCD 이미지 센서에서 사용되는 디모자이킹 알고리즘을 제안하고, 실제 이미지 센서(CBN385B)의 컬러특성을 고려하여 필터의 계수를 보정함으로써 개선된 성능을 갖는 디모자이킹 알고리즘을 제안한다. 또한 디모자이킹 알고리즘을 하드웨어로 구현하여 그 성능을 비교한다. 제안한 알고리즘을 검증하기 위한 방법으로 전체 ISP시스템을 구현 했으며, 성능을 확인할 지표로 알고리즘 자체성능은 PSNR로 이미지센서의 필터특성의 적용의 결과는 RGB분포도를 이용하였다. 결과적으로 기존의 방법에 비해 PSNR 값이 4~8dB 증가하였으며, 실제 이미지센서(CBN385B)에서 Red 성분으로 편중된 현상도 제거하였다. 또한 하드웨어 설계를 통해 소프트웨어적인 연산의 복잡성을 해결하였으며 검증을 위해 Spartan-3E FPGA가 사용되었다. 총 게이트 수는 45K개이며 25 frame/sec의 속도를 보였다.
Nowadays image sensor is an essential component in many multimedia devices, and it is covered by a color filter array to filter out specific color components at each pixel. We need a certain algorithm to combine those color components reconstructed a full color image from incomplete color samples ou...
Nowadays image sensor is an essential component in many multimedia devices, and it is covered by a color filter array to filter out specific color components at each pixel. We need a certain algorithm to combine those color components reconstructed a full color image from incomplete color samples output from an image sensor, which is called a demosaicking process. Most existing demosaicking algorithms are developed for ideal image sensors, but they do not work well for the practical cases because of dissimilar characteristics of each sensor. In this paper, we propose a new demosaicking algorithm in which the color filter characteristics are fully utilized to generate a good image. To demonstrate significance of our algorithm, we used a commerically available sensor, CBN385B, which is a sort of Honeycomb-style CFA(Color Filter Array) CCD image sensor. As a performance metric of the algorithm, PSNR(Peak Signal to Noise Ratio) and RGB distribution of the output image are used. We first implemented our algorithm in C-language for simulation on various input images. As a result, we could obtain much enhanced images whose PSNR was improved by 4~8 dB compared to the commonly idealized approaches, and we also could remove the inclined red property which was an unique characteristics of the image sensor(CBN385B).Then we implemented it in hardware to overcome its problem of computational complexity which made it operate slow in software. The hardware was verified on Spartan-3E FPGA(Field Programable Gate Array) to give almost the same performance as software, but in much faster execution time. The total logic gate count is 45K, and it handles 25 image frmaes per second.
Nowadays image sensor is an essential component in many multimedia devices, and it is covered by a color filter array to filter out specific color components at each pixel. We need a certain algorithm to combine those color components reconstructed a full color image from incomplete color samples output from an image sensor, which is called a demosaicking process. Most existing demosaicking algorithms are developed for ideal image sensors, but they do not work well for the practical cases because of dissimilar characteristics of each sensor. In this paper, we propose a new demosaicking algorithm in which the color filter characteristics are fully utilized to generate a good image. To demonstrate significance of our algorithm, we used a commerically available sensor, CBN385B, which is a sort of Honeycomb-style CFA(Color Filter Array) CCD image sensor. As a performance metric of the algorithm, PSNR(Peak Signal to Noise Ratio) and RGB distribution of the output image are used. We first implemented our algorithm in C-language for simulation on various input images. As a result, we could obtain much enhanced images whose PSNR was improved by 4~8 dB compared to the commonly idealized approaches, and we also could remove the inclined red property which was an unique characteristics of the image sensor(CBN385B).Then we implemented it in hardware to overcome its problem of computational complexity which made it operate slow in software. The hardware was verified on Spartan-3E FPGA(Field Programable Gate Array) to give almost the same performance as software, but in much faster execution time. The total logic gate count is 45K, and it handles 25 image frmaes per second.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 지금까지의 디모자이킹에 관한 연구는 일반 베이어 패턴에 대한 것이 대부분이었고, 허니컴 패턴을 이용한 연구는 미흡했던 것이 사실이다. 그렇기 때문에본 논문은 허니컴 패턴을 이용한 디모자이킹 방식에 대한 연구를 수행하였다.
이러한 문제점을 해결하기 위한 많은 방식들이 연구되었으나 그방식 그대로 실제의 이미지 센서에 적용한다면, 각 센서들의 다른 특성으로 인해 원하는 화질을 얻기가 쉽지 않다. 본 논문에서는 실제 이미지센서의 컬러필터의 분광특성을 고려하여 계수 값을 보상해주는 방식으로 디모자이킹 방식을 제안한다. 또한 디모자이킹 알고리즘을 하드웨어로 구현하여 그 성능을 측정해 본다.
본 논문에서는 양선형 보간법을 기본으로 하여 에지의 방향성을 추정하여 보간 하는 방식을 제안한다. 에 지의 방향성은 그림 4에서와 같이 해당 화소에서 좌측과 우측의 블록(H1, H2) 상측과 하측의 블록(V1, V2) 각각의 합을 구하여 측정하며 수식 (5)와 같이 △H와△V를 구해 에지의 방향과 거리에 따른 계수 값을 적용하여 디모자이킹하게 된다.
제안 방법
그림 3과 같은 CFA모양에서 유효화소와 가상화소의 디모자이킹을 다른 방식으로 실시한다. 31번 화소와 33번 화소는 유효화소이므로 가지고 자신이 가지고 있는 값은 그대로 가지고 자신에게 없는 값을 갖도록 하였으며, 32번, 34번등과 같은 가상화소 부분은 주위의 인접 16개의 화소에서 값을 얻어 와서 계산하도록 하였다. 주위 값을 참조할 때는 거리에 따른 평균을 계수 값 (w1, w2, w3)을 통하여 취하였다.
FPGA보드는 센서 Interface 보드와 Host Interface보드로 구성되어 있으며, 센서 Interface보드에 있는 Spartan-3E FPGA chip에 하드웨어를 설계 검증하였다. 디모자이킹 모듈에서는 센서(CBN385B)로부터 10bit의 허니컴 센서 데이터와 H sync 신호와 V sync 신호를 입력받아서 Line memory에 쓰며, Line memory 의 정보를 이용하여 Noise Reduction 모듈에 있는 Line memory에 채워 넣는다.
CFA를 사용하는 방식은 한 개의 이미지 센서를 이용하여 3～4가지 컬러성분을 모두 받아들일 수 있기 때문에 광학적 렌즈를 사용하는 방식에 비해 가격과 부피에 장점이 있지만, 좋은 화질의 영상을 얻기 위해서는 CFA 필터에서 취득한 정보를 이용하여 각 화소의 컬러 성분을 생성하는 과정인 디모자이킹이 반드시 필요하게 된다. 각각의 성분은 자신이 가지지 않은 성분의 값을 구하기 위해 인접한 다른 성분을 사용하여 컬러 영상을 만들어 낸다.
또 다른 허니컴 패턴의 장점은 실제의 유효 화소수의 2배 해상도의 영상을 얻을 수 있다는 점이다. 그림 2에서 보면 각 픽셀과 픽셀 사이에는 빈공간이 발생하게 되는데 본 논문 에서는 이를 가상화소라고 하며, 가상화소부분의 디모자이킹을 수행 하여 실제 유효화소수의 2배의 해상도를 가질 수 있는 영상을 구하였다. 표 1 은 앞서 언급했던 원색필터와 보색필터, 허니컴 필터의 간략한 특징을 비교한 표이다.
논문에서 사용된 허니컴 패턴은 베이어 패턴과 그 모양과 배치가 다르기 때문에 베이어패턴에서 사용하였던 디모자이킹 방법을 그대로 사용할 수 없지만 CFA 필터를 이용해서 컬러정보를 만드는 비슷한 과정이므로 응용하여 적용할 수 있다. 기존의 디모자이킹 방식 중에서 가장 양선형 보간법을 응용하여 허니컴 패턴에 적용을 시켜본 것과 비교하였다. 기본적인 수식으로는 소니의 보색CFA를 채용하여 수식 (1)과 같이 사용하였다.
본 논문에서는 실제 이미지센서의 컬러필터의 분광특성을 고려하여 계수 값을 보상해주는 방식으로 디모자이킹 방식을 제안한다. 또한 디모자이킹 알고리즘을 하드웨어로 구현하여 그 성능을 측정해 본다.
각각의 투과율에서 Ye를 제외한 Cy, Mg, G의 투과율인 Peak값인 Ye에 맞추어주기 위해 Wc, Wm, Wg를 보상한다. 보상된 각각의 컬러 값은 분광특성그래프에서 Blue 대역(파장 400nm ～ 500nm)이 다른 대역에 비해 상대적으로 적은 값이 투과됨을 알 수 있는데 이를 보상하기 위해 수식 (10)을 사용한다.
본 논문에서는 Honeycomb CFA용 CCD 이미지센서 (CBN385B)를 사용하여 구현하였으며, 이미지센서는 FPGA인 Spartan-3 500E를 이용하여 그림 10과 같은 검증환경을 설정하였다.
대상 데이터
그림5와 그림 6에서 나타나는 문제점을 해결하기 위해서는 디모자이킹 과정에서 컬러의 균형성(Balancing)에 대해서도 고려가 되어져야 한다. 본 논문에서는 이미지센서의 컬러특성을 고려한 디모자이킹 방식의 정당성을 위해 이미지 센서 CBN385B를 선택하였다.[1]
데이터처리
제안된 기법의 성능을 알아보기 위해서 성능을 비교 하기 위해 사용된 지표는 PSNR(Peek Signal-to-Noise Ratio)을 사용하였으며, 센서의 특성을 반영한 결과를 비교할 때는 RGB 분포도를 이용하였다. 표 2는 House영상 이외에 Fense와 Gate 영상으로 PSNR값을 계산한 수치를 보여준다.
성능/효과
CBN385B 센서의 특성은 그림 7에서 보는 바와 같이 Mg필터 성분의 분광 특성이 이상적인 필터에서 가정한것과 같이 고르지 못하고 Blue성분에 비하여, Red성분을 크게 통과 시켜주는 것을 확인 할 수 있다. Cy, Ye, G성분들은 이상적인 필터의 특성과 같거나 비슷한 수준이지만 Mg 성분에서 특성이 좋지 않음을 확인할 수 있다.
CBN385B 센서의 특성은 그림 7에서 보는 바와 같이 Mg필터 성분의 분광 특성이 이상적인 필터에서 가정한것과 같이 고르지 못하고 Blue성분에 비하여, Red성분을 크게 통과 시켜주는 것을 확인 할 수 있다. Cy, Ye, G성분들은 이상적인 필터의 특성과 같거나 비슷한 수준이지만 Mg 성분에서 특성이 좋지 않음을 확인할 수 있다. 앞의 수식(5), (6), (7), (8)을 이용하여 디모자이킹할 경우 B-Y의 색차성분의 적용이 어려워지게 된다.
또한 Wc2 - Wg2 - Wy2 = -1 의 값을 가져야 B-Y의 색차 성분이 원래의 이상적인 필터 특성일 때의 값과 유사하게 도출 될 수 있다. 따라서 각계수 값은 Wc2 = 1.5, Wm2 = 1.2, Wy2 = 1.0, Wg2 =1.5의 값을 가지게 되며, 위의 값을 보상한 결과 영상은 B대역의 값이 충분하게 보상이 되었다.
본 논문에서는 보색 허니컴 CFA 방식에서 사용 가능한 Edge Adaptive방식의 디모자이킹 알고리즘을 제안하고 이를 실제 이미지 센서에 적용하여 , 각 필터의 분광특성을 고려한 보정계수를 이용하여 4～8dB 정도의 PSNR 값이 개선된 성능을 얻을 수 있었고, RGB의 고른 분포를 통해 색의 왜곡을 제거할 수 있었다. 아울러 다른 방식의 CFA를 사용하는 CCD 이미지 센서의 경우에도 본 논문과 유사한 방식으로 컬러필터의 특성을 반영하여 개선된 디모자이킹 알고리즘의 개발이 가능할 것으로 예측된다.
이러한 방식을 그대로 적용하여 디모자이킹을 하였을 경우에 Ideal 컬러 필터를 가정하고 처리한 경우는 그 값이 에지에서의 방향성을 따라서 올바르게 동작하고, 컬러의 균형이 잘 맞는 것을 확인하였으나, 실제의 Image Sensor 에 그대로 적용할 경우 Ideal Filter에서처럼 올바르게 동작하지 않는 것을 그림 5와 그림 6에 나타내었다. 실제로 적용된 센서는 Cy, Mg, Ye, G 각각의 필터에서 Mg성분이 갖는 Blue 성분을 Red나 Green성분에 비해 잘 받아들이지 못하며, 그 결과로 Blue성분의 비율이 크게 낮아져서 영상 전체적으로 붉게 나타나게 됨을 확인할 수 있다.
후속연구
보다 높은 화질을 얻기 위한 CFA를 사용하는 이미지 센서의 디모자이킹 방식에 대한 연구는 계속해서 진행 중이며, 좋은 화질을 얻기 위해서는 이를 효과적으로 실제 이미지 센서에 적용하기 위한 노력도 병행 되어야 한다.[6] 허니컴 패턴은 최근 들어 부각된 이미지센서의 CFA형태이다.
아울러 다른 방식의 CFA를 사용하는 CCD 이미지 센서의 경우에도 본 논문과 유사한 방식으로 컬러필터의 특성을 반영하여 개선된 디모자이킹 알고리즘의 개발이 가능할 것으로 예측된다. 본 논문에서 제시한 알고리즘을 이용하여 구현 할 경우 허니컴 패턴을 사용하는 이미지센서의 경우 활용도가 높기 때문에 실시간 보안카메라나 산업용 카메라 등에 활용이 가능하며 그 수요가 기대 된다.
본 논문에서는 보색 허니컴 CFA 방식에서 사용 가능한 Edge Adaptive방식의 디모자이킹 알고리즘을 제안하고 이를 실제 이미지 센서에 적용하여 , 각 필터의 분광특성을 고려한 보정계수를 이용하여 4～8dB 정도의 PSNR 값이 개선된 성능을 얻을 수 있었고, RGB의 고른 분포를 통해 색의 왜곡을 제거할 수 있었다. 아울러 다른 방식의 CFA를 사용하는 CCD 이미지 센서의 경우에도 본 논문과 유사한 방식으로 컬러필터의 특성을 반영하여 개선된 디모자이킹 알고리즘의 개발이 가능할 것으로 예측된다. 본 논문에서 제시한 알고리즘을 이용하여 구현 할 경우 허니컴 패턴을 사용하는 이미지센서의 경우 활용도가 높기 때문에 실시간 보안카메라나 산업용 카메라 등에 활용이 가능하며 그 수요가 기대 된다.
질의응답
핵심어
질문
논문에서 추출한 답변
ISP는 무엇인가?
ISP는 이미지센서에서 변환된 전기적 신호를 영상신호로 변환하여 주는 장치이다. 빛 에너지가 이미지센서를 통과하기 전 Color filter array를 통과한 뒤, 디모자 이킹, 잡음제거, 감마보정, 컬러보정, 화이트 밸런싱 등의 과정을 거쳐서 고품질의 영상을 얻게 된다.
CFA를 사용하는 방식의 ISP에서는 디모자이킹 과정이 필수적으로 필요한데 이 과정에서 어떤 문제점이 발생하는가?
CFA를 사용하는 방식의 ISP에서는 컬러정보를 획득하기 위하여 인접픽셀의 정보를 통해 중심픽셀의 컬러정보를 추정하는 디모자이킹 과정이 필수적으로 필요하게 된다. 이 과정에서 거짓 색상과 지퍼효과와 같은 문제점이 발생하게 된다. 이러한 문제점을 해결하기 위한 많은 방식들이 연구되었으나 그방식 그대로 실제의 이미지 센서에 적용한다면, 각 센서들의 다른 특성으로 인해 원하는 화질을 얻기가 쉽지 않다.
원색필터는 주로 어떤 카메라에 사용되는가?
CFA의 컬러패턴은 그림 1의 좌측과 같이 3색의 원색필터나 우측의 3색 혹은 4색의 보색필터가 많이 사용된다. 원색필터는 빛을 원래의 기본색인 RGB로 받아들이고 다시 표현할 때 RGB로 표현하기 때문에 색상 표현력이 좋아 디지털 스틸 카메라에 주로 사용되며, 보색필터는 색상표현력은 원색필터에 대해 상대적으로 떨어지나 원색필터에 비하여 약 2배의 빛의 양을 통과시킬 수 있기 때문에 잡음 특성이 좋고 저조도 에서 촬영이 가능하기 때문에 디지털 비디오카메라에 주로 이용 된다. 본 논문에서 사용된 허니컴 패턴은 그림 1의 우측의 보색 베이어 패턴을 약 45도정도 틀어놓은 형태이며 각각 포토다이오드는 8각형의 벌집모양을 하고 있어 허니컴 패턴이라고 한다.
참고문헌 (6)
SONY, Diagonal 4.5 mm(Type1/4") CCD image sensor for NTSC color video cameras, available at http://pdfserv.datasheetpro.net/Sony/a6805261.pdf
한영석, 강희, 강문기, "디지털 비디오 카메라용 보색 필터를 위한 에지 적응적 색상 보간 방법", 방송공학회논문지 2008년 제13권 제 11호.
C'est Image, 40 Pin CLCC Package(Type 1/3.5") Interline Transfer CCD image sensor fo CCTV, available at http://www.cestimage.com/board/readphpnp1&pid99850&uid1902669
Jim Adams, Ken Parulski, Kevin Spaulding, "Color Processing in Digital Cameras", 1998 IEEE 20-29.
Liu Supeng, Chang Lanlan, "CMYG DEMOSAiCING" IEEE 2005
서주현, 박찬일, 정용진, "Honeycomb CFA 구조를 갖는 CCD 이미지 센서의 필터특성을 고려한 디모자이킹 알고리즘의 개발", 대한전자공학회 신호처리소사이어티 2010년 하계학술대회 제 33권 1호.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.