Single-chip CMOS Image Sensor를 위한 하드웨어 최적화된 고화질 Image Signal Processor 설계 Hardware optimized high quality image signal processor for single-chip CMOS Image Sensor원문보기
본 논문에서는 single-chip CMOS Image Sensor(CIS)용 고화질 image signal processor(ISP)에 최적화된 하드웨어 구조를 제안한다. Single-chip CIS는 CIS와 ISP가 하나의 칩으로 구현된 것으로, 다양한 휴대기기에 사용된다. 휴대기기의 특성상, single-chip CIS용 ISP는 고화질이면서도 저전력을 위해 하드웨어 복잡도를 최소화해야 한다. 영상의 품질 향상을 위해서 다양한 영상 처리 블록들이 ISP에 적용되지만, 그 중에 핵심이면서 하드웨어 복잡도가 가장 큰 블록은 컬러 영상을 만들기 위한 색 보간 블록과 영상을 선명하게 하기 위한 화질 개선 필터 블록이다. 이들 블록은 데이터 처리를 위한 로직 외에도 라인 메모리를 필요로 하기 때문에 ISP의 하드웨어 복잡도의 대부분을 차지한다. 기존 ISP에서는 색 보간과 화질 개선 필터를 독립적으로 수행하였기 때문에 많은 수의 라인 메모리가 필요하였다. 따라서 하드웨어 복잡도를 낮추기 위해서는 낮은 성능의 색보간 알고리즘을 적용하거나, 화질 개선 필터를 사용하지 않아야 했다. 본 논문에서는 화질 개선을 위해 경계 적응적이면서 채널간 상관관계를 고려하는 고화질 색 보간 알고리즘을 적용하였다. 또한 채널 간 상관관계를 고려하는 색 보간 알고리즘의 특성을 이용하여 색 보간 블록과 화질 개선 필터 블록이 라인 메모리를 공유하도록 설계함으로써, 전체 라인 메모리 수를 최소화하는 새로운 구조를 제안한다. 제안된 방법을 적용하면 화질 개선 필터 블록을 위한 추가적인 라인 메모리가 불필요하기 때문에, 고화질과 낮은 복잡도 모두를 만족시킬 수 있다. 제안 방식과 기존 방식의 MSE(Mean Square Error)는 0.37로, 메모리 공유로 인한 화질의 저하는 거의 없었고, 고화질 색 보간 알고리즘을 적용했기 때문에 전체적인 화질은 향상되었다. 제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성하였을 때, 총 게이트 수는 37K개였으며 7.5개의 라인 메모리가 사용되었다.
본 논문에서는 single-chip CMOS Image Sensor(CIS)용 고화질 image signal processor(ISP)에 최적화된 하드웨어 구조를 제안한다. Single-chip CIS는 CIS와 ISP가 하나의 칩으로 구현된 것으로, 다양한 휴대기기에 사용된다. 휴대기기의 특성상, single-chip CIS용 ISP는 고화질이면서도 저전력을 위해 하드웨어 복잡도를 최소화해야 한다. 영상의 품질 향상을 위해서 다양한 영상 처리 블록들이 ISP에 적용되지만, 그 중에 핵심이면서 하드웨어 복잡도가 가장 큰 블록은 컬러 영상을 만들기 위한 색 보간 블록과 영상을 선명하게 하기 위한 화질 개선 필터 블록이다. 이들 블록은 데이터 처리를 위한 로직 외에도 라인 메모리를 필요로 하기 때문에 ISP의 하드웨어 복잡도의 대부분을 차지한다. 기존 ISP에서는 색 보간과 화질 개선 필터를 독립적으로 수행하였기 때문에 많은 수의 라인 메모리가 필요하였다. 따라서 하드웨어 복잡도를 낮추기 위해서는 낮은 성능의 색보간 알고리즘을 적용하거나, 화질 개선 필터를 사용하지 않아야 했다. 본 논문에서는 화질 개선을 위해 경계 적응적이면서 채널간 상관관계를 고려하는 고화질 색 보간 알고리즘을 적용하였다. 또한 채널 간 상관관계를 고려하는 색 보간 알고리즘의 특성을 이용하여 색 보간 블록과 화질 개선 필터 블록이 라인 메모리를 공유하도록 설계함으로써, 전체 라인 메모리 수를 최소화하는 새로운 구조를 제안한다. 제안된 방법을 적용하면 화질 개선 필터 블록을 위한 추가적인 라인 메모리가 불필요하기 때문에, 고화질과 낮은 복잡도 모두를 만족시킬 수 있다. 제안 방식과 기존 방식의 MSE(Mean Square Error)는 0.37로, 메모리 공유로 인한 화질의 저하는 거의 없었고, 고화질 색 보간 알고리즘을 적용했기 때문에 전체적인 화질은 향상되었다. 제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성하였을 때, 총 게이트 수는 37K개였으며 7.5개의 라인 메모리가 사용되었다.
In this paper, we propose a VLSI architecture of hardware optimized high quality image signal processor for a Single-chip CMOS Image Sensor(CIS). The Single-chip CIS is usually used for mobile applications, so it has to be implemented as small as possible while maintaining the image quality. Several...
In this paper, we propose a VLSI architecture of hardware optimized high quality image signal processor for a Single-chip CMOS Image Sensor(CIS). The Single-chip CIS is usually used for mobile applications, so it has to be implemented as small as possible while maintaining the image quality. Several image processing algorithms are used in ISP to improve captured image quality. Among the several image processing blocks, demosaicing and image filter are the core blocks in ISP. These blocks need line memories, but the number of line memories is limited in a low cost Single-chip CIS. In our design, high quality edge-adaptive and cross channel correlation considered demosaicing algorithm is adopted. To minimize the number of required line memories for image filter, we share the line memories using the characteristics of demosaicing algorithm which consider the cross correlation. Based on the proposed method, we can achieve both high quality and low hardware complexity with a small number of line memories. The proposed method was implemented and verified successfully using verilog HDL and FPGA. It was synthesized to gate-level circuits using 0.25um CMOS standard cell library. The total logic gate count is 37K, and seven and half line memories are used.
In this paper, we propose a VLSI architecture of hardware optimized high quality image signal processor for a Single-chip CMOS Image Sensor(CIS). The Single-chip CIS is usually used for mobile applications, so it has to be implemented as small as possible while maintaining the image quality. Several image processing algorithms are used in ISP to improve captured image quality. Among the several image processing blocks, demosaicing and image filter are the core blocks in ISP. These blocks need line memories, but the number of line memories is limited in a low cost Single-chip CIS. In our design, high quality edge-adaptive and cross channel correlation considered demosaicing algorithm is adopted. To minimize the number of required line memories for image filter, we share the line memories using the characteristics of demosaicing algorithm which consider the cross correlation. Based on the proposed method, we can achieve both high quality and low hardware complexity with a small number of line memories. The proposed method was implemented and verified successfully using verilog HDL and FPGA. It was synthesized to gate-level circuits using 0.25um CMOS standard cell library. The total logic gate count is 37K, and seven and half line memories are used.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 Single-chip CIS에 최적화된 고화질 ISP의 하드웨어 구조를 제안하였다. 고화질과 낮은 하드웨어 복잡도를 통한 저전력 두 가지 모두를 만족시키기 위해, 색 보간 블록과 화질 개선 필터 블록이 라인메모리를 공유하는 구조를 제안하였다.
본 논문에서는 채널간 상관관계를 이용한 색 보간 알고리즘의 특징을 이용하여, 색 보간부와 영상 품질 향상 블록간의 라인 메모리를 공유하는 새로운 ISP 구조를 제안한다. 채널간 상관관계를 이용한 색 보간 방식에서는 G 채널을 먼저 보간한 후에, 이를 이용해서 R/B 채널을 보간하게 된다.
제안 방법
그림 11은 설계된 ISP를 검증하기 위한 FPGA 테스트 보드이다. 130만 화소의 CIS가 검증에 사용되었고, CIS로 부터 Bayer 데이터를 입력받아 색 보간 및 화질 개선 등의 알고리즘을 적용하였다. 최대 28.
하드웨어 구조를 제안하였다. 고화질과 낮은 하드웨어 복잡도를 통한 저전력 두 가지 모두를 만족시키기 위해, 색 보간 블록과 화질 개선 필터 블록이 라인메모리를 공유하는 구조를 제안하였다. 제안된 구조를 통해 화질 개선 필터에 필요한 추가적인 라인메모리를 없앰으로써, 기존 대비 약 65%의 라인 메모리만을 사용하였다.
Gain을 구하기 위해서는 국부 평균 외에도 국부 표준 편차가 필요한데, 표준 편차는 평균과 달리 선형이 아니기 때문에 식 (9)과 같은 형태로는 구할 수 없다. 따라서 제안된 방식에서는 Y 채널 대신 G 채널 값의 국부 평 균 및 국부 표준 편차를 이용한다. 제안된 방법을 적용하면 화질 개선을 위한 별도의 라인 메모리가 필요 없으므로 하드웨어 복잡도를 최소화할 수 있을 뿐만 아니라, 고화질 색 보간 알고리즘을 적용했기 때문에 화질 또한 향상될 수 있다.
먼저 입력화소의 주변 화소값들을 이용해 국부 평균(local mean), 국부 표준 편차(local standard deviation)를 구한다. 이를 이용해 gain을 구한 뒤, scaling constant^}- 곱해진 값을 국부 평균에 더해서 줄력한다.
그림 10은 화질 개선 필터 블록의 구조이다. 버퍼에 저장된 데이터를 이용해 G 채널의 국부 평균 및 국부 표준 편차를 구하여 gain을 구하고,이를 이용해 근사화 된 Y 채널을 구한 뒤 결과값을 출력 한다.
그러나 [6]에서 제안된 색 보간 알고리즘을 사용하더라도, 일부 영상에서는 영상의 특징을 잘 못 판단하여 다수의 잘못된 색이 발생하게 된다. 이를 최소화하기 위해 [기에서 제안된 방법을 함께 적용하였다. [기에서는 G 채널의 보간 후 해당 화소의 방향 정보를 저장해 두는데 다음과 같이 정의 된다.
본 논문에서는 영상품질 향상을 위해 경계 적응적이면서 채널간 상관관계를 이용한 색 보간 기법을 적용하였다. 이와 함께 필요한 라인 메모리의 수를 최소화하기 위해 색 보간과 화질 개선 필터 블록의 라인 메모리를 공유하는 새로운 ISP 구조를 제안한다. 제안된 ISP 구조를 적용하면 화질 개선 블록을 위한 별도의 라인 메모리가 필요하지 않기 때문에 하드웨어 복잡도를 크게 줄일 수 있다.
37에 불과해 화질에 손실이 거의 없었다. 제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.
제안된 ISP는 Verilog HDL 및 FPGA를 이용하여 설계 및 검증되었다. 그림 9는 설계된 색 보간 블록의 블록 다이어그램이다.
제안된 ISP는 Verilog HDL을 이용하여 하드웨어로 설계되었으며, 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성했을 때, 색 보간 블록이 12K, 화질 개선 필터 블록이 12.5K로 구현되었고, 그 밖에 색상 보정을 위한 블록들을 포함해 총 37K개의 게이트로 구현되었다. 그림 11은 설계된 ISP를 검증하기 위한 FPGA 테스트 보드이다.
각 채널의 근사화된 국부 평균값은 다음과 같은 식에 의해 구해진다. 하드웨어 구현을 용이화하기 위해, 牙으로 나눌 수 있도록 주위 화소들을 추가 혹은 제외하고 계산하였다.
대상 데이터
제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성하였을 때, 총 게이트 수는 37K 개였으며 75개의 라인 메모리가 사용되었다.
고화질과 낮은 하드웨어 복잡도를 통한 저전력 두 가지 모두를 만족시키기 위해, 색 보간 블록과 화질 개선 필터 블록이 라인메모리를 공유하는 구조를 제안하였다. 제안된 구조를 통해 화질 개선 필터에 필요한 추가적인 라인메모리를 없앰으로써, 기존 대비 약 65%의 라인 메모리만을 사용하였다. 라인 메모리 수를 줄였음에도 기존방식과 MSE 가 0.
제안된 기법은 KodakCD에 있는 여러 종류의 컬러영상(768x512)을 이용하여 평가하였다.® 다음과 같은 3가지 방법을 비교함으로써 제안된 ISP의 성능을 평가하였다.
하드웨어 복잡도 측면에서도, ISP I의 경우 색 보간블록에 2개, 화질 개선 필터 블록에 4개의 라인 메모리를 사용하여 총 6개의 라인 메모리가 사용되었고, ISP II의 경우는 11.5개, 제안된 ISP인 ISP HI의 경우 7.5개의 라인 메모리를 사용한다. ISP I보다는 1.
이론/모형
또한 2개의 입력된 R 채널 및 5개의 보간 완료된 R 채널, 6개의 입력된 B채널 및 4개의 보간 완료된 채널도 이용 가능한 상태이다 따라서 이용 가능한 화소를 최대한 이용하면 영상의 선명도 및 콘트라스트 향상등의 다양한 영상 품질 향상 기법들이 적용될 수 있다. 다양한 화질 개선 알고리즘 중에 하드웨어 복잡도가 낮은 ⑻에서 제안된 화질 개선 필터 (Adaptive local contrast enhancement)를 적용하였다. 이를 위해서는 현재 화소의 밝기 값, 국부 평균 및 국부 표준 편차 등이 필요하다.
따라서 저전력의 고화질 ISP 설계는 이 두 블록의 하드웨어최적화에 달려 있다고 할 수 있다. 본 논문에서는 영상품질 향상을 위해 경계 적응적이면서 채널간 상관관계를 이용한 색 보간 기법을 적용하였다. 이와 함께 필요한 라인 메모리의 수를 최소화하기 위해 색 보간과 화질 개선 필터 블록의 라인 메모리를 공유하는 새로운 ISP 구조를 제안한다.
제안된 ISP에서는 [6]에서 제안된 색 보간 알고리즘을 적용하여 고화질의 영상을 얻을 수 있었다. 그러나 [6]에서 제안된 색 보간 알고리즘을 사용하더라도, 일부 영상에서는 영상의 특징을 잘 못 판단하여 다수의 잘못된 색이 발생하게 된다.
이미지 센서에 의해 실영상이 캡처되는데, CCD/CMOS 이미지 센서는 빛의 밝기만을 인식할 수 있다. 컬러 영상을 위한 3가지 색을 얻기 위해 센서의 표면에 컬러 필터 배열(Color Filter Array, CFA)을 사용한다. 컬러가 배열된 구조에 따라 여러 가지 형태를 갖고 있으나, 가장 널리 사용되는 패턴은 Bayer 패턴이다.
성능/효과
이와 함께 필요한 라인 메모리의 수를 최소화하기 위해 색 보간과 화질 개선 필터 블록의 라인 메모리를 공유하는 새로운 ISP 구조를 제안한다. 제안된 ISP 구조를 적용하면 화질 개선 블록을 위한 별도의 라인 메모리가 필요하지 않기 때문에 하드웨어 복잡도를 크게 줄일 수 있다. 본 논문은 다음과 같이 구성된다.
따라서 제안된 방식에서는 Y 채널 대신 G 채널 값의 국부 평 균 및 국부 표준 편차를 이용한다. 제안된 방법을 적용하면 화질 개선을 위한 별도의 라인 메모리가 필요 없으므로 하드웨어 복잡도를 최소화할 수 있을 뿐만 아니라, 고화질 색 보간 알고리즘을 적용했기 때문에 화질 또한 향상될 수 있다. 그림 7은 제안된 알고리즘이 적용된 ISP의 구조이다.
후속연구
R25에서 G25에 대한 색 보간이 수행되고 있고 R11 에서는 B11 에 대한 색 보간을 수행하고 있다 이때, G10을 기준으로 5x3 매트릭스를 구성하면, 매트릭스 내에 모든 G 채널은 보간이 끝났으므로 사용 가능하다. 또한 2개의 입력된 R 채널 및 5개의 보간 완료된 R 채널, 6개의 입력된 B채널 및 4개의 보간 완료된 채널도 이용 가능한 상태이다 따라서 이용 가능한 화소를 최대한 이용하면 영상의 선명도 및 콘트라스트 향상등의 다양한 영상 품질 향상 기법들이 적용될 수 있다. 다양한 화질 개선 알고리즘 중에 하드웨어 복잡도가 낮은 ⑻에서 제안된 화질 개선 필터 (Adaptive local contrast enhancement)를 적용하였다.
참고문헌 (13)
Bayer, Bryce E., 'Color imaging array,' U.S. Patent 3,971,065
Keys, Robert. G., 'Cubic Convolution Interpolation for Digital Image Processing' IEEE Trans. on Acoustic, Speech and Signal Processing
R. H. Hibbard, 'Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients,' U.S. Patent 5,382,976
J. E. Adams and J.F.Hamilton Jr., 'Adaptive color plane interpolation in single sensor color electronic camera,' U.S.Patent 5,629,734
B. K. Gunturk, Y. Altunbasak and R. M. Mersereau, 'Color plane interpolation using alternating projections,' IEEE Transactions on Image Processing, vol.11, no.9, 2002
Yun Ho Jung, Jae Seok Kim, Bong Soo Hur, and Moon Gi Kang, 'Design of Real-Time Image Enhancement Preprocessor for CMOS Image sensor,' IEEE Transactions on Consumer Electronics, Vol. 46, No. 1, Feb 2000, pp. 68-75
Kim, H., et al,, 'Digital signal processor with efficient RGB interpolation and histogram accumulation,' IEEE Transactions on Consumer Electronics, 1998, 44, pp. 1389-1395
Rongzheng Zhou., et al., 'System-on-chip for mega-pixel digital camera processor with auto control functions,' 2003 5th International Conference on ASIC Proceedings, Vol. 2, 21-24, Oct. 2003, pp. 894-897
Shih-Chang Hsia, Ming-Huei Chen, and Po-Shien Tsai, 'VLSI Implementation of Low-Power High-Quality Color Interpolation Processor for CCD Camera,' IEEE Trans. VLSI Systems, Vol. 14, No. 4, pp 361-369, April 2006
D. Doswald, J. Hafliger, P. Blessing, N. Felber, P. Niederer, and W. Fichtner, 'A 30 frames/s Megapixel real-time CMOS image processor,' IEEE J. Solid-State Circuits, Vol. 35, No. 11, pp. 1732-1743, Nov. 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.