[논문]하드웨어와 소프트웨어의 역할 분담을 통해 칩 면적을 크게 줄인 Image Signal Processor의 설계

박정환; 박종식; 이성수

doi:10.6109/jkiice.2010.14.8.1737

하드웨어와 소프트웨어의 역할 분담을 통해 칩 면적을 크게 줄인 Image Signal Processor의 설계
Design of Image Signal Processor greatly reduced chip area by role sharing of hardware and software 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.14 no.8, 2010년, pp.1737 - 1744

박정환 (숭실대학교) , 박종식 (숭실대학교) , 이성수 (숭실대학교)

초록
AI-Helper

이미지 센서에서 획득된 영상에는 화질 개선을 위해 다양한 이미지 처리 과정이 필요하다. 이러한 이미지를 처리해 주는 역할을 하는 것을 ISP(Image Signal Processor)라고 한다. 기존의 비전 카메라는 상용 ISP 칩을 사용하는 대신에 자체적으로 ISP 기능을 소프트웨어로 구현하여 PC등에서 수행하는 방식을 택해왔다. 그러나 이러한 방식은 ISP 기능을 수행하는데 많은 연산을 필요로 함에 따라 고성능 PC를 필요로 하는 문제가 있다. 본 논문에서는 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 연산을 빠르게 처리하기 위하여 연산이 많은 블록은 하드웨어로 설계하였고, 하드웨어의 면적을 고려하여 하드웨어와 소프트웨어를 동시에 이용하도록 설계하였다. 구현된 ISP는 VGA(640*480)급의 영상을 처리할 수 있으며 0.35um 공정에서 91450 게이트의 크기를 가진다.

Abstract ▼ AI-Helper

The Image sensor needs various image processing to improve image quality. ISP(Image Signal Processor) performs various image processing. Conventional vision cameras have own software ISP functions and perform in PC instead of using commercial ISP chips. However these methods have problems such as large computation for image processing. In this paper, we proposed ISP that significantly reduced chip area by efficient sharing of hardware and software. Large operation blocks are designed to hardware for high performances, and we used hardware simultaneously with software considering the size of the hardware. The implemented ISP can process VGA(640*4800) images and has 91450 gate sizes in 0.35um process.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존의 ISP기능을 소프트웨어로만 처리하여 많은 연산을 필요로 하는 문제점을 해결하기 위하여 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 연산을 빠르게 처리하기 위하여 연산이 많은 블록은 하드웨어로 설계하였고, 하드웨어의 면적을 고려하여 하드웨어와 소프트웨어를 동시에 이용하도록 설계하였다.
본 논문에서는 이러한 문제점을 해결하기 위하여 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 빠른 영상 처리속도가 필요한 블록들은 하드웨어로 설계하였고, 메모리가 많이 필요하거나 나눗셈 연산이 필요한 블록들은 소프트웨어로 설계하였다.

제안 방법

제안된 구조는 다양한 환경을 위하여 Color Correction, Gamma Correction의 각각의 파라미터를 상황에 맞게 변경하여 레지스터 값을 설정할 수 있는 구조로 되어 있다. I2C를 기반으로 하는 통신방법으로 PC에서 소프트웨어를 이용하여 파라미터를 쉽게 수정할 수 있도록 설계되었다.
ISP의 검증 환경은 그림 10과 같이 VGA급의 CMOS 센서 카메라 모듈과 USB 방식으로 통신 기능을 수행하는 보드를 FPGA(RPS-3000) 보드와 연결하여 검증 환경을 구현하였고, 처리된 영상을 PC의 모니터에 출력을 하여 확인하였다.
또한 다양한 환경을 위하여 블록들의 파라미터변경 등 사용자 설정을 위한 블록들을 소프트웨어로 설계하여 변경할 수 있도록 하였다. 계산라인 메모리를 최대한 적게 사용하여 하드웨어의 크기를 줄이고 동시에 소프트웨어를 이용하여 효율적으로 영상을 실시간 처리할 수 있도록 설계하고 이를 구현하여 검증하였다.
설계한 Color Correction의 하드웨어 구조는 그림 4와 같은 구조를 가지고 있으며, 계산에 이용되는 3×3 행렬의 파라미터들을 레지스터 기반으로 설계하였다. 그리고 Color Interpolation에서 생성된 Color Correction의 입력인 RGB가 각각의 Multiplier와 Limiter를 가지고 있는 구조로 설계하였다.
일반적인 Color Space Conversion 식은 부동소수점 연산이 필요하므로 오차 허용 내에서 간단한 연산을 통해 변환할 수 있도록 정수화 시킨 아래의 수식을 사용한다. 다른 IP의 파라미터와는 다르게 계산되는 파라미터가 정해져 있다는 특성을 이용하여 곱셈기의 숫자를 줄이기 위하여 곱셈기 대신 쉬프터와 덧셈기를 이용하는 구조로 설계하였다.
다양한 환경에 사용할 수 있도록 외부의 보드에 설정 핀을 추가함으로써 3가지 출력 모드가 가능하도록 구현을 하였다. 그림 9를 보면 알 수 있듯 이 구현한 ISP를 통과하지 않고 바로 8bit RGB bayer 패턴으로 출력하는 모드와 구현한 ISP를 통과한 이후 24bit RGB 패턴에서 8bit RGB 패턴으로 다시 변환되어 출력하는 모드, 그리고 마지막으로 8bit YCbCr 형태로 변환되어 출력되는 모드까지 3가지 출력 형태를 가지고 있다.
연산을 빠르게 처리하기 위하여 연산이 많은 블록은 하드웨어로 설계하였고, 하드웨어의 면적을 고려하여 하드웨어와 소프트웨어를 동시에 이용하도록 설계하였다. 더불어 다양한 환경에 맞게 사용자 설정이 적용될 수 있는 ISP의 구조를 제안하고 설계하였다. 제안된 구조는 다양한 환경을 위하여 Color Correction, Gamma Correction의 각각의 파라미터를 상황에 맞게 변경하여 레지스터 값을 설정할 수 있는 구조로 되어 있다.
빠른 영상 처리속도가 필요한 블록들은 하드웨어로 설계하였고, 메모리가 많이 필요하거나 나눗셈 연산이 필요한 블록들은 소프트웨어로 설계하였다. 또한 다양한 환경을 위하여 블록들의 파라미터변경 등 사용자 설정을 위한 블록들을 소프트웨어로 설계하여 변경할 수 있도록 하였다. 계산라인 메모리를 최대한 적게 사용하여 하드웨어의 크기를 줄이고 동시에 소프트웨어를 이용하여 효율적으로 영상을 실시간 처리할 수 있도록 설계하고 이를 구현하여 검증하였다.
레지스터로 설계된 파라미터들은 I2C 통신 방식을 이용하여 PC에서 설정 가능하도록 설계하였다. 8bit 기반의 I2C통신 방식을 이용하여 레지스터 값을 설정하게 되며, Control logic은 Camera module과 병렬로 연결되어 있기 때문에 0x11이라는 IP 주소를 갖게 된다.
본 논문에서는 이러한 문제점을 해결하기 위하여 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 빠른 영상 처리속도가 필요한 블록들은 하드웨어로 설계하였고, 메모리가 많이 필요하거나 나눗셈 연산이 필요한 블록들은 소프트웨어로 설계하였다. 또한 다양한 환경을 위하여 블록들의 파라미터변경 등 사용자 설정을 위한 블록들을 소프트웨어로 설계하여 변경할 수 있도록 하였다.
설계한 Gamma Correction는 보정하는 그래프를 구간별로 나누어 파라미터를 표로 만든 후, Gamma Correction에서 계산하는데 필요한 파라미터를 레지스터에 저장해서 이용하도록 설계하였다. 그림 6에 있는 식을 이용하여 계산을 하게 되는데, Gamma Correction은 11개의 y_n-1과 11개의 #값을 가지고 레지스터로 설정하였다.
설계한 ISP 구조의 특징은 빠른 영상 처리 속도가 필요한 Color Interpolation, Color Correction, Gamma Correction, Color Space Conversion 등의 블록들은 하드웨어로 설계 되었고 메모리가 많이 필요하거나 나눗셈 연산이 필요한 Edge Enhancement, Auto White Balance, Auto Exposure와 같은 블록들은 소프트웨어로 설계되어 하드웨어에 연동 하였다. 또한 설계한 ISP는 PC를 이용하여 소프트웨어에서 각 기능 블록들의 레지스터를 설정할 수 있도록 Logic Block으로 설계되었다.
본 논문에서는 기존의 ISP기능을 소프트웨어로만 처리하여 많은 연산을 필요로 하는 문제점을 해결하기 위하여 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 연산을 빠르게 처리하기 위하여 연산이 많은 블록은 하드웨어로 설계하였고, 하드웨어의 면적을 고려하여 하드웨어와 소프트웨어를 동시에 이용하도록 설계하였다. 더불어 다양한 환경에 맞게 사용자 설정이 적용될 수 있는 ISP의 구조를 제안하고 설계하였다.
더불어 다양한 환경에 맞게 사용자 설정이 적용될 수 있는 ISP의 구조를 제안하고 설계하였다. 제안된 구조는 다양한 환경을 위하여 Color Correction, Gamma Correction의 각각의 파라미터를 상황에 맞게 변경하여 레지스터 값을 설정할 수 있는 구조로 되어 있다. I2C를 기반으로 하는 통신방법으로 PC에서 소프트웨어를 이용하여 파라미터를 쉽게 수정할 수 있도록 설계되었다.
제작하고자 하는 ISP의 경우는 Target FPGA 칩의 크기를 고려하여 2×2의 보간법을 사용하여 라인버퍼 하나에 두 개의 픽셀 레지스터를 추가한 구조로 구현하였다.

대상 데이터

35um 공정으로 구현된 ISP의 layout은 그림 12와 같다. VGA(640*480) 급의 영상을 처리하기 위해 802개의 8bit 레지스터가 포함되어 있는 구조로 되어 있으며, 레지스터를 포함한 전체 게이트 수는 91450개이다.
개발된 ISP는 입력으로는 8bit bayer 신호를 받고 있으며 Interpolation과 Gamma Correction, Color Correction, YCbCr Converter에서는 변환된 24bit RGB 데이터를 사용한다. YCbCr Transform에서는 4:2:0 출력 포맷으로 변환하고 PCLK의 타이밍에 맞추기 위하여 YCb, YCr의 형태인 16bit로 출력한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	ISP는 어떠한곳에 내장되어있는가?	이러한 이미지를 처리해 주는 역할을 하는 것을 ISP (Image Signal Processor)라고 한다[3]. 디지털 카메라, 휴대폰, 감시카메라, 전자현미경 등 대부분의 카메라에는 ISP가 내장 되어 있다. 그러나 상용화된 대부분의 ISP는 비교적 저가 대량 생산 제품인 디지털 카메라와 휴대폰에 사용하기에 적합하도록 설계되었기 때문에 조립 장비, 테스트 장비, 로봇, 감시 장비 등과 같은 비교적 소량 다품종이면서 고가인 비전 카메라에 사용하기에는 적합하지 않다.
	이미지 센서에서 획득된 영상에는 화질 개선을 위해 다양한 이미지 처리 과정이 필요한데 이를 처리해주는 역할은 하는 것은 무엇인가?	이미지 센서에서 획득된 영상에는 화질 개선을 위해 다양한 이미지 처리 과정이 필요하다. 이러한 이미지를 처리해 주는 역할을 하는 것을 ISP(Image Signal Processor)라고 한다. 기존의 비전 카메라는 상용 ISP 칩을 사용하는 대신에 자체적으로 ISP 기능을 소프트웨어로 구현하여 PC등에서 수행하는 방식을 택해왔다.
	비전 카메라에 사용되는 ISP는 사용자가 정밀하게 제어하기 위해 무엇을 하는것이 중요한가?	일반 카메라는 영상의 밝기 및 색상을 개선하는데 중점을 두는 반면에, 비전 카메라는 영상의 화질보다는 물체의 인식률을 높이는 것이 더 중요하다. 비전 카메라에 사용되는 ISP는 사용자가 정밀하게 제어하기 위해 영상 변환, 제어, 보정 알고리즘 및 파라미터를 사용자가 설정하도록 하는 것이 중요하다.

참고문헌 (10)

정보통신연구진흥원 학술정보, 주간기술동향 1190호
Kimo Kim and In-Cheol Park, "Combined Image Signal Processing for CMOS Image Sensors", IEEE International Symposium on Circuits and Systems, pp. 3185-3188, May 2006
손승일, 이동훈, "CMOS 카메라 이미지 센서용 ISP 구현", 한국해양정보통신학회논문지, vol 11, no.3, pp. 555-562, 2007년 3월

원문보기 상세보기
이원재, 정윤호, 이성주, 김재석, "Single-chip CMOS Image Sensor를 위한 하드웨어 최적화된 고화질 Image Signal Processor 설계", 전자공학회 논문지 제 44 권 SP 편 제 5 호, pp. 103-111, 2007년 9월
B.K.Gunturk et al., "demosaicking: Color Filter Array Interpolation," IEEE Signal Processing Magazine, pp. 44-54, Jan. 2005.
Kim, H., et al, "Digital signal processor with efficient RGB interpolation and histogram accumulation," IEEE Transactions on Consumer Electronics, 44, pp. 1389-1395, Nov 1998

상세보기
Dillon, P.L.P et al, "Color Imaging System Using a Single CCD Area Array", Solid-State Circuits, IEEE Journal of, vol 13, pp. 28 - 33, Feb. 1978.

상세보기
장원우, 이성목, 하주영, 김주현, 김상준, 강봉순, "비선형 감마 커브를 위한 감마 라인 시스템의 비교", 한국해양정보통신학회논문지, vol 11, no.2, pp. 265-272, 2007년 2월

원문보기 상세보기
C. Poynton, "Gamma and its disguises: The nonlinear mappings of intensity in perception, CRTs, film and video," SMPTE J., vol. 102, no.12, pp. 1099？1108, Dec. 1993.

상세보기
안호필, 정효원, 하주영, 김강주, 강봉순, "모바일 폰 카메라용 ISP 플랫폼에서의 RGB to YCbCr 변환 블록의 구조개선", SoC 학술대회 pp. 448-451, 2009 년 5월

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증