[논문]광각 카메라를 위한 저 복잡도 실시간 베럴 왜곡 보정 프로세서의 설계 및 구현

정희성; 김원태; 이광호; 김태환

doi:10.5573/ieek.2013.50.6.131

광각 카메라를 위한 저 복잡도 실시간 베럴 왜곡 보정 프로세서의 설계 및 구현
Design and Implementation of a Low-Complexity Real-Time Barrel Distortion Corrector for Wide-Angle Cameras 원문보기

Journal of the Institute of Electronics Engineers of Korea = 전자공학회논문지, v.50 no.6, 2013년, pp.131 - 137

정희성 (국항공대학교 항공전자및정보통신공학부) , 김원태 (국항공대학교 항공전자및정보통신공학부) , 이광호 (국항공대학교 항공전자및정보통신공학부) , 김태환 (국항공대학교 항공전자및정보통신공학부)

초록
AI-Helper

광각 카메라는 단 초점 렌즈를 장착하여 넓은 시야의 이미지를 처리하는데, 렌즈의 광학 문제로 인해 이미지에 베럴 왜곡(barrel distortion)이 발생한다. 본 논문에서는 베럴 왜곡을 실시간 디지털 신호처리를 통해 보정하기 위한 낮은 복잡도의 프로세서 구조를 제시하고 이를 실제 구현하여 유효성을 검증하였다. 제안하는 왜곡 보정 프로세서는 하드웨어 복잡도를 낮추기 위해서, 좌표 위치 보정에 필요한 계산을 점증적(incremental)으로 수행한다. 또한, 높은 보정 속도를 달성하기 위해 파이프 라인 구조로 설계하였다. 설계된 보정 프로세서는 $0.11{\mu}m$ complementary metal-oxide semiconductor(CMOS) 공정을 사용하여 14.3K의 논리 게이트로 구현되었다. $2048{\times}2048$ 픽셀 영상에 대하여, 최대 314MHz의 동작 주파수로 초당 74.86번의 속도로 보정이 가능하다.

Abstract ▼ AI-Helper

The barrel distortion makes serious problems in a wide-angle camera employing a lens of a short focal length. This paper presents a low-complexity hardware architecture for a real-time barrel distortion corrector and its implementation. In the proposed barrel distortion corrector, the conventional algorithm is modified so that the correction is performed incrementally, which results in the reduction of the number of required hardware modules for the distortion correction. The proposed barrel distortion corrector has a pipelined architecture so as to achieve a high-throughput correction. The correction rate is 74.86 frames per sec at the operating frequency of 314MHz in a $0.11{\mu}m$ CMOS process, where the frame size is $2048{\times}2048$. The proposed barrel distortion corrector is implemented with 14.3K logic gates.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Ⅳ장에서는 제안하는 보정 프로세서의 구현 및 검증 결과를 고찰하고, 기존 연구 결과와 비교한다. 마지막으로, Ⅴ장에서 결론으로 본 논문을 마치고자 한다.
본 논문에서는 기존 보정 알고리즘을 하드웨어적으로 효율성을 고려하여 변형하고, 이에 기반한 고속의 보정 속도 달성을 위해 파이프라인 구조의 베럴 왜곡 보정 프로세서를 구현하였다. 제안하는 구조는 좌표 위치를 순차적으로 보정함에 있어, 기존 픽셀의 보정 값을 바탕으로, 현재의 보정 값을 점증적으로 계산한다.
본 논문에서는 낮은 연산 복잡도를 갖는 베럴 왜곡 보정 방법을 제안하고, 이를 기반으로 고속의 왜곡 보정 프로세서를 설계하고 구현하였다. 제안된 방법은 래스터 스캔 순서에 따른 보정 픽셀간의 상대적 위치 관계를 이용하여 보정 계산을 점증적으로 수행하도록 하여 낮은 하드웨어 복잡도를 갖는 보정 프로세서의 구현이 가능하였으며, 고속의 보정 속도를 달성하기 위해 파이프 라인으로 설계하였다.
베럴 왜곡 현상을 해결하기 위해서는 물리적으로 이상적인 렌즈를 도입할 수 있겠지만, 이는 높은 제조비용을 요구하므로 현실적이지 못하다. 본 논문은 렌즈의 광학 왜곡에 의해 변형된 이미지를 신호 처리 과정을 통해 후 보정해주는 방식과 이에 대한 효율적인 하드웨어 구현에 대한 것이다.
본 장에서는 Ⅲ장에서 제안한 점증적 왜곡 보정 방법과 이에 기반하는 보정 프로세서의 하드웨어 복잡도와 성능에 대해 고찰하고, 실제 구현 결과를 바탕으로 기존의 연구 결과와 비교하여 본 연구의 우수성을 보인다.

제안 방법

그림에서 multiply and accumulate(MAC)은 3개의 입력 값 중 오른쪽 두 개의 입력 값을 곱하고 나머지 하나를 더하는 동작을 수행하는 모듈이다. 내부적으로 곱셈의 부분 결과물을 나머지 하나의 입력 값에 더하는 다중 입력 가산기를 구현함에 있어 Wallace tree 기반의 구조를 사용함으로써 낮은 복잡도와 높은 동작속도를 달성할 수 있도록 했다 ^[12].
앞 절에서 제안한 점증적인 기법을 기반으로 고속의 왜곡 보정이 가능한 왜곡 보정 프로세서의 구조를 설계하였다. 제안하는 왜곡 보정 프로세서는 역 맵핑을 수행하는 부분과 이중 선형 보간을 수행하는 부분으로 구성되며, 고속의 보정 속도를 달성하기 위해서 해당 부분을 각각 4단계와 3단계로 구성된 파이프라인으로 설계하였다.
역 맵핑은 CIS 상의 개별 픽셀의 좌표에, 대응되는 DIS 상의 좌표를 맵핑시키는 과정이다. 역 맵핑을 통해, CIS의 각 픽셀에 대응되는 DIS의 픽셀 위치를 구한 후, 해당 위치의 DIS의 픽셀 값을 바탕으로 CIS의 픽셀 값을 얻게 됨으로써, 주어진 DIS를 통해 CIS를 재구성(reconstruction)하여 왜곡 보정을 수행한다.
이와 같이 이중 선형 보간을 통해 구해진 DIS(u', v')을 CIS 상의(u, v)에 위치하는 픽셀 값인 CIS(u', v')로 사용하여 CIS를 재구성한다. 이와 같은 역 맵핑 과정과 이중 선형 보간을 통해 CIS 상의 모든 픽셀에 대한 DIS 상의 픽셀 값을 순차적으로 구하여, 주어진 DIS를 바탕으로 CIS를 복원한다.
본 논문에서는 낮은 연산 복잡도를 갖는 베럴 왜곡 보정 방법을 제안하고, 이를 기반으로 고속의 왜곡 보정 프로세서를 설계하고 구현하였다. 제안된 방법은 래스터 스캔 순서에 따른 보정 픽셀간의 상대적 위치 관계를 이용하여 보정 계산을 점증적으로 수행하도록 하여 낮은 하드웨어 복잡도를 갖는 보정 프로세서의 구현이 가능하였으며, 고속의 보정 속도를 달성하기 위해 파이프 라인으로 설계하였다. 이에 따라 314MHz의 동작 주파수로 2048×2048의 크기의 영상을 초당 74.
제안된 보정 프로세서는 Verilog HDL을 사용하여 합성 가능한 소프트코어 형태로 설계하였다. 설계된 프로세서의 동작 검증을 위하여 소프트웨어를 통한 보정 결과와 하드웨어를 통한 보정 결과에 대하여 개별 픽셀 값을 비교하여 동일한 이미지임을 확인하였다.
본 논문에서는 기존 보정 알고리즘을 하드웨어적으로 효율성을 고려하여 변형하고, 이에 기반한 고속의 보정 속도 달성을 위해 파이프라인 구조의 베럴 왜곡 보정 프로세서를 구현하였다. 제안하는 구조는 좌표 위치를 순차적으로 보정함에 있어, 기존 픽셀의 보정 값을 바탕으로, 현재의 보정 값을 점증적으로 계산한다. 이와 같은 변형된 알고리즘을 이용하여, 하드웨어 복잡도를 크게 낮추면서도, 고속의 왜곡 보정 품질을 달성할 수 있었다.
제안하는 보정 프로세서는 0.11㎛ CMOS 공정의 셀 라이브러리를 사용하여 합성하였다. 그림 7은 합성된 결과물을 자동 배치한 레이아웃 결과이며, 전체 보정 프로세서 코어의 크기는 299.
앞 절에서 제안한 점증적인 기법을 기반으로 고속의 왜곡 보정이 가능한 왜곡 보정 프로세서의 구조를 설계하였다. 제안하는 왜곡 보정 프로세서는 역 맵핑을 수행하는 부분과 이중 선형 보간을 수행하는 부분으로 구성되며, 고속의 보정 속도를 달성하기 위해서 해당 부분을 각각 4단계와 3단계로 구성된 파이프라인으로 설계하였다.
제안하는 점증적 보정 기법은 이러한 래스터 스캔 순서에 따른 보정 픽셀의 상대적인 위치 관계를 이용한 것으로, 앞의1), 2)의 경우 모두에 적용되지만, 여기에서는 설명의 편의성을 위해 n+1번째로 보정되는 픽셀의 위치가 n번째로 보정되는 픽셀의 바로 오른쪽에 위치하는 경우로 한정 한다(0≤n<2048×2048).

대상 데이터

본 논문에서는 N = 3의 맵핑 다항식을 기준으로 2048×2048 크기의 이미지를 보정하였다.
본 논문과 마찬가지로 표에 포함된 기존의 연구 결과물 [4], [5] 역시 [10]에서 제안하는 최소자승법을 통해 역 맵핑 계수를 추정하였으므로, 표에서 비교한 보정 프로세서들은 모두 동일한 왜곡 보정 품질을 갖는다. 제안하는 프로세서는 314MHz의 동작 주파수로 동작하며, 파이프 라인 구조에 의해 매 동작 주파수 마다 영상의 한 픽셀이 보정된다. 따라서 초당 314M 픽셀의 베럴 왜곡을 보정할 수 있다.

성능/효과

86번 보정 가능하다. 또한, 제안하는 보정 프로세서는 기존의 연구결과와 동일한 왜곡 보정 능력을 지니면서도 196%수준의 보정 속도를 보이며, 49.97% 수준의 적은 논리 게이트로 구현되었다.
제안된 보정 프로세서는 Verilog HDL을 사용하여 합성 가능한 소프트코어 형태로 설계하였다. 설계된 프로세서의 동작 검증을 위하여 소프트웨어를 통한 보정 결과와 하드웨어를 통한 보정 결과에 대하여 개별 픽셀 값을 비교하여 동일한 이미지임을 확인하였다. 그림 6은 본 논문에서 구현한 보정 프로세서를 이용하여 이미지의 왜곡을 보정한 결과의 예시이다.
제안하는 구조는 좌표 위치를 순차적으로 보정함에 있어, 기존 픽셀의 보정 값을 바탕으로, 현재의 보정 값을 점증적으로 계산한다. 이와 같은 변형된 알고리즘을 이용하여, 하드웨어 복잡도를 크게 낮추면서도, 고속의 왜곡 보정 품질을 달성할 수 있었다.
총 게이트 수는 14,302이며 이는 가장 작은 2-입력 NAND 게이트를 1로 환산한 것이다. 제안된 보정 프로세서는 기존의 연구 결과 [4], [5]와 비교하여 각각 224%, 196% 수준의 높은 보정 속도를 갖는다. 이러한 상대적으로 높은 보정 속도를 달성하면서도, 총 게이트 수는 기존 연구결과 [4], [5] 대비 31.
제안한 왜곡 보정 방법을 래스터 스캔 순서에 따른 픽셀간의 상대적인 위치 관계를 이용하여, 역 맵핑 과정을 점증적으로 수행함으로써 계산 량을 크게 줄일 수 있다. 이는 보정 프로세서를 하드웨어로 구현할 경우, 보정 과정을 수행하기 위해 필요한 하드웨어 모듈의 수의 감소로 귀결된다.
표 1은 기존의 보정 프로세서[4][5]에서와 점증적 왜곡 보정 방법에 기반하는 제안된 보정 프로세서에서의 주요 하드웨어 모듈의 수를 비교한 것이다. 표에서 보는 바와 같이 제안된 보정 프로세서를 구현함에 있어 기존 연구결과와 비교하여 곱셈기의 수를 크게 줄일 수 있었다.
기존의 방법에서는 r²_n+1을 매번 새로 계산해야 하기 때문에, 이를 위해 매 픽셀의 보정마다 두 번의 제곱 연산이 필요하다^[4]. 하지만 제안하는 기법에서는 r²₀이 외부에서 주어지도록 하고, 매 픽셀마다의 연산을 점증적으로 수행하도록 하여, 제곱 연산을 효과적으로 제거할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	베럴 왜곡을 위한 보정 처리 과정을 소형화된 시스템에 적용하기 위해 필요한 것은?	따라서 소프트웨어 형태로 구현하기 보다는 전용화 된 하드웨어로 구현하여 고속의 동작을 가능케 하는 것이 일반적이다[3-9]. 또한, 소형화된 시스템에 적용하기 위해서는 낮은 복잡도를 갖는 저 면적의 구현이 필요하다. 기존 연구 중, [4]에서는 맵핑 다항식의 근사화를 통해 삼각 함수와 같은 복잡한 연산을 효과적으로 제거하여 낮은 복잡도의 보정 프로세서를 구현하였다.
	광각 카메라의 장점은?	광각 카메라는 단 초점 광각 렌즈를 장착하여 표준 렌즈를 장착한 카메라에 비해 넓은 화각을 제공한다. 이러한 점 때문에, 내시경, 자동차 후방 탐지 센서, 무인 감시 시스템 등 다양한 분야에 응용되고 있다.
	광각 카메라의 문제점은?	광각 카메라는 단 초점 렌즈를 장착하여 넓은 시야의 이미지를 처리하는데, 렌즈의 광학 문제로 인해 이미지에 베럴 왜곡(barrel distortion)이 발생한다. 본 논문에서는 베럴 왜곡을 실시간 디지털 신호처리를 통해 보정하기 위한 낮은 복잡도의 프로세서 구조를 제시하고 이를 실제 구현하여 유효성을 검증하였다.

참고문헌 (12)

김선영, 윤인혜, 김동균, 백준기, "나선형 패턴을 사용한 어안렌즈 영상 교정 및 기하학적 왜곡 보정," 전자공학회논문지, 제49권, 제4호, 16-22쪽, 2012년 7월
반 토안 카오, 조상복, "A new method using geometric invariability for lens distortion correction," 전자공학회논문지, 제48권 SP편, 제6호, 115-123쪽, 2011년 11월

원문보기 상세보기
L. Qiang, and N. Allison, "FPGA implementation of pipelined architecture for optical imaging correction," in Proc. IEEE Workshop on Signal Processing Systems (SIPS), pp. 182-187, Banff, Alta, Oct. 2006.
P. Y. Chen, C. C. Huang, Y. H. Shiau, and Y. T. Chen, "A VLSI implementation of barrel distortion correction for wide-angle camera images," IEEE Transactions on Circuits and Systems II Express Briefs, vol. 56, no. 1, pp. 51-55, Jan. 2009.

상세보기
S. Chen, H. Huang, and C. Luo, "Time multiplexed VLSI architecture for real-time barrel distortion correction in video- endoscopic images," IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 11, pp. 1612-1621, November 2011.

상세보기
H. T. Ngo and V. K. Asari, "A pipelined architecture for real-time correction of barrel distortion in wide-angle camera images," IEEE Transactions on Circuits and Systems for Video Technology, vol. 15, no. 3, pp. 436-444, Mar. 2005.

상세보기
H. Blasinski, W. Hai, and F. Lohier, "FPGA architecture for real-time barrel distortion correction of colour images," in Proc. IEEE International Conference Multimedia and Expo (ICME), pp. 1-6, Barcelona, Spain, July. 2011.
H. Ngo, and V. Asari, "Developing a FPGA -based high performance, power-aware architecture for real- time radial lens distortion correction of video stream," ICGST International. J. on Programnable Devices, Circuits and Systems, PDCS., vol. 7, pp. 33-41, May. 2007.
H. Zbeng, and J. Li, "Real-time correction of distortion image based on FPGA," in Proc. IEEE International Conference on Intelligent Computing and Integrated Systems (ICISS), pp. 167-170, Guilin, Oct. 2010.
V. K. Asari, S. Kumar, and D. Radbakrishnan, "A new approach for nonlinear distortion correction in endoscopic images based on least squares estimation," IEEE Transactions on Medical Image, vol. 18, no. 4, pp. 345-354, Apr. 1999.

상세보기
Hughes, L. E. C., "Telecommunications XX-IV: The Raster," Electrician 116., pp. 351-352, Mar. 1936.
C. S. Wallace, "A suggestion for a fast multiplier," IEEE Transactions on Electronic Computers, vol. EC-13, no. 1, pp. 14-017, Feb. 1964.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증