[논문]FPGA를 이용한 실시간 영상 워핑 구현

류정래; 이은상; 도태용

doi:10.14372/iemek.2014.9.6.335

[국내논문] FPGA를 이용한 실시간 영상 워핑 구현
An Implementation of Real-time Image Warping Using FPGA 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.9 no.6, 2014년, pp.335 - 344

류정래 (SeoulTech) , 이은상 (WITHROBOT Co. Ltd.) , 도태용 (Hanbat National University)

Abstract ▼ AI-Helper

As a kind of 2D spatial coordinate transform, image warping is a basic image processing technique utilized in various applications. Though image warping algorithm is composed of relatively simple operations such as memory accesses and computations of weighted average, real-time implementations on embedded vision systems suffer from limited computational power because the simple operations are iterated as many times as the number of pixels. This paper presents a real-time implementation of a look-up table(LUT)-based image warping using an FPGA. In order to ensure sufficient data transfer rate from memories storing mapping LUT and image data, appropriate memory devices are selected by analyzing memory access patterns in an LUT-based image warping using backward mapping. In addition, hardware structure of a parallel and pipelined architecture is proposed for fast computation of bilinear interpolation using fixed-point operations. Accuracy of the implemented hardware is verified using a synthesized test image, and an application to real-time lens distortion correction is exemplified.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 FPGA를 이용한 실시간 영상 워핑 하드웨어 구현을 제시하였다. 하드웨어 영상 워핑에 유리한 LUT 방식과 역방향 매핑 방식을 활용하고, LUT와 영상 버퍼 메모리 액세스 특성을 고려하여 각각을 저장하는 메모리 디바이스를 선정하였다.
본 논문에서는 FPGA를 활용하여 영상 워핑을 실시간으로 처리하는 하드웨어 구조를 제시한다. 그림 1에는 하드웨어 영상 워핑을 포함한 임베디드 비전 시스템을 나타내었다.
또한, 보간 연산에 사용되는 입력 픽셀 데이터는 양의 정수이고, 4개의 가중치도 모두 0보다 크거나 같으므로 쌍일차 보간에 사용되는 연산은 모두 unsigned 연산으로 구현이 가능하다. 본 논문에서는 앞에서 서술한 메모리 액세스 패턴과 사용 가능한 메모리 디바이스의 특성, 그리고 쌍일차 보간 연산의 특성을 바탕으로 실시간 영상 워핑을 위한 FPGA 기반 하드웨어 구조를 제안한다.

가설 설정

그림 3에는 출력 영상의 픽셀에 대응하는 입력 영상의 좌표로 구성된 역방향 매핑 LUT의 내용을 나타내었다. 본 논문에서는 LUT 기반 영상 워핑의 실시간 구현을 다루며 역방향 매핑 LUT의 결정은 선행 연구에서 많이 다루어졌으므로 미리 결정되어 주어짐을 가정한다.

제안 방법

CIS의 HSYNC가 1에서 0으로 바뀐 직후 해당 수평라인의 픽셀 데이터를 SSRAM에 순차적으로 저장한다. SSRAM 저장 직후에 SDRAM에서 읽어둔 LUT를 이용하여 SSRAM에서 이전 프레임의 픽셀 데이터를 읽어서 보간 연산을 실행한다. 한 개의 수평라인 픽셀에 대한 보간 연산 후 그 다음 수평라인을 위한 LUT를 SDRAM에서 읽어온다.
또한, 하드웨어 워핑 구현을 위하여 고정 소수점 연산을 활용한 쌍일차 보간을 수행하는 연산 구조를 제시하였다. 구현된 하드웨어 워핑 시스템의 동작을 검증하기 위하여 테스트용 합성 영상에 임의의 워핑 LUT를 적용하고, 그 결과를 PC에서 소프트웨어로 워핑한 결과와 비교하여 워핑 결과의 정확성을 검증하였다. 또한, 카메라 렌즈 왜곡을 보정하는 LUT를 적용하여 렌즈 왜곡을 실시간으로 보정하는 용도로 활용할 수 있음을 확인하였다.
본 논문에서는 문제의 단순화를 위하여 해상도를 구현에 편리하도록 조정하고, 컬러 정보를 없앤 흑백 영상을 사용하였다. 또한, FPGA 구현의 편의성을 위하여 LUT와 영상 버퍼 메모리를 별도로 사용하였다. 실용성을 확보하기 위해서는 영상의 해상도를 높이고 컬러 영상을 처리하며, 구현에 용이한 단순한 영상 데이터 캐시 구조를 개발하여 하나의 외부 메모리를 사용하는 구조로의 추후 연구가 필요하다.
출력 영상의 픽셀 생성에 필요한 보간법으로는 4개의 이웃하는 입력 픽셀을 이용한 쌍일차 보간법(bilinear interpolation)을 사용하는데, FPGA 구현에 적합하도록 고정 소수점 연산(fixed-point operation)으로 이를 구현하는 방법을 기술한다. 또한, 보간 연산 블록에서의 타이밍 문제를 해결하기위하여 파이프라인 구조를 적용하고, 곱셈기의 수를 줄인 보간 연산 구조를 제시한다. 마지막으로 구현된 FPGA 기반 하드웨어에서의 영상 워핑 실험을 수행하고 그 결과를 제시한다.
워핑 결과의 정확성을 확인하기 위하여 테스트용 합성 영상을 PC 소프트웨어와 FPGA에서 각각 워핑한 후 결과 영상을 픽셀 단위로 비교한다. 또한, 실제 CIS의 영상을 워핑한 결과와 렌즈 왜곡보정에 활용한 결과를 제시하여 구현된 영상 워핑 하드웨어의 효용성을 확인한다.
하드웨어 영상 워핑에 유리한 LUT 방식과 역방향 매핑 방식을 활용하고, LUT와 영상 버퍼 메모리 액세스 특성을 고려하여 각각을 저장하는 메모리 디바이스를 선정하였다. 또한, 하드웨어 워핑 구현을 위하여 고정 소수점 연산을 활용한 쌍일차 보간을 수행하는 연산 구조를 제시하였다. 구현된 하드웨어 워핑 시스템의 동작을 검증하기 위하여 테스트용 합성 영상에 임의의 워핑 LUT를 적용하고, 그 결과를 PC에서 소프트웨어로 워핑한 결과와 비교하여 워핑 결과의 정확성을 검증하였다.
또한, 보간 연산 블록에서의 타이밍 문제를 해결하기위하여 파이프라인 구조를 적용하고, 곱셈기의 수를 줄인 보간 연산 구조를 제시한다. 마지막으로 구현된 FPGA 기반 하드웨어에서의 영상 워핑 실험을 수행하고 그 결과를 제시한다. 워핑 결과의 정확성을 확인하기 위하여 테스트용 합성 영상을 PC 소프트웨어와 FPGA에서 각각 워핑한 후 결과 영상을 픽셀 단위로 비교한다.
본 논문에서 구현한 영상 워핑 하드웨어의 정확성을 검증하기 위하여 영상 센서 대신 테스트 영상을 생성한 후 워핑한 결과를 분석한다. 우선 테스트 영상은 영상 센서와 동일하게 512x512 해상도의 흑백 영상으로 생성한다.
본 논문에서는 문제의 단순화를 위하여 해상도를 구현에 편리하도록 조정하고, 컬러 정보를 없앤 흑백 영상을 사용하였다. 또한, FPGA 구현의 편의성을 위하여 LUT와 영상 버퍼 메모리를 별도로 사용하였다.
우선 테스트 영상은 영상 센서와 동일하게 512x512 해상도의 흑백 영상으로 생성한다. 생성된 테스트 영상을 PC 소프트웨어와 구현된 FPGA에서 동일한 LUT로 각각 워핑하고 그 결과를 비교한다. 이 때, PC 소프트웨어는 보간 연산에 고정 소수점 연산과 부동 소수점 연산을 각각 적용하여 그로 인한 차이도 함께 비교한다.
영상 워핑의 주요 연산은 입력 영상 데이터를 참조하기 위한 메모리 읽기/쓰기와 출력 영상 픽셀의 리샘플링을 위한 보간 연산이 주를 이룬다. 실시간 처리 성능의 만족을 위하여 LUT와 영상 버퍼 메모리의 액세스 특성을 분석하여 각각의 용도에 적합한 메모리 디바이스를 선정한다. 출력 영상의 픽셀 생성에 필요한 보간법으로는 4개의 이웃하는 입력 픽셀을 이용한 쌍일차 보간법(bilinear interpolation)을 사용하는데, FPGA 구현에 적합하도록 고정 소수점 연산(fixed-point operation)으로 이를 구현하는 방법을 기술한다.
실제 CMOS 영상 센서의 영상을 구현된 FPGA에서 워핑하여 그 결과를 제시한다. 출력 영상은 입력 영상과 동일한 512x512 해상도의 흑백 영상으로 초당 30장을 실시간으로 워핑한다.
실질적인 하드웨어 영상 워핑의 활용을 예시하기 위하여 실험에 사용된 카메라 모듈의 렌즈 왜곡을 보정하는 실험을 수행하였다. 그림 13(a)의 입력 영상을 보면 렌즈 왜곡으로 인하여 영상이 휘어진 것을 확인할 수 있다.
0 인터페이스를 결합하여 사용한다. 영상 워핑의 RTL 코딩은 Verilog HDL을 활용하였으며[14], DDR SDRAM 컨트롤러와 내부 RAM 블록을 이용한 FIFO 버퍼 등의 구현은 Altera에서 제공하는 IP를 활용하였다. 표 1에는 곱셈기를 4개 사용한 그림 10의 보간 연산 구조를 적용한 경우의 FPGA 리소스 사용 정보를 요약하였다.
마지막으로 구현된 FPGA 기반 하드웨어에서의 영상 워핑 실험을 수행하고 그 결과를 제시한다. 워핑 결과의 정확성을 확인하기 위하여 테스트용 합성 영상을 PC 소프트웨어와 FPGA에서 각각 워핑한 후 결과 영상을 픽셀 단위로 비교한다. 또한, 실제 CIS의 영상을 워핑한 결과와 렌즈 왜곡보정에 활용한 결과를 제시하여 구현된 영상 워핑 하드웨어의 효용성을 확인한다.
그림 13(a)의 입력 영상을 보면 렌즈 왜곡으로 인하여 영상이 휘어진 것을 확인할 수 있다. 이를 보정하기 위하여 우선 카메라 캘리브레이션을 통하여 카메라 내부 파라미터를 추출하고[16], 그 결과로부터 왜곡 보정용 LUT를 생성한다. 이를 구현된 하드웨어에 적용하여 워핑한 결과를 그림 14에 나타내었다.
본 논문에서는 FPGA를 이용한 실시간 영상 워핑 하드웨어 구현을 제시하였다. 하드웨어 영상 워핑에 유리한 LUT 방식과 역방향 매핑 방식을 활용하고, LUT와 영상 버퍼 메모리 액세스 특성을 고려하여 각각을 저장하는 메모리 디바이스를 선정하였다. 또한, 하드웨어 워핑 구현을 위하여 고정 소수점 연산을 활용한 쌍일차 보간을 수행하는 연산 구조를 제시하였다.

대상 데이터

본 논문에서 구현한 영상 워핑 하드웨어의 정확성을 검증하기 위하여 영상 센서 대신 테스트 영상을 생성한 후 워핑한 결과를 분석한다. 우선 테스트 영상은 영상 센서와 동일하게 512x512 해상도의 흑백 영상으로 생성한다. 생성된 테스트 영상을 PC 소프트웨어와 구현된 FPGA에서 동일한 LUT로 각각 워핑하고 그 결과를 비교한다.

이론/모형

영상 워핑을 위한 하드웨어 구현의 편의성을 고려하여 역방향 매핑(backward mapping) 방식과 룩업테이블(Look-Up Table, LUT) 방식을 적용한다. 영상 워핑의 주요 연산은 입력 영상 데이터를 참조하기 위한 메모리 읽기/쓰기와 출력 영상 픽셀의 리샘플링을 위한 보간 연산이 주를 이룬다.

성능/효과

그림 12에는 테스트 영상과 함께 임의의 LUT를 사용하여 고정 소수점 연산의 PC 소프트웨어와 FPGA에서 각각 워핑한 결과를 나타내었다. 그림 12(b)와 (c)의 두 워핑 영상을 비교하면 영상에서의 차이가 확인되지 않으며, 픽셀 단위로 모든 출력 데이터를 비교해보아도 정확히 일치하는 결과를 나타내므로 구현된 워핑 시스템의 정확성을 확인할 수 있다. 한편, 부동 소수점 연산의 PC 소프트웨어와 FPGA에서의 워핑 결과를 비교해보면 영상의 512x512 픽셀 중 16개의 픽셀에서 오차가 발생하였으나, 그 오차는 8bit 픽셀 데이터의 최하위 비트(LSB)에서만 확인되었다.
비교 실험에 사용된 임베디드 비전 시스템에서는 실시간 동작이 불가능하지만, FPGA를 활용하면 실시간 성능을 확보할 수 있다. PC에서의 결과와 비교하면 PC 소프트웨어가 빠른 성능을 보이지만 이는 고성능 CPU와 메모리 디바이스에 의한 것이며, FPGA에서 영상 워핑을 처리하면 CPU 연산 부하의 약 15% 정도를 줄이는 효과로 나타날 수 있다.
쌍일차 보간 연산은 (4)에 나타내었듯이 4개 픽셀 데이터 각각에 가중치를 곱하여 더하는 연산인데, 사용되는 4개의 가중치 합은 항상 1이므로 가중치 평균 연산으로 볼 수 있으며, 그 결과 덧셈에 의한 오버플로우가 발생하지 않는다. 또한, 보간 연산에 사용되는 입력 픽셀 데이터는 양의 정수이고, 4개의 가중치도 모두 0보다 크거나 같으므로 쌍일차 보간에 사용되는 연산은 모두 unsigned 연산으로 구현이 가능하다. 본 논문에서는 앞에서 서술한 메모리 액세스 패턴과 사용 가능한 메모리 디바이스의 특성, 그리고 쌍일차 보간 연산의 특성을 바탕으로 실시간 영상 워핑을 위한 FPGA 기반 하드웨어 구조를 제안한다.
구현된 하드웨어 워핑 시스템의 동작을 검증하기 위하여 테스트용 합성 영상에 임의의 워핑 LUT를 적용하고, 그 결과를 PC에서 소프트웨어로 워핑한 결과와 비교하여 워핑 결과의 정확성을 검증하였다. 또한, 카메라 렌즈 왜곡을 보정하는 LUT를 적용하여 렌즈 왜곡을 실시간으로 보정하는 용도로 활용할 수 있음을 확인하였다.
0ns로 분석되어 타이밍 조건을 만족한다. 최대 동작 가능 클럭 주파수는 파이프라인 미적용시 60.4MHz이고 적용시 141.9MHz로 나타나서 파이프라인의 적용이 게이트 시간 지연 문제를 해소함을 확인할 수 있다. 파이프라인 적용에 따라 2 클럭 시간 지연이 발생하지만 전체 시스템 차원에서 문제되지 않는다.
최종 결과인 UQ8.8 포맷에서 정수부인 상위 8비트를 출력 영상의 픽셀 강도로 사용한다.
그림 12(b)와 (c)의 두 워핑 영상을 비교하면 영상에서의 차이가 확인되지 않으며, 픽셀 단위로 모든 출력 데이터를 비교해보아도 정확히 일치하는 결과를 나타내므로 구현된 워핑 시스템의 정확성을 확인할 수 있다. 한편, 부동 소수점 연산의 PC 소프트웨어와 FPGA에서의 워핑 결과를 비교해보면 영상의 512x512 픽셀 중 16개의 픽셀에서 오차가 발생하였으나, 그 오차는 8bit 픽셀 데이터의 최하위 비트(LSB)에서만 확인되었다. 따라서, 오차의 원인은 고정 소수점 연산에서의 제한된 워드 길이 효과로 볼 수 있다.

후속연구

또한, FPGA 구현의 편의성을 위하여 LUT와 영상 버퍼 메모리를 별도로 사용하였다. 실용성을 확보하기 위해서는 영상의 해상도를 높이고 컬러 영상을 처리하며, 구현에 용이한 단순한 영상 데이터 캐시 구조를 개발하여 하나의 외부 메모리를 사용하는 구조로의 추후 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	FPGA 등의 하드웨어를 이용한 실시간 처리에 대한 연구에는 어떤 것들이 있는가?	한편, 영상 워핑의 구현과 관련하여 FPGA 등의 하드웨어를 이용한 실시간 처리에 대한 연구도 진행되고 있다. 렌즈 왜곡 보정[6]과 영상 정렬[7]에 적용하기 위한 FPGA 기반 하드웨어 구조가 연구되었고, 하드웨어의 특징인 병렬 처리 구조를 적용한 방식[8]이 제시되었으며, 모의실험을 통하여 세부 구현 방법에 따른 성능 비교 연구가 진행되었다[9]. 이들 연구에서는 메모리 디바이스의 속도 한계를 극복하고자 영상 캐시를 적용[10]하기도 하였으나 시스템이 지나치게 복잡해져서 구현이 어려운 단점이 있다.
	영상 워핑이란?	영상 워핑은 입력 영상 각 픽셀의 좌표를 변환하여 2D 영상을 기하학적으로 변형하는 영상 처리 알고리즘으로서 대표적 활용 예로는 렌즈 왜곡 보정[2], 스테레오 매칭을 위한 영상 정렬(image rectification)[3], 그리고 파노라믹 영상 합성을 위한 영상 스티칭(image stitching)[4] 등을 꼽을 수 있다. 이와 관련된 기존 연구에서는 카메라 캘리브레이션 등의 방법을 활용하여 입력 영상을 출력 영상으로 변환하기 위한 변환 관계를 추출하는 내용을 주로 다루었으며, 실시간 구현과 관련해서는 연산량 및 실행 시간을 분석하는 등의 연구가 진행되었다[5].
	영상 워핑의 활용 예는?	영상 워핑은 입력 영상 각 픽셀의 좌표를 변환하여 2D 영상을 기하학적으로 변형하는 영상 처리 알고리즘으로서 대표적 활용 예로는 렌즈 왜곡 보정[2], 스테레오 매칭을 위한 영상 정렬(image rectification)[3], 그리고 파노라믹 영상 합성을 위한 영상 스티칭(image stitching)[4] 등을 꼽을 수 있다. 이와 관련된 기존 연구에서는 카메라 캘리브레이션 등의 방법을 활용하여 입력 영상을 출력 영상으로 변환하기 위한 변환 관계를 추출하는 내용을 주로 다루었으며, 실시간 구현과 관련해서는 연산량 및 실행 시간을 분석하는 등의 연구가 진행되었다[5].

참고문헌 (16)

S.-M. Lee, "Fast laser triangular measurement system using ARM and FPGA," IEMEK J. Embed. Sys. Appl., Vol. 8, No. 1, pp. 25-29, 2013 (in Korean).
J. Park, S.-C. Byun, B.-U. Lee, "Lens distortion correction using ideal image coordinates," IEEE Transactions on Consumer Electronics, Vol. 55, No. 3, pp. 987-991, 2009.

상세보기
Z. Chen, C. Wu, H.T. Tsui, "A new image rectification algorithm," Pattern Recognition Letters, Vol. 24, No. 1-3, pp. 251-260, 2003.

상세보기
M. Brown, D.G. Lowe, "Automatic panoramic image stitching using invariant features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007.

상세보기
W. Yu, "An embedded camera lens distortion correction method for mobile computing applications," IEEE Transactions on Consumer Electronics, Vol. 49, No. 4, pp. 894-901, 2003.

상세보기
K.T. Gribbon, C.T. Johnston, D.G. Bailey, "A real-time FPGA implementation of a barrel distortion correction algorithm with bilinear interpolation," Proc. of the Image and Vision Computing New Zealand 2003, pp. 408-413, 2003.
C. Vancea, S. Nedevschi, "LUT-based image rectification module implemented in FPGA," Proceedings of IEEE International Conference on Intelligent Computer Communication and Processing, pp. 147-154, 2007.
S. Oh, G. Kim, "FPGA-based fast image warping with data-parallelization schemes," IEEE Transactions on Consumer Electronics, Vol. 54, No. 4, pp. 2053-2059, 2008.

상세보기
A. Serguienko, Evaluation of image warping algorithms for implementation in FPGA, Master thesis, Linkopings universitet, Sweden, 2008.
P. Greisen, S. Heinzle, M. Gross, A. P Burg, "An FPGA-based processing pipeline for high-definition stereo video," Journal of Image and Video Processing, Vol. 2011, No. 18, pp. 1-13, 2011.
P. Giacon, S. Saggin, G. Tommasi, M. Busti, "Implementing DSP Algorithms Using Spartan-3 FPGAs," DPS Magazine, Issue 1, pp. 16-19, 2005.
D.-J. Kim, Y.-S. Park, "An implementation of FPGA embedded system for real-time SONAR signal display using the triple buffering method," IEMEK J. Embed. Sys. Appl., Vol. 9, No. 3, pp. 173-182, 2014 (in Korean).

원문보기 상세보기
E.L. Oberstar, "Fixed-point representation & fractional math," Tech. Report, Oberstar Consulting, 2007.
M.D. Ciletti, Advanced Digital Design with the Verilog HDL, Prentice Hall, 2010.
Y. Hwang, M. Song, "Design of a CMOS image sensor based on a 10-bit two-step single-slope ADC," Journal of Semiconductor Technology and Science, Vol. 14, No. 2, pp. 246-251, 2014.

원문보기 상세보기
J. Weng, P. Cohen, M. Herniou, "Camera calibration with distortion models and accuracy evaluation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10, pp. 965-980, 1992.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증