본 논문은 영상 뒤틀림 보정을 위하여 Look-up Table (LUT)를 이용한 실시간 디지털 영상 복원 시스템을 제안하고 있다. 이미지 워핑 (Image warping)은 주어진 기하학적인 상관 관계를 기반으로 하여 공간 적으로 변환하는 것을 말한다. 이미지 워핑은 이미지의 이동, 회전, 크기 변환, 구부림 및 훼손 등을 포함한다. 이러한 이미지 워핑은 일반적으로 감시 카메라, 로봇 카메라 및 카메라를 기반한 지능형 자동차 시스템에서 기하학적 변환을 하는데 사용된다. 이러한 예에는 렌즈 왜곡 보정 및 catadioptric 카메라 또는 fish-eye 카메라로 촬영된 전 방향 이미지의 panorama un-rolling이 있다. 실시간 처리에 활용하기 위하여서, 초당 30 프레임의 실시간 성능이 요구된다. 그러나 영상의 공간적 왜곡을 보정하거나 또는 다른 이미지 워핑 방법들은 복잡한 계산을 포함하여 많은 계산 량을 요구하고 있다. 그러므로 실시간으로 처리 가능한 이미지 워핑 시스템의 개발은 중요한 학술 분야로 연구되고 있다. 기존의 LUT 기반 알고리즘들 중 실시간 처리 ...
본 논문은 영상 뒤틀림 보정을 위하여 Look-up Table (LUT)를 이용한 실시간 디지털 영상 복원 시스템을 제안하고 있다. 이미지 워핑 (Image warping)은 주어진 기하학적인 상관 관계를 기반으로 하여 공간 적으로 변환하는 것을 말한다. 이미지 워핑은 이미지의 이동, 회전, 크기 변환, 구부림 및 훼손 등을 포함한다. 이러한 이미지 워핑은 일반적으로 감시 카메라, 로봇 카메라 및 카메라를 기반한 지능형 자동차 시스템에서 기하학적 변환을 하는데 사용된다. 이러한 예에는 렌즈 왜곡 보정 및 catadioptric 카메라 또는 fish-eye 카메라로 촬영된 전 방향 이미지의 panorama un-rolling이 있다. 실시간 처리에 활용하기 위하여서, 초당 30 프레임의 실시간 성능이 요구된다. 그러나 영상의 공간적 왜곡을 보정하거나 또는 다른 이미지 워핑 방법들은 복잡한 계산을 포함하여 많은 계산 량을 요구하고 있다. 그러므로 실시간으로 처리 가능한 이미지 워핑 시스템의 개발은 중요한 학술 분야로 연구되고 있다. 기존의 LUT 기반 알고리즘들 중 실시간 처리 영상 보정이 가능한 기술이 존재한다. 그러나 LUT의 사이즈가 커서 현재는 off-chip 메모리에 저장하여야 한다. 본 논문에서는 외부 메모리의 사용으로 발생하는 단점인 latency와 bandwidth를 줄이기 위하여, 칩 내부 메모리에 LUT를 저장할 수 있는 새로운 LUT 구조를 제안한다. 첫 번째로, 계산 속도를 향상 시키기 위하여 중요 계산 과정인 원근 변환, 영상 자르기 및 영상 크기 조절의 세 단계를 한 단계 변환하는 알고리즘을 제안하였다. 또한 25-point 보간 기법을 제안하여 나누기 연산을 시프트 연산으로 대체하여 계산의 복잡도를 감소시켰다. 두 번째로, LUT 저장을 위한 메모리 공간을 줄이기 위하여, 동영상의 영상 왜곡 시 대칭을 이루는 영역이 발생하는 특성을 이용하는 대칭 알고리즘을 제안하였다. 대칭을 이루는 영역에서의 계산은 상응하는 영역의 결과로부터 도출 가능하기 때문에 이 영역의 크기만큼 LUT의 저장 공간을 줄일 수 있다. 또한, 이웃한 픽셀 간의 유사성을 고려하여, ∆-알고리즘을 제안하였다. LUT에 픽셀의 좌표를 저장할 때 좌표의 본래 값을 저장하는 대신 좌표 간의 차이 값을 저장 함으로서 LUT의 저장 공간을 줄일 수 있는 방법이다. 이웃한 픽셀간의 차이를 계산하기 위한 계산 량이 상승하는 단점이 있지만, LUT의 저장 공간을 줄일 수 있기 때문에 하드웨어 설계에 큰 장점이 있다. 제안하는 알고리즘의 성능을 평가하기 위하여 CMOS 영상 센서, DE2-70 FPGA 보드 및 PC를 이용한 하드웨어 플랫폼을 제작하여 실험하였다. 실험 결과는 60 frames/sec의 동영상을 24 MHz의 시스템 동작 주파수로 처리했을 경우, 실시간 처리가 가능하며, LUT 저장을 위한 메모리 사이즈를 평균적으로 6.45% 줄일 수 있는 것을 확인할 수 있었다. 본 논문은, 개선된 LUT를 기반으로 비디오 카메라를 활용하는 분야에 적용 가능한 영상 왜곡 보정 기술을 제안하였다. 제안하는 방법은 영상 및 영상 왜곡의 특징들을 이용하여 일반적인 LUT의 크기를 대폭 압축하여 칩 내부 메모리에 저장할 수 있도록 하였다. 결과적으로 제안하는 방법을 활용하여, 자동차, 로봇 비젼, 감시 카메라 및 일반 디지털 카메라 등 넓은 분야에서 활용할 수 있을 것으로 기대된다.
본 논문은 영상 뒤틀림 보정을 위하여 Look-up Table (LUT)를 이용한 실시간 디지털 영상 복원 시스템을 제안하고 있다. 이미지 워핑 (Image warping)은 주어진 기하학적인 상관 관계를 기반으로 하여 공간 적으로 변환하는 것을 말한다. 이미지 워핑은 이미지의 이동, 회전, 크기 변환, 구부림 및 훼손 등을 포함한다. 이러한 이미지 워핑은 일반적으로 감시 카메라, 로봇 카메라 및 카메라를 기반한 지능형 자동차 시스템에서 기하학적 변환을 하는데 사용된다. 이러한 예에는 렌즈 왜곡 보정 및 catadioptric 카메라 또는 fish-eye 카메라로 촬영된 전 방향 이미지의 panorama un-rolling이 있다. 실시간 처리에 활용하기 위하여서, 초당 30 프레임의 실시간 성능이 요구된다. 그러나 영상의 공간적 왜곡을 보정하거나 또는 다른 이미지 워핑 방법들은 복잡한 계산을 포함하여 많은 계산 량을 요구하고 있다. 그러므로 실시간으로 처리 가능한 이미지 워핑 시스템의 개발은 중요한 학술 분야로 연구되고 있다. 기존의 LUT 기반 알고리즘들 중 실시간 처리 영상 보정이 가능한 기술이 존재한다. 그러나 LUT의 사이즈가 커서 현재는 off-chip 메모리에 저장하여야 한다. 본 논문에서는 외부 메모리의 사용으로 발생하는 단점인 latency와 bandwidth를 줄이기 위하여, 칩 내부 메모리에 LUT를 저장할 수 있는 새로운 LUT 구조를 제안한다. 첫 번째로, 계산 속도를 향상 시키기 위하여 중요 계산 과정인 원근 변환, 영상 자르기 및 영상 크기 조절의 세 단계를 한 단계 변환하는 알고리즘을 제안하였다. 또한 25-point 보간 기법을 제안하여 나누기 연산을 시프트 연산으로 대체하여 계산의 복잡도를 감소시켰다. 두 번째로, LUT 저장을 위한 메모리 공간을 줄이기 위하여, 동영상의 영상 왜곡 시 대칭을 이루는 영역이 발생하는 특성을 이용하는 대칭 알고리즘을 제안하였다. 대칭을 이루는 영역에서의 계산은 상응하는 영역의 결과로부터 도출 가능하기 때문에 이 영역의 크기만큼 LUT의 저장 공간을 줄일 수 있다. 또한, 이웃한 픽셀 간의 유사성을 고려하여, ∆-알고리즘을 제안하였다. LUT에 픽셀의 좌표를 저장할 때 좌표의 본래 값을 저장하는 대신 좌표 간의 차이 값을 저장 함으로서 LUT의 저장 공간을 줄일 수 있는 방법이다. 이웃한 픽셀간의 차이를 계산하기 위한 계산 량이 상승하는 단점이 있지만, LUT의 저장 공간을 줄일 수 있기 때문에 하드웨어 설계에 큰 장점이 있다. 제안하는 알고리즘의 성능을 평가하기 위하여 CMOS 영상 센서, DE2-70 FPGA 보드 및 PC를 이용한 하드웨어 플랫폼을 제작하여 실험하였다. 실험 결과는 60 frames/sec의 동영상을 24 MHz의 시스템 동작 주파수로 처리했을 경우, 실시간 처리가 가능하며, LUT 저장을 위한 메모리 사이즈를 평균적으로 6.45% 줄일 수 있는 것을 확인할 수 있었다. 본 논문은, 개선된 LUT를 기반으로 비디오 카메라를 활용하는 분야에 적용 가능한 영상 왜곡 보정 기술을 제안하였다. 제안하는 방법은 영상 및 영상 왜곡의 특징들을 이용하여 일반적인 LUT의 크기를 대폭 압축하여 칩 내부 메모리에 저장할 수 있도록 하였다. 결과적으로 제안하는 방법을 활용하여, 자동차, 로봇 비젼, 감시 카메라 및 일반 디지털 카메라 등 넓은 분야에서 활용할 수 있을 것으로 기대된다.
This thesis proposes the real-time image compensation for image warping with Look-up table (LUT). Image warping is the spatial transformation of an image based on a given geometric relationship. Warping is usually used to perform image geometric transformations in surveillance video cameras images, ...
This thesis proposes the real-time image compensation for image warping with Look-up table (LUT). Image warping is the spatial transformation of an image based on a given geometric relationship. Warping is usually used to perform image geometric transformations in surveillance video cameras images, robot vision, and vision-based intelligent transportation systems, such as lens distortion correction, and panorama unrolling for omnidirectional images taken by a catadioptric camera or a fish-eye lens camera. For real-time applications, real-time performance of approximately 30 frames per second is mandatory. However, distortion correction as well as most other image warping include complex calculations and consequently incur a large computational cost. Therefore, the implementation of real-time image warping is critical design issue. Several existing LUT-based algorithms achieve real-time performance; however, the size of the LUT is still large, and it has to be stored in off-chip memory. To reduce latency and bandwidth due to the use of off-chip memory, this thesis proposes an improved LUT (ILUT) scheme that compresses the LUT to the point that it can be stored in on-chip memory. First, a one-step transformation is adopted instead of using several on-line calculation stages including perspective mapping, shearing and enlarging for improving the computational speed. And 25-point interpolation method, which makes the division operation to shift operation, is proposed for same purpose. Second, the memory size of the LUT is then reduced by utilizing the symmetric characteristic of video camera images. It is because that the LUT of the symmetric region is estimated from the correspondence region. And using the similarity between neighboring pixels, ∆-algorithm which stores the difference values instead of the coordinates themselves in the LUT is proposed. In obtaining the difference between two values, the computational cost is increased, however, in order to simplify the operation; hardware-friendly algorithm is also adopted. Experiments are based on the hardware platform consisting of CMOS image sensor, DE2-70 FPGA board and PC. Experiment results show that the real-time performance of 60frames/sec can be achieved at the system frequency of 24MHz and the memory size of LUT is reduced to 6.45% averagely. In this thesis, the ILUT-based image warping scheme for video camera applications are proposed. It utilizes the characteristics of image warping and considerably compresses the basic LUT and allows it to be stored in on-chip memory. Therefore, the proposed system can be used in video cameras for automobiles, robot vision, surveillance, and general digital cameras.
This thesis proposes the real-time image compensation for image warping with Look-up table (LUT). Image warping is the spatial transformation of an image based on a given geometric relationship. Warping is usually used to perform image geometric transformations in surveillance video cameras images, robot vision, and vision-based intelligent transportation systems, such as lens distortion correction, and panorama unrolling for omnidirectional images taken by a catadioptric camera or a fish-eye lens camera. For real-time applications, real-time performance of approximately 30 frames per second is mandatory. However, distortion correction as well as most other image warping include complex calculations and consequently incur a large computational cost. Therefore, the implementation of real-time image warping is critical design issue. Several existing LUT-based algorithms achieve real-time performance; however, the size of the LUT is still large, and it has to be stored in off-chip memory. To reduce latency and bandwidth due to the use of off-chip memory, this thesis proposes an improved LUT (ILUT) scheme that compresses the LUT to the point that it can be stored in on-chip memory. First, a one-step transformation is adopted instead of using several on-line calculation stages including perspective mapping, shearing and enlarging for improving the computational speed. And 25-point interpolation method, which makes the division operation to shift operation, is proposed for same purpose. Second, the memory size of the LUT is then reduced by utilizing the symmetric characteristic of video camera images. It is because that the LUT of the symmetric region is estimated from the correspondence region. And using the similarity between neighboring pixels, ∆-algorithm which stores the difference values instead of the coordinates themselves in the LUT is proposed. In obtaining the difference between two values, the computational cost is increased, however, in order to simplify the operation; hardware-friendly algorithm is also adopted. Experiments are based on the hardware platform consisting of CMOS image sensor, DE2-70 FPGA board and PC. Experiment results show that the real-time performance of 60frames/sec can be achieved at the system frequency of 24MHz and the memory size of LUT is reduced to 6.45% averagely. In this thesis, the ILUT-based image warping scheme for video camera applications are proposed. It utilizes the characteristics of image warping and considerably compresses the basic LUT and allows it to be stored in on-chip memory. Therefore, the proposed system can be used in video cameras for automobiles, robot vision, surveillance, and general digital cameras.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.