180도 이상의 영역을 획득하는 어안렌즈(fisheye lens)는 최소의 카메라로 최대 시야각을 확보할 수 있는 장점으로 인해 차량 장착 시도가 늘고 있다. 이와 같이 어안렌즈를 통해 시야를 확보하고, 영상센서로 사용하기 위해서는 캘리브레이션 작업이 선행되어야 하며, 운전자에게 현실감 있는 영상을 제공하기 위해서는 이를 이용하여 방사왜곡(radial distortion)에 따른 기하학적인 왜곡 보정이 필요하다. 본 논문에서는 비대칭 왜곡을 가진 180도 이상 화각의 차량용 대각선 어안렌즈를 위해 영상 손실을 최소화하는 왜곡 보정 기법을 제안한다. 왜곡 보정은 왜곡 모델이 포함된 카메라 모델을 설정하고 캘리브레이션 과정을 통해 카메라 파라미터를 구한 후 왜곡이 보정된 뷰를 생성하는 과정으로 이루어진다. 먼저 왜곡모델로서 비선형의 왜곡 형상을 모방한 FOV(Field of View)모델을 사용한다. 또한 비대칭 왜곡렌즈의 경우 운전자의 좌우 시야각 확보에 중점을 두어 수직 화각보다 수평 화각이 크게 설계되었기 때문에 영상의 장축, 단축의 비율을 일치시킨 후 비선형 최적화 알고리즘을 사용하여 카메라 파라미터를 추정한다. 최종적으로 왜곡이 보정된 뷰 생성 시 역방향 사상과 함께 수평, 수직 방향에 대한 왜곡 보정 정도를 제어 가능하도록 함으로써 화각이 180도 이상인 영상에 대해서 핀홀 카메라 모델을 적용하여 2차원 평면으로 영상을 보정하는 경우 발생하는 영상 손실을 최소화하고 시각적 인지도를 높일 수 있도록 하였다.
180도 이상의 영역을 획득하는 어안렌즈(fisheye lens)는 최소의 카메라로 최대 시야각을 확보할 수 있는 장점으로 인해 차량 장착 시도가 늘고 있다. 이와 같이 어안렌즈를 통해 시야를 확보하고, 영상센서로 사용하기 위해서는 캘리브레이션 작업이 선행되어야 하며, 운전자에게 현실감 있는 영상을 제공하기 위해서는 이를 이용하여 방사왜곡(radial distortion)에 따른 기하학적인 왜곡 보정이 필요하다. 본 논문에서는 비대칭 왜곡을 가진 180도 이상 화각의 차량용 대각선 어안렌즈를 위해 영상 손실을 최소화하는 왜곡 보정 기법을 제안한다. 왜곡 보정은 왜곡 모델이 포함된 카메라 모델을 설정하고 캘리브레이션 과정을 통해 카메라 파라미터를 구한 후 왜곡이 보정된 뷰를 생성하는 과정으로 이루어진다. 먼저 왜곡모델로서 비선형의 왜곡 형상을 모방한 FOV(Field of View)모델을 사용한다. 또한 비대칭 왜곡렌즈의 경우 운전자의 좌우 시야각 확보에 중점을 두어 수직 화각보다 수평 화각이 크게 설계되었기 때문에 영상의 장축, 단축의 비율을 일치시킨 후 비선형 최적화 알고리즘을 사용하여 카메라 파라미터를 추정한다. 최종적으로 왜곡이 보정된 뷰 생성 시 역방향 사상과 함께 수평, 수직 방향에 대한 왜곡 보정 정도를 제어 가능하도록 함으로써 화각이 180도 이상인 영상에 대해서 핀홀 카메라 모델을 적용하여 2차원 평면으로 영상을 보정하는 경우 발생하는 영상 손실을 최소화하고 시각적 인지도를 높일 수 있도록 하였다.
Due to the fact that fisheye lens can provide super wide angles with the minimum number of cameras, field-of-view over 180 degrees, many vehicles are attempting to mount the camera system. Not only use the camera as a viewing system, but also as a camera sensor, camera calibration should be preceded...
Due to the fact that fisheye lens can provide super wide angles with the minimum number of cameras, field-of-view over 180 degrees, many vehicles are attempting to mount the camera system. Not only use the camera as a viewing system, but also as a camera sensor, camera calibration should be preceded, and geometrical correction on the radial distortion is needed to provide the images for the driver's assistance. In this thesis, we introduce a geometric correction technique to minimize the loss of the image data from a vehicle fish-eye lens having a field of view over $180^{\circ}$, and a asymmetric distortion. Geometric correction is a process in which a camera model with a distortion model is established, and then a corrected view is generated after camera parameters are calculated through a calibration process. First, the FOV model to imitate a asymmetric distortion configuration is used as the distortion model. Then, we need to unify the axis ratio because a horizontal view of the vehicle fish-eye lens is asymmetrically wide for the driver, and estimate the parameters by applying a non-linear optimization algorithm. Finally, we create a corrected view by a backward mapping, and provide a function to optimize the ratio for the horizontal and vertical axes. This minimizes image data loss and improves the visual perception when the input image is undistorted through a perspective projection.
Due to the fact that fisheye lens can provide super wide angles with the minimum number of cameras, field-of-view over 180 degrees, many vehicles are attempting to mount the camera system. Not only use the camera as a viewing system, but also as a camera sensor, camera calibration should be preceded, and geometrical correction on the radial distortion is needed to provide the images for the driver's assistance. In this thesis, we introduce a geometric correction technique to minimize the loss of the image data from a vehicle fish-eye lens having a field of view over $180^{\circ}$, and a asymmetric distortion. Geometric correction is a process in which a camera model with a distortion model is established, and then a corrected view is generated after camera parameters are calculated through a calibration process. First, the FOV model to imitate a asymmetric distortion configuration is used as the distortion model. Then, we need to unify the axis ratio because a horizontal view of the vehicle fish-eye lens is asymmetrically wide for the driver, and estimate the parameters by applying a non-linear optimization algorithm. Finally, we create a corrected view by a backward mapping, and provide a function to optimize the ratio for the horizontal and vertical axes. This minimizes image data loss and improves the visual perception when the input image is undistorted through a perspective projection.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존 방식과 달리 비대칭 왜곡을 가진 차량용 대각선 어안렌즈 왜곡 보정을 위한 범용 카메라 캘리브레이션 방법과 영상 손실을 최소화 하는 왜곡 보정 방법을 제안한다.
본 논문은 비대칭 왜곡을 가진 차량용 대각선 어안렌즈를 위한 기하 왜곡보정과 뷰 생성 기법을 제안하였다. 또한, 고가의 장비나 세팅이 필요하거나, 특수한 카메라에만 적용 가능한 기존의 방식과 달리 다양한 어안렌즈에 적용 가능한 범용 카메라 모델 및 캘리브레이션 방법을 제시하였다.
가설 설정
FOV 모델은 그림 3과 같이 영상의 중심점 C(principle point)에서 영상 평면상의 한 점 m사이의 거리는 대응되는 3차원 상의 한 점 M과 광축(Cz)이 이루는 각도에 비례한다고 가정한다.
카메라 좌표계 Xc에서 2차원 영상으로 투영 될 때, 이 둘 사이의 관계는 점 사영(point projection)에 기반한 핀홀(pin-hole) 카메라 모델로 가정한다. 이때, 다양한 사영 기법 중 원근 사영(perspective projection)에 따라 원거리 물체는 작게, 근거리 물체는 크게 표현된다.
제안 방법
은 캘리브레이션 패턴 특징점의 3차원 위치를 이용하여 캘리브레이션을 수행하여 초점거리, 픽셀 사이즈, 방사 및 접선방향 왜곡을 추정하였다. 광학 중심이 레이저빔에 의해 결정되고 5차 다항식 모델을 사용해 방사 및 접선방향 왜곡을 보정했다. 캘리브레이션은 라그랑제 함수 최소화에 기초를 두었다.
또한 범용 카메라 모델 및 캘리브레이션의 적합성 검증을 위하여 그림 9, 그림 10과 같이 180° 와 110° 화각의 비대칭 왜곡을 가진 어안렌즈 영상을 캘리브레이션을 수행하여 왜곡 보정하였다.
본 논문은 비대칭 왜곡을 가진 차량용 대각선 어안렌즈를 위한 기하 왜곡보정과 뷰 생성 기법을 제안하였다. 또한, 고가의 장비나 세팅이 필요하거나, 특수한 카메라에만 적용 가능한 기존의 방식과 달리 다양한 어안렌즈에 적용 가능한 범용 카메라 모델 및 캘리브레이션 방법을 제시하였다.
본 논문에서는 비선형 최적화 알고리즘을 사용하여 미지수로 둔 모든 파라미터 값을 한 번에 구하기 때문에 일원화 캘리브레이션 방법을 사용하는 경우 카메라 위치 및 각도 변경 시 불필요하게 내부 파라미터까지 계속적으로 구하게 된다.
비대칭 왜곡렌즈의 경우 수직 화각보다 수평 화각이 크게 설계되었기 때문에 영상의 캘리브레이션 단계 전에 영상 장축, 단축 비율을 일치시켜야한다. 본 논문의 렌즈는 대각선 어안렌즈로 영상의 외곽선이 나타나지 않기 때문에 타원체 적합화(ellipse-fitting) 알고리즘을 사용하여 스케일링 인자 Spre_x를 계산하고, 이를 특징점 좌표 변환에 적용하여 비율을 일치시킨다.
Shin[5]은 앞서 언급한 다항식이 아닌 기하학 접근을 하였다. 어안렌즈를 변형 타원체로 모델링하여, 평면으로 투영된 영상에서 공간상의 직선이 가장 직선으로 보이도록 하는 변형 타원체의 파라미터를 구했다. 이런 경우, 왜곡 보정 영상은 구할 수 있지만 실제 3차원과 2차원 영상 평면 좌표간의 변환 관계를 구할 수 없어 2차원 영상의 특정한 점이 실제 어떤 광선을 통해 들어왔는지 계산할 수 없다는 한계를 지니고 있다.
카메라 모델 검증을 위해 Intel(R) Core(TM)2 [2.66GHz CPU, 3.00GB Memory, Windows XP Professional Version 2002 Service Pack 2] 플랫폼 상에서 MATLAB을 사용하여 GUI로 동작하도록 카메라 캘리브레이션 툴을 구현하였다.
이론/모형
[11]과 Bakstein and Pajdla[12]는 이미 알고 있는 격자무늬 패턴을 사용해서 어안렌즈 캘리브레이션을 수행했는데 4개 매개변수 비 다항식(non polynomial)모델로 장면에서 센서까지의 비선형 투영을 계산했다. Swaminathan and Nayer[13]와 Brauer-Burchardt and Voss[14] 어안렌즈로 찍은 이미지의 비선형 렌즈 왜곡을 연직선(plumb line) 방법을 사용하여 제거했다. Xiong and Turkowski[15]는 4개의 이미지를 어안렌즈 카메라를 회전시켜 얻은 상관관계로 연관시켜 캘리브레이션 하였다.
은 왜곡되지 않은 점을 외부 파라미터 R과 T, 내부 파라미터 f, K, ω를 사용하여 왜곡시킨 점이다. 본 논문에서는 비선형 최적화를 위해 Levenberg-Marquardt 알고리즘[14]을 사용하였다.
어안렌즈는 비선형의 왜곡을 기반으로 설계되었기 때문에 이상적인 어안렌즈에 대응되는 화각 ω를 하나의 왜곡 상수로 갖는 FOV(Field of View)모델[16]을 사용하여 영상을 왜곡 시킨다.
성능/효과
XRMSE 값이 작을수록 카메라 모델 파라미터가 정확하게 최적화되어, 왜곡보정 결과 정확도가 높아진다.
그 결과 180° 화각의 어안렌즈의 경우 XRMSE는 0.89 픽셀이며 110° 화각의 어안렌즈의 경우 XRMSE는 0.48 픽셀이다.
후속연구
이를 통해 영상 센서로 초광각 카메라 렌즈를 사용하여 영상분석 기술 적용을 통해 차량 외부 자동 모니터링 및 시각적 경보 시스템 개발 등 다양한 어플리케이션에 활용도를 높일 수 있다. 또한, 단일 카메라를 사용하더라도 사람의 시각 인지도를 높여줄 수 있도록 보정 모델을 설계하여 운전자에게 나은 주행 환경을 제공할 수 있다는 의의를 가진다.
질의응답
핵심어
질문
논문에서 추출한 답변
비측량적 접근 방법을 사용한 왜곡 보정의 특징은 무엇인가?
3차원 공간에 대한 사전 정보 없이 영상의 정보를 이용하여 왜곡 보정을 하는 비측량적 접근 방법을 사용한 왜곡 보정은 직선이 직선으로 보여야한다는 목적함수를 계산하기 위한 다항식을 정의하고 다항식의 왜곡 계수를 반복적으로 계산하여 왜곡을 보정하는 방법으로 정밀함에 있어서는 우수하지만 복잡하고 계산량이 많다.
측량적 접근 기법의 단점은 무엇인가?
측량적 접근 기법은 3차원 공간의 정보를 사전에 파악할 수 있는 캘리브레이션 패턴에 대한 영상을 획득하여, 영상 내의 특이점(feature point)들을 인식해내고 이들 사이의 대응관계로부터 왜곡을 보정한다. 이 방법은 앞선 비 측량적 접근 방법보다 정확하지만 대응점들을 찾는 작업은 획득 영상의 정확도와 밀접하여 노이즈에 매우 민감하다[6].
카메라 비전 기술은 지능형 자동차 기술에서 어떻게 이용될 수 있는가?
자동차 보유량의 급격한 증가와 여성운전자 확대, 운전자의 고령화에 따라 운전자 계층이 다양해짐으로써 다양한 기술 융합을 통하여 안정성 및 편의성을 획기적으로 향상시킬 고안전 지능형 자동차 연구가 활발하게 진행되고 있다. 특히 카메라 비전 기술은 지능형 자동차 기술 중에, 사고 위험성을 미리 감지하여 운전자에게 정보를 제공하는 예방 안전 기술에 널리 이용될 수 있다. 대표적으로 자동차 후방 카메라는 운전자가 전방을 향해 운전하고 있을 때 후방 영상 및 사각지대 영상을 제공함으로 써 주차 시 안전성을 높여주고 있다.
참고문헌 (22)
D. Scaramuzza and A. Martinelli, "A flexible technique for accurate omnidirectional camera calibration and structure from motion," IEEE International Conference on Computer Vision Systems, 2006.
Besma Roui-Abidi and Chris Broaddus and Vitaliy Orekhov and Mongi Abidi, "A Generalized Full Scale Camera Calibration Method with Optimized Complexity," Proc. Fourth IEEE International Conference Multi-Conference on Systems, 2007.
D.C. Brown, "Close range camera calibration," Photogrammetric Engineering and Remote sensing, vol. 37, pp. 885-566, 1971.
S.B. Kang, "Semi-automatic methods for recovering radial distortion parameters from a single image," Technical Reports Series CRL 97/3, pp. 21, 1997.
신주홍, 남동환, 권기준, 정순기, "Ellipsoid를 이용한 어안렌즈의 Non-metric 접근 왜곡 보정 기법," HCI 2005, vol. 14, pp.83-89, 2005.
C. Mei and P. Rives, "Single view point omnidirectional camera calibration from planar grids," Proc. IEEE International Conference on Robotics and Automation, pp. 3945-3950, 2007.
R.Y. Tsai, "A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-theshelf TV cameras and lenses," IEEE Journal of Robotics Autom, vol. RA-3, pp. 323-344, 1986.
Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, pp. 1330-1334, 2000.
M.A. Abidi and R.O. Eason, "Camera calibration in robot vision," Proc, 4th Scandinavian Conference on Image Analysis, pp. 471-478, 1985.
S. Shah and J.K. Aggarwal, "Intrinsic parameter calibration procedure for a (high distortion) fish-eye lens camera with distortion model and accuracy estimation," Pattern Recognition, vol. 29, pp. 1775-1788, 1996.
S.S. Beauchemin, R. Bajcsy and G. Givaty, "A unified procedure for calibrating intrinsic parameters of fish-eye lenses," Proc, of the Conference on Vision Interface, pp. 272-279, 1999.
H. Bakstein and T. Pajdla, "Panoramic mosaicing with a $183^\circ$ field of view lens," Proc, of the IEEE Workshop on Omnidirectional Vision, pp. 60-67, 2002.
R. Swaminathan and S.K. Nayar, "Non-metric calibration of wide-angle lenses and polycameras," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, pp. 1172-1178, 2000.
C. Brauer-Burchardt and K. Voss, "A new algorithm to correct fish-eye- and strong wide-angle-lens-distortion from single images," Proc, of the Conference on Image Processing, pp. 225-228, 2001.
Y. Xiong and K. Turkowski, "Creating image-based VR using a self-calibrating fisheye lens," Proc, of the Conference on Computer Vision and Pattern Recognition, pp. 237-243, 1997.
B. Micusik, T. Pajdla, "Autocalibration and 3D reconstruction with non-central catadioptric cameras," IEEE Internation Conference on Computer Vision and Pattern Recognition, 2004.
J. Heikkila, "Geometric camera calibration using circular control points," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, pp. 1066-1077, 2000.
J. P. Barreto and K. Aniilidis, "Fundamental matrix for cameras with radial distortion," International Conference On Computer Vision, pp. 625-632, 2005.
H. Longuet-Higgins, "Acomputer algorithm for reconstructing a scene from two projections," Nature, vol. 293, pp. 133-135, 1981.
Philip E. Gill and Walter Murray, "Algorithms for the solution of the nonlinear least-squares problem," SIAM Journal on Numerical Analysis, vol. 15, pp. 977-992, 1978.
R. Unnikrishnan and M. Hebert, Fast extrinsic of a laser rangefinder to a camera, Technical Report Robotics Institute, Carnegie Mellon University, 2005.
F. Devernay and O. Faugeras, "Straight lines have to be straight," Machine Vision and Applications, vol. 13, pp. 14-24, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.