카메라 모델의 추정과 검증을 통한 광각 카메라 영상의 왜곡 보정 방법 A Distortion Correction Method of Wide-Angle Camera Images through the Estimation and Validation of a Camera Model원문보기논문타임라인
본 논문에서는 광각 카메라로 촬영한 영상에서 생기는 영상의 왜곡 문제를 해결하기 위하여, 카메라 모델의 추정과 검증을 통하여 광각 카메라 영상에서의 방사형 왜곡을 보정하는 방법을 제안한다. 먼저, 교정 패턴으로부터 렌즈의 초점 거리와 주점의 위치 등으로 구성된 내부 파라미터와 회전과 위치 정보로 구성된 외부 파라미터를 찾음으로써 카메라의 왜곡 모델을 추정한다. 다음으로, 추정된 카메라 모델로부터 역으로 코너점을 다시 추출하여 검증하고, 마지막으로, 검증된 카메라 모델을 이용하여 영상의 왜곡을 보정한다. 일반 웹 카메라와 광각 카메라로부터 격자 모양의 교정 패턴을 촬영한 영상을 이용하여 방사형 왜곡을 보정하는 실험을 수행한 결과, 제안된 방법이 80% 이상의 개선 성능을 보임을 확인하였다.
본 논문에서는 광각 카메라로 촬영한 영상에서 생기는 영상의 왜곡 문제를 해결하기 위하여, 카메라 모델의 추정과 검증을 통하여 광각 카메라 영상에서의 방사형 왜곡을 보정하는 방법을 제안한다. 먼저, 교정 패턴으로부터 렌즈의 초점 거리와 주점의 위치 등으로 구성된 내부 파라미터와 회전과 위치 정보로 구성된 외부 파라미터를 찾음으로써 카메라의 왜곡 모델을 추정한다. 다음으로, 추정된 카메라 모델로부터 역으로 코너점을 다시 추출하여 검증하고, 마지막으로, 검증된 카메라 모델을 이용하여 영상의 왜곡을 보정한다. 일반 웹 카메라와 광각 카메라로부터 격자 모양의 교정 패턴을 촬영한 영상을 이용하여 방사형 왜곡을 보정하는 실험을 수행한 결과, 제안된 방법이 80% 이상의 개선 성능을 보임을 확인하였다.
In order to solve the problem of severely distorted images from a wide-angle camera, we propose a calibration method which corrects a radial distortion in wide-angle images by estimation and validation of camera model. First, we estimate a camera model consisting of intrinsic and extrinsic parameter...
In order to solve the problem of severely distorted images from a wide-angle camera, we propose a calibration method which corrects a radial distortion in wide-angle images by estimation and validation of camera model. First, we estimate a camera model consisting of intrinsic and extrinsic parameters from calibration patterns, where intrinsic parameters are the focal length, the principal point and so on, and extrinsic parameters are the relative position and orientation of calibration pattern from a camera. Next we validate the estimated camera model by re-extracting corner points by inversing the model to images. Finally we correct the distortion of the image using the validated camera model. We confirm that the proposed method can correct the distortion more than 80% by the calibration experiments using the lattice shaped pattern images captured from a general web camera and a wide-angle camera.
In order to solve the problem of severely distorted images from a wide-angle camera, we propose a calibration method which corrects a radial distortion in wide-angle images by estimation and validation of camera model. First, we estimate a camera model consisting of intrinsic and extrinsic parameters from calibration patterns, where intrinsic parameters are the focal length, the principal point and so on, and extrinsic parameters are the relative position and orientation of calibration pattern from a camera. Next we validate the estimated camera model by re-extracting corner points by inversing the model to images. Finally we correct the distortion of the image using the validated camera model. We confirm that the proposed method can correct the distortion more than 80% by the calibration experiments using the lattice shaped pattern images captured from a general web camera and a wide-angle camera.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 120°의 광각 카메라에서 획득한 영상에서 나타나는 방사형 왜곡을 보정하기 위한 방법을 제안하였다. 제안된 방법은 교정 패턴으로부터 렌즈의 초점 거리와 주점의 위치 등으로 구성된 렌즈 내부 파라미터와 회전 각도와 이동 위치 정보로 구성된 외부 파라미터를 추정한 다음, 추정된 왜곡 모델로부터 역으로 코너점을 다시 추출하여 검증하고, 검증된 왜곡 모델을 이용하여 영상의 왜곡을 보정한다.
본 논문에서는 Heikkila과 Silven에 의해 제안된 카메라 모델[8]을 바탕으로 광각 카메라의 왜곡 모델을 추정하고 검증함으로써 영상 왜곡을 교정하는 방법을 제안한다. 제안된 방법은 교정 영상으로부터 4개의 외곽 코너를 사용자가 입력하면 이를 바탕으로 내부 코너점을 찾고, 이 코너점들을 이용하여 카메라 내부 및 외부 파라미터를 추출하는 교정 단계와 추출된 정보로부터 역으로 코너점을 검증하는 단계로 구성된다.
제안 방법
본 논문에서는 Heikkila과 Silven에 의해 제안된 카메라 모델[8]을 바탕으로 광각 카메라의 왜곡 모델을 추정하고 검증함으로써 영상 왜곡을 교정하는 방법을 제안한다. 제안된 방법은 교정 영상으로부터 4개의 외곽 코너를 사용자가 입력하면 이를 바탕으로 내부 코너점을 찾고, 이 코너점들을 이용하여 카메라 내부 및 외부 파라미터를 추출하는 교정 단계와 추출된 정보로부터 역으로 코너점을 검증하는 단계로 구성된다. 이렇게 검증된 모델을 이용하여 광각 카메라 영상의 왜곡을 보정할 수 있다.
본 논문에서는 120°의 광각 카메라에서 획득한 영상에서 나타나는 방사형 왜곡을 보정하기 위한 방법을 제안하였다. 제안된 방법은 교정 패턴으로부터 렌즈의 초점 거리와 주점의 위치 등으로 구성된 렌즈 내부 파라미터와 회전 각도와 이동 위치 정보로 구성된 외부 파라미터를 추정한 다음, 추정된 왜곡 모델로부터 역으로 코너점을 다시 추출하여 검증하고, 검증된 왜곡 모델을 이용하여 영상의 왜곡을 보정한다. 제안된 방법을 이용하여 일반 실내에서 촬영한 영상으로부터 왜곡 보정 실험을 한 결과 제안된 방법의 타당성을 확인할 수 있었다.
대상 데이터
각각의 카메라로 10장 이상의 교정 패턴을 획득하였으며, 이를 바탕으로 영상의 왜곡 모델을 추정하였다.
본 논문에서 사용한 보정 패턴은 A1 크기의 용지에 5cm × 5cm의 격자 모양을 가로 15개, 세로 10개 배치하고 외부에 약간의 여백을 두어 제작하였다. 촬영된 각각의 보정 패턴 영상에 대해서 그림 1과 같이 4단계를 거쳐서 코너점들을 추출한다.
제안 방법의 왜곡 보정 성능을 정량적으로 평가하기 위하여, 카메라 모델 학습에 사용하지 않은 교정 패턴 영상에 대해 교차점들(14×9=126개)을 추출하여 성능 평가에 사용하였다. 표 3의 (a)는 각각의 축별로 시작점과 끝점을 연결하는 직선과 찾은 교차점 사이의 평균 픽셀 거리를 비교한 결과이며, 표 3의 (b)는 입력 영상에서 측정된 값을 기준으로 각 방법을 사용하여 줄어든 거리의 비율을 개선 비율로 비교한 결과이다.
제안된 왜곡 교정 방법의 성능을 검증하기 위하여 640×480 해상도의 CMOS 센서를 갖는 일반 웹 카메라(SPC-A30M)와 다방향 CCTV 시스템(UMC-017)에 장착된 704×480 픽셀 해상도의 동영상을 획득하는 120° 광각 CCD 카메라를 사용하였다.
데이터처리
앞서 구해진 카메라 모델을 이용하여 웹 카메라에서 획득한 영상과 광각 카메라에서 획득한 영상의 왜곡을 보정하였다. 성능 비교를 위하여 Adove Photoshop CS5에서 제공하는 자동 렌즈 교정 도구[13]와 어안렌즈 교정 기능이 있는 RectFish 프로그램을 사용하였다[14].
이론/모형
교정 패턴을 촬영한 영상에 대해서 위의 과정을 반복하여 코너점들의 집합을 추출하고, 추출된 코너 점들의 집합으로부터 Zhang의 방법[11]과 Brown의 반복 알고리즘[12]을 이용하여 카메라 모델의 파라미터를 추정한다. 이때 교정 패턴들 사이의 위치 관계를 파악함으로써, 카메라를 기준으로 한 좌표에서 각 패턴들의 회전 및 이동 파라미터도 추정할 수 있다.
성능/효과
표 3의 (a)는 각각의 축별로 시작점과 끝점을 연결하는 직선과 찾은 교차점 사이의 평균 픽셀 거리를 비교한 결과이며, 표 3의 (b)는 입력 영상에서 측정된 값을 기준으로 각 방법을 사용하여 줄어든 거리의 비율을 개선 비율로 비교한 결과이다. 제안된 방법을 사용하여 가로축과 세로축 모두 원래의 거리에서 80% 이상의 개선 효과를 보였다.
제안된 방법은 교정 패턴으로부터 렌즈의 초점 거리와 주점의 위치 등으로 구성된 렌즈 내부 파라미터와 회전 각도와 이동 위치 정보로 구성된 외부 파라미터를 추정한 다음, 추정된 왜곡 모델로부터 역으로 코너점을 다시 추출하여 검증하고, 검증된 왜곡 모델을 이용하여 영상의 왜곡을 보정한다. 제안된 방법을 이용하여 일반 실내에서 촬영한 영상으로부터 왜곡 보정 실험을 한 결과 제안된 방법의 타당성을 확인할 수 있었다.
추정된 카메라 모델의 파라미터 값으로부터 웹 카메라의 경우 카메라와 교정 패턴의 거리가 106cm 정도이고 중심점의 위치가 영상의 중심에서 어느 정도 벗어나 있음을 알 수 있으며, 광각 카메라의 경우 중심점의 위치는 영상의 중앙과 유사하지만 방사 왜곡 계수 및 접선 왜곡 계수가 웹 카메라의 값보다 크게 나타남으로써 왜곡의 정도가 보다 크다는 것을 알 수 있다.
후속연구
그러나 본 논문에서 제안된 교정 방법은 초기 외곽 기준점 지정, 내부 코너점들의 추정 및 확정 단계에서 사용자의 개입이 필요하며 이를 자동화하기 위한 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
왜곡을 보정하기 위한 대표적인 방법은 무엇인가?
이와 같은 왜곡을 보정하기 위한 대표적인 방법은 카메라 모델을 정의하고, 교정 패턴으로부터 모델의 파라미터를 추정한 다음 모델의 역변환을 통해 복원하는 방법이다. 그러나 정확도는 우수하지만 높은 계산 복잡도의 문제점이 있어서, 카메라 모델의 파라미터 개수를 줄여서 복잡도를 줄이는 방법에 대한 연구가 많이 시도되고 있다[8-10].
영상을 분석할 때 우선적으로 어떠한 것을 보정해야 하는가?
IT 기술의 발달로 인하여 CCTV 카메라, 웹 카메라, 휴대폰 카메라, 블랙박스 카메라, 스테레오 카메라, 광각 카메라, 다방향 카메라 등 다양한 카메라가 널리 보급되었으며, 이를 이용한 영상 분석 및 활용에 대한 요구가 증가하고 있다. 그러나 영상을 분석하기 위해서는 우선 카메라 렌즈의 특성으로 인해 생기는 영상의 왜곡을 보정해야 한다[1-4]. 특히, 넓은 범위를 관측할 수 있는 광각 카메라로 촬영한 영상은 일반 카메라로 촬영한 영상보다 왜곡, 특히 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡(radial distortion)을 보정하는 것이 필요하다[5-7].
3차원 실세계의 객체를 촬영할 때 생기는 왜곡을 보정하기 위해 어떠한 것을 알아야 하는가?
3차원 실세계의 객체를 촬영하면 영상 평면 또는 투영 평면에 영상이 맺히게 되는데, 이때 카메라 렌즈의 고유 특성 및 객체의 위치에 따라 다른 좌표에 투영되어 왜곡이 생기게 된다. 따라서 카메라에서 획득된 영상의 왜곡을 보정하기 위해서는 카메라 렌즈의 고유 특성에 해당하는 내부 파라미터와 카메라와 객체 사이의 3차원 회전 및 위치 정보에 해당하는 외부 파라미터를 알아야 한다.
그러나 영상을 분석하기 위해서는 우선 카메라 렌즈의 특성으로 인해 생기는 영상의 왜곡을 보정해야 한다[1-4].
또한 카메라를 제작할 때 렌즈와 영상 평면(센서)이 완벽하게 수평이 아닌 형태로 접착이 되었을 때 발생하는 접선 왜곡을 보정하는 것도 필요하다[1].
본 논문에서 사용하는 카메라 모델은 [8]에서 사용한 모델과 유사하며, 다음 표 1에 정의된 파라미터를 알아야 영상의 왜곡을 보정할 수 있다[1].
회전의 경우는 x, y, z 축을 기준으로 차례대로 rx, ry, rz 각도만큼 회전하는 변환행렬 R은 각각의 회전 행렬을 모두 곱하여 구할 수 있다[1].
R. Swaminathan and S.K. Nayar, "Nonmetric Calibration of Wide-angle Lenses and Polycameras", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 10, pp. 1172-1178, 2000.
그러나 영상을 분석하기 위해서는 우선 카메라 렌즈의 특성으로 인해 생기는 영상의 왜곡을 보정해야 한다[1-4].
J.-S. Lee, S.-C.. Hong, Min-Goo Kang, and S.-I. Sonh, "Design of 2m High Resolution Wideangle Lenz for Smart NUX", in Proc. of the Spring conference of the Korea Institute of Electronic Communication Sciences, Vol. 6, No. 1, pp. 71-74, 2012.
그러나 영상을 분석하기 위해서는 우선 카메라 렌즈의 특성으로 인해 생기는 영상의 왜곡을 보정해야 한다[1-4].
Jae-Gon Lee, Min-Goo Kang, Won-Kyu Kim, and Kyung-Taek Lee, "Design of Highresolution Wide-angle Lenz Module, and Image Distortion Compensation for Smart NUX", The Journal of the Korea Institute of Electronic Communication Sciences, Vol. 7, No. 5, pp. 999-1004, 2012.
특히, 넓은 범위를 관측할 수 있는 광각 카메라로 촬영한 영상은 일반 카메라로 촬영한 영상보다 왜곡, 특히 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡(radial distortion)을 보정하는 것이 필요하다[5-7].
Byung-Ik Kim, Dea-Hyeon Kim, Tae-Wuk Bae, Young-Choon Kim, Tae-Een Shim, Duk-Gyoo Kim, "An Automatic Mapping Points Extraction Algorithm for Calibration of the Wide Angle Camera", Journal of Korea Multimedia Society, Vol. 13, No. 3, pp. 410-416, 2010.
특히, 넓은 범위를 관측할 수 있는 광각 카메라로 촬영한 영상은 일반 카메라로 촬영한 영상보다 왜곡, 특히 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡(radial distortion)을 보정하는 것이 필요하다[5-7].
Han-Seog Seo and Wha-Young Yim, "A Compensation for Distortion of Stereo-scopic Camera Image Using Neuro-Fuzzy Inference System", The Journal of the Korea Institute of Electronic Communication Sciences, Vol. 5, No. 3, pp. 262-268, 2010.
특히, 넓은 범위를 관측할 수 있는 광각 카메라로 촬영한 영상은 일반 카메라로 촬영한 영상보다 왜곡, 특히 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡(radial distortion)을 보정하는 것이 필요하다[5-7].
Janne Heikkila and Olli Silven, "A Four-step Camera Calibration Procedure with Implicit Image Correction", in Proc. of Int'l Conf. on Computer Vision and Pattern Recognition, pp. 1106-1112, 1997.
그러나 정확도는 우수하지만 높은 계산 복잡도의 문제점이 있어서, 카메라 모델의 파라미터 개수를 줄여서 복잡도를 줄이는 방법에 대한 연구가 많이 시도되고 있다[8-10].
본 논문에서는 Heikkila과 Silven에 의해 제안된 카메라 모델[8]을 바탕으로 광각 카메라의 왜곡 모델을 추정하고 검증함으로써 영상 왜곡을 교정하는 방법을 제안한다.
본 논문에서 사용하는 카메라 모델은 [8]에서 사용한 모델과 유사하며, 다음 표 1에 정의된 파라미터를 알아야 영상의 왜곡을 보정할 수 있다[1].
Young-Ho Yu and Si-Woong Jang, "Design and Implementation of 4-sided Monitoring System Providing Bird's Eye View in Car PC Environment", The Journal of The Korean Institute of Information and Communication Engineering, Vol. 16, No. 1, pp. 153-159, 2012.
그러나 정확도는 우수하지만 높은 계산 복잡도의 문제점이 있어서, 카메라 모델의 파라미터 개수를 줄여서 복잡도를 줄이는 방법에 대한 연구가 많이 시도되고 있다[8-10].
Van-Toan Cao and Sang-Bock Cho, "A New Method Using Geometric Invariability for Lens Distortion Correction", Journal of The Institute of Electronics Engineers of Korea, Vol. 48SP, No. 6, pp. 115-123, 2011.
그러나 정확도는 우수하지만 높은 계산 복잡도의 문제점이 있어서, 카메라 모델의 파라미터 개수를 줄여서 복잡도를 줄이는 방법에 대한 연구가 많이 시도되고 있다[8-10].
Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.