[논문]깊이 정보를 이용한 원근 왜곡 영상의 보정

권순각; 이동석

doi:10.9717/kmms.2015.18.2.106

깊이 정보를 이용한 원근 왜곡 영상의 보정
Correction of Perspective Distortion Image Using Depth Information 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.18 no.2, 2015년, pp.106 - 112

권순각 (Dept. of Computer Software Engineering, Dongeui University) , 이동석 (Dept. of Computer Software Engineering, Dongeui University)

Abstract ▼ AI-Helper

In this paper, we propose a method for correction of perspective distortion on a taken image. An image taken by a camera is caused perspective distortion depending on the direction of the camera when objects are projected onto the image. The proposed method in this paper is to obtain the normal vector of the plane through the depth information using a depth camera and calculate the direction of the camera based on this normal vector. Then the method corrects the perspective distortion to the view taken from the front side by performing a rotation transformation on the image according to the direction of the camera. Through the proposed method, it is possible to increase the processing speed than the conventional method such as correction of perspective distortion based on color information.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이카메라를 통해 평면을 촬영하였을 때의 카메라의 위치에 따른 왜곡의 보정을 다루었다. 깊이 카메라를 통하여 얻은 평면의 깊이 맵을 카메라 시선을 z축으로 하는 월드좌표계로 변환하여 평면의 법선 벡터를 구하였다.
본 논문에서는 깊이카메라를 통해 하나의 평면 영역을 촬영한 영상에 대해 기존의 색상카메라를 통해 획득한 색상 정보를 대체하여 깊이 정보를 통해 원근 왜곡을 보정하는 알고리즘을 제안한다. 먼저 깊이 카메라에서 평면에 대한 영상을 촬영하여 그 평면의 깊이 정보를 얻고, 이를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산한다.
본 논문에서는 평면 영역을 깊이 카메라로 촬영한 영상에서 깊이 정보를 이용하여 원근 왜곡을 보정하는 방법을 제안한다. Fig.

가설 설정

기하학적 해석에 있어 유용한 모델이 핀 홀 카메라 모델(pinhole camera model)이다[8]. 공간상에 놓여있는 물체 위의 어떤 점 좌표가 영상 면에 투영될 때 바늘구멍 (pinhole)를 통해 영상 면(image plane)에 맺힌다고 가정한다. 실제로는 영상이 맺힌 면은 바늘구멍면의 뒤에 위치하지만 이 면을 바늘구멍 면과 물체 사이에 존재하는 임의의 가상 면으로 이동시킨다고 가정한다면 물체의 상은 뒤집혀 지지 않고 원래 상과 같은 방향으로 보인다.

제안 방법

각각의 카메라의 위치에 대해 총 3회에 걸쳐 수치를 측정하였다. 본 알고리듬을 적용한 결과 Fig.
먼저 평면영역을 깊이카메라로 촬영하게 되면 깊이 정보를 통하여 각 화소의 카메라 좌표계 내에서의 좌표 위치를 얻을 수 있다. 그리고 각각의 화소에서 주변의 화소의 위치 정보를 통하여 국소적 법선 벡터를 계산한 후 이를 토대로 평면의 법선 벡터를 계산한다. 평면의 법선벡터를 통해 회전변환에서 사용할 회전축과 회전 각도를 계산하며, 각각의 화소에 대해 회전 변환을 거친 후의 매핑 된 위치를 얻게 되어 원근 왜곡을 보정할 수 있다.
본 논문에서는 깊이카메라를 통해 평면을 촬영하였을 때의 카메라의 위치에 따른 왜곡의 보정을 다루었다. 깊이 카메라를 통하여 얻은 평면의 깊이 맵을 카메라 시선을 z축으로 하는 월드좌표계로 변환하여 평면의 법선 벡터를 구하였다. 이렇게 구한 법선 벡터를 통해 카메라의 위치 정보를 구하여 회전 변환을 통해 정면에서 카메라가 위치하였을 때의 영상으로 보정하였다.
또한 제안된 원근 왜곡 보정의 정도를 측정하기 위해, 보정된 영상에서 각각의 격자에 대해 두 변의 사이각을 측정하였다. 격자를 이루는 수직 직선과 수평 직선에 대해 사이각이 직각에 가까울수록 원근 왜곡의 보정이 잘 되었다고 판단할 수 있다.
본 논문에서는 깊이카메라를 통해 하나의 평면 영역을 촬영한 영상에 대해 기존의 색상카메라를 통해 획득한 색상 정보를 대체하여 깊이 정보를 통해 원근 왜곡을 보정하는 알고리즘을 제안한다. 먼저 깊이 카메라에서 평면에 대한 영상을 촬영하여 그 평면의 깊이 정보를 얻고, 이를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산한다. 그 후 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산한다.
본 논문에서 제안하는 알고리듬은 기존에 연구되었던 왜곡 계수를 미리 얻어서 처리하는 알고리듬[3, 4]이나, 영상내의 특정한 점이나 선을 검출하여 처리 하는 알고리듬[5]과 달리 깊이 정보를 통하여 얻은 평면의 정보를 이용하여 원근 왜곡을 보정하는 알고 리듬을 이용한다. 따라서 기존 원근 왜곡 보정 알고 리듬에서 공통적으로 존재하는 패턴 분석 단계가 생략되었기 때문에 연산 횟수가 줄어들어든다.
깊이 카메라를 통하여 얻은 평면의 깊이 맵을 카메라 시선을 z축으로 하는 월드좌표계로 변환하여 평면의 법선 벡터를 구하였다. 이렇게 구한 법선 벡터를 통해 카메라의 위치 정보를 구하여 회전 변환을 통해 정면에서 카메라가 위치하였을 때의 영상으로 보정하였다. 깊이 카메라만을 가지고 실시간으로 보정을 수행할 수 있기 때문에 패턴 검사를 수행함에 있어 좀 더 효율적으로 적용할 수 있을 것으로 기대한다.
그 후 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산한다. 이를 이용하여 전체 평면의 법선 벡터를 얻고, 영상의 회전축과 사이 각을 계산하여 회전 변환을 적용시킴으로써 카메라의 위치에 따른 영상의 왜곡을 보정한다.

이론/모형

본 논문에서 제안된 알고리즘을 검증하기 위해 깊이 카메라는 ASUS사의 Xtion Pro을 사용하였다. 본 깊이 카메라의 해상도는 색상 영상 해상도와 깊이 영상 해상도가 각각 320 × 240이며, 시야각은 수직 45도, 수평 58도이다.

성능/효과

본 알고리듬을 적용한 결과 Fig. 8영상에 대해서는 격자가 이루는 변들의 평균 사이각이 76.92º에서 85.45º로 직각에 가까워짐을 확인할 수 있었으며 Fig. 9영상에 대해서도 69.67º에서 87.08º로 직각에 가까워졌음을 확인할 수 있었다.
08º로 직각에 가까워졌음을 확인할 수 있었다. 이를 통해 본 실험 결과에서 제안한 방법이 원근 왜곡이 일어난 평면 영역에 대해 효과적으로 보정을 수행할 수 있음을 알 수 있다.

후속연구

이렇게 구한 법선 벡터를 통해 카메라의 위치 정보를 구하여 회전 변환을 통해 정면에서 카메라가 위치하였을 때의 영상으로 보정하였다. 깊이 카메라만을 가지고 실시간으로 보정을 수행할 수 있기 때문에 패턴 검사를 수행함에 있어 좀 더 효율적으로 적용할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	색상 영상 기반의 처리 방법의 단점은?	이와 같이 지금까지의 연구들은 색상 영상 기반의 처리 방법으로, 보정 물체 또는 패턴을 이용한 방법과 영상 내에서의 특징점을 추출하여 원근 왜곡을 제거하는 방법이 있었다. 하지만 이러한 영상 기반의 처리 방법은 영상 내의 잡음에 영향을 많이 받는다는 단점이 있다. 또한 보정 물체 및 패턴 영상을 이용하는 방법은 왜곡 계수를 특정 영상을 통해 얻어내는 작업을 한 후에는 촬영 카메라와 보정 대상 객체의 위치가 고정되어야 하므로 제한된 분야에서만 적용이 가능하다는 단점이 존재한다. 그리고 영상 내의 특징점을 이용한 기존 연구에서는 특정 분야에서만 적용이 가능하다는 단점도 존재하였다. 만약 깊이 카메라를 이용하여 영상의 깊이 정보를 같이 얻어 처리를 한다면 이러한 단점들을 극복할 수 있다.
	카메라란 무엇인가?	카메라는 3차원 공간상에 놓여있는 물체의 한 점 좌표를 2차원 평면상의 한 점 좌표로 투영시키는 일종의 좌표 변환장치이다. 일반적으로 카메라와 공간 물체의 좌표관계를 규명하기 위해서는 기하학적 관점에서 카메라를 해석하는 것이 필요하다.
	색상 영상 기반의 처리 방법으로 어떤 것이 있는가?	이와 같이 지금까지의 연구들은 색상 영상 기반의 처리 방법으로, 보정 물체 또는 패턴을 이용한 방법과 영상 내에서의 특징점을 추출하여 원근 왜곡을 제거하는 방법이 있었다. 하지만 이러한 영상 기반의 처리 방법은 영상 내의 잡음에 영향을 많이 받는다는 단점이 있다.

참고문헌 (11)

H.J. Cho and T.H. Park, “Wavelet Transform Based Image Template Matching for Automatic Component Inspection,” Journal of Institute of Control Robotics and Systems, Vol. 15, No. 2, pp. 225-230, 2009.

원문보기 상세보기
K.C. Koh, K.W. Ko, J.H. Kim, H.J. Choi, and J.S. Kim, “An Automatic Inspection of SMT Rectangular Chips based on PCA Algorithm,” Journal of the Korean Society of Precision Engineering, Vol. 20, No. 11, pp. 23-31, 2003.
J. Weng, P. Cohen, and M. Herniou, “Camera Calibration with Distortion Models and Accuracy Evaluation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10, pp. 965-980, 1992.

상세보기
Z. Zhang, “A Fiexible New Technique for Camera Calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.

상세보기
M. Ahmed and A. Farag, “Nonmetric Calibration of Camera Lens Distortion: Differential Methods and Robust Estimation,” IEEE Transactions on Image Processing, Vol. 14, No. 8, pp. 1215-1230, 2005.

상세보기
L. Jagannathan and C.V. Jawahar, “Perspective Correction Methods for Camera Based Document Analysis,” Proceeding of First International Workshop on Camerabased Document Analysis and Recognition, pp. 148-154, 2005.
J.J. Lee, K.H. Lee, C.D. Chung, K.H. Park, Y.B. Park, and B.G. LEE, “Pattern Elimination Method Based on Perspective Transform for Defect Detection of TFT-LCD,” Journal of Korea Multimedia Society, Vol. 15, No. 6, pp. 784-793, 2012.

원문보기 상세보기
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2008.
E. McCollough, Industry: A Monthly Magazine Devoted to Science, Engineering and Mechanic Arts, Industrial Publishing Company, San Francisco, 1893.
H.W. Yoo, W.H. Kim, J.W. Park, W.H. Lee, and M.J. Chung, “Local Normal Vector-based Fast Plane Detection using a Depth Camera,” The 8th Korea Robotics Society Annual Conference, pp. 15-18, 2013.
C.J. Taylor and D.J. Kriegman, Minimization on the Lie Group SO(3) and Related Manifolds, Yale University Technical Report, No. 9405, 1994.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증