[논문]움직이는 카메라를 이용한 목표물의 거리 및 속도 추정

변상훈; 좌동경

doi:10.5370/kiee.2013.62.12.1737

[국내논문] 움직이는 카메라를 이용한 목표물의 거리 및 속도 추정
Range and Velocity Estimation of the Object using a Moving Camera 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.62 no.12, 2013년, pp.1737 - 1743

변상훈 (Dept. of Electrical and Computer Engineering, Ajou University) , 좌동경 (Dept. of Electrical and Computer Engineering, Ajou University)

Abstract ▼ AI-Helper

This paper proposes the range and velocity of the object estimation method using a moving camera. Structure and motion (SaM) estimation is to estimate the Euclidean geometry of the object as well as the relative motion between the camera and object. Unlike the previous works, the proposed estimation method can relax the camera and object motion constraints. To this end, we arrange the dynamics of moving camera-moving object relative motion model in an appropriate form such that the nonlinear observer can be employed for the SaM estimation. Through both simulations and experiments we have confirmed the validity of the proposed estimation algorithm.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 목표물의 거리와 물체의 속도를 추정하는 알고리즘을 제안한다. 움직이는 카메라를 통해 목표물을 관찰하고 카메라의 속도 v_c, w를 이용하여 목표물과의 거리와 속도를 추정하게 된다.
본 논문에서는 움직이는 카메라와 물체간의 동역학식을 이용하고 위에서 언급한 제한조건을 완화하고 실시간으로 추정이 가능한 알고리즘을 제안한다. 사용한 동역학식은 측정이 불가능한 상태를 포함하고 있고 또한 비선형형태로 나타난다.
본 논문에서는 이동하는 카메라를 이용하여 목표물과의 거리와 목표물의 속도를 추정하는 기법을 제안하고 제안한 기법을 실험을 통해 검증하였다. 기존의 연구는 목표물과 카메라의 움직임에 제한을 두어 거리 추정 및 움직임을 추정하였는데 이러한 문제를 해결하기 위하여 비선형 기반 추정기를 사용하였다.

제안 방법

5m 2D 레일 시스템을 제작하여 2축으로 자유롭게 움직일 수 있다. 각 모터에는 엔코더가 달려있어 정확한 속도제어가 가능하고 또한 카메라에 짐벌을 설치하여 피치와 요 축으로 자유롭게 회전할 수 있도록 하였다.
본 논문에서는 제안한 알고리즘을 시스템 적용실험을 통해 검증한다. 각 실험에서 정지된 목표물과 움직이는 목표물에 대한 두 가지 시나리오를 통해 검증하였다. 첫번째 시나리오는 움직이는 카메라와 정지된 목표물을 이용한 실험으로 정지된 목표물에 대해 거리추정 결과를 확인하였다.
사용한 동역학식은 측정이 불가능한 상태를 포함하고 있고 또한 비선형형태로 나타난다. 그렇기 때문에 본 논문에서는 Robust-Integral Signed Error 방법을 기반으로 한 비선형 추정기를 사용하여 측정 불가능한 상태를 추정한다[12]. 카메라의 선형 속도와 각속도를 안다면 목표물과의 거리추정 및 목표물의 속도 추정까지 가능하다.
본 논문에서는 이동하는 카메라를 이용하여 목표물과의 거리와 목표물의 속도를 추정하는 기법을 제안하고 제안한 기법을 실험을 통해 검증하였다. 기존의 연구는 목표물과 카메라의 움직임에 제한을 두어 거리 추정 및 움직임을 추정하였는데 이러한 문제를 해결하기 위하여 비선형 기반 추정기를 사용하였다. 정지되어 물체뿐만 아니라 움직이는 물체까지도 빠른 시간에 거리 및 속도 추정이 가능함과 제안한 알고리즘의 실시간 적용가능성을 실험을 통해 검증하였다.
첫번째 시나리오는 움직이는 카메라와 정지된 목표물을 이용한 실험으로 정지된 목표물에 대해 거리추정 결과를 확인하였다. 두번째 시나리오는 움직이는 카메라와 목표물을 이용한 실험으로 카메라와 목표물 사이의 거리뿐만 아니라 움직이는 목표물의 속도까지 추정하는 실험을 진행하였다.
본 논문에서는 마커의 크기를 통해 측정하는 거리와 제안한 거리 추정알고리즘을 통해 얻은 거리정보와 비교를 한다. 목표물의 경우 자유롭게 움직일 수 있는 모바일 로봇을 사용하였고 모바일 로봇에 마커를 부착하여 영상에서 목표물을 검출할 수 있도록 하였다. 실시간으로 영상 내에서 마커를 찾아내고 그 중심좌표를 통해 물체의 위치를 파악한다.
마커를 사용할 경우 이미지에서 물체의 특징점을 쉽게 찾을 수 있을 뿐 아니라 마커의 크기와 카메라의 초점거리간의 식을 통해 카메라와 목표물사이의 거리를 얻을 수 있다. 본 논문에서는 마커의 크기를 통해 측정하는 거리와 제안한 거리 추정알고리즘을 통해 얻은 거리정보와 비교를 한다. 목표물의 경우 자유롭게 움직일 수 있는 모바일 로봇을 사용하였고 모바일 로봇에 마커를 부착하여 영상에서 목표물을 검출할 수 있도록 하였다.
본 논문에서는 제안한 알고리즘을 시스템 적용실험을 통해 검증한다. 각 실험에서 정지된 목표물과 움직이는 목표물에 대한 두 가지 시나리오를 통해 검증하였다.
자유로운 움직임을 갖는 카메라와 물체가 요구되며 카메라의 영상에서 물체를 인식할 수 있는 영상처리 프로그램도 필요로 한다. 본 연구에서 사용된 CPU모듈은 intel i5을 기반으로한 고성능 모델로 빠른 영상처리를 할 수 있도록 하였다. 카메라의 경우 Logitech사의 C920 웹캠을 사용하였다.
실험도 모의실험과 마찬가지로 두 가지 시나리오를 사용하여 성능검증을 하였다. 첫번째 실험은 정지된 물체와의 거리를 추정하는 실험이고 두번째 실험은 움직이는 물체와의 거리뿐만 아니라 속도까지 추정하는 실험을 하였다.
블루투스 모듈을 통해 속도정보를 받아 지상에서 움직이게 된다. 엔코더가 장착된 DC모터를 사용하여 정확한 속도제어가 되도록 하였다. 카메라의 경우 천장에 그림 3(b)와 같은 가로 2.
스테레오 비전처럼 삼각측량 기법을 이용한 방법이 제안되었다[7]. 움직이면서 얻은 여러 영상이미지 사이의 관계를 이용하는데 카메라의 움직임, 물체의 움직임과 이미지의 관계를 대수식을 이용하고 간단한 연산을 통해 거리를 추정한다. 하지만 물체의 속도 추정에 있어 물체의 움직임이 직선이나 원 같은 단순하고 제한적일 경우 추정이 가능하고 정확한 거리 정보 추정을 위해서는 많은 양의 이미지 데이터가 필요하다.
카메라의 선형 속도와 각속도를 안다면 목표물과의 거리추정 및 목표물의 속도 추정까지 가능하다. 제안한 방법은 2가지 시나리오를 통해 검증을 한다. 첫번째 시나리오는 정지된 목표물과의 거리 추정이고 두번째 시나리오는 움직이는 목표물과의 거리 추정 및 목표물 속도 추정이다.
각 실험에서 정지된 목표물과 움직이는 목표물에 대한 두 가지 시나리오를 통해 검증하였다. 첫번째 시나리오는 움직이는 카메라와 정지된 목표물을 이용한 실험으로 정지된 목표물에 대해 거리추정 결과를 확인하였다. 두번째 시나리오는 움직이는 카메라와 목표물을 이용한 실험으로 카메라와 목표물 사이의 거리뿐만 아니라 움직이는 목표물의 속도까지 추정하는 실험을 진행하였다.
실험도 모의실험과 마찬가지로 두 가지 시나리오를 사용하여 성능검증을 하였다. 첫번째 실험은 정지된 물체와의 거리를 추정하는 실험이고 두번째 실험은 움직이는 물체와의 거리뿐만 아니라 속도까지 추정하는 실험을 하였다. 실험에서 사용된 카메라의 캘리브레이션 행렬은 A_c= 로서 외부 툴을 이용하여 구하였다.
카메라에서 목표물의 특징점을 찾아내기 위하여 실험에서는 그림 4와 같이 마커는 흰 바탕에 검정색 테두리를 갖는 사각형으로 내부에 패턴을 이용하여 마커의 ID를 구분할 수 있도록 하였다. 마커를 사용할 경우 이미지에서 물체의 특징점을 쉽게 찾을 수 있을 뿐 아니라 마커의 크기와 카메라의 초점거리간의 식을 통해 카메라와 목표물사이의 거리를 얻을 수 있다.

대상 데이터

본 연구에서 사용된 CPU모듈은 intel i5을 기반으로한 고성능 모델로 빠른 영상처리를 할 수 있도록 하였다. 카메라의 경우 Logitech사의 C920 웹캠을 사용하였다. 높은 해상도의 영상 촬영이 가능하고 넓은 시야각을 갖고 있다.

이론/모형

또한 초당 30프레임의 이미지를 제공하므로 많은 영상정보를 빠르게 획득할 수 있다. 카메라와 물체의 움직임을 제어할 MCU는 Texas Instrument사의 32비트 프로세서 tms28335(DSP) 모델을 사용하여 빠르고 정확한 연산을 할 수 있도록 하였다. 그림 3(a)와 같이 움직이는 물체의 경우 모바일 로봇으로 대신하여 실험하였다.

성능/효과

그림 11은 움직이는 목표물의 속도를 나타낸 것이다. 실제 목표물의 속도와 추정기를 통해 추정한 속도로 그림 10처럼 1초 부근에서 오버슈트가 발생하지만 2초 이내에 실제 목표물의 속도와 같아짐을 확인할 수 있다.
기존의 연구는 목표물과 카메라의 움직임에 제한을 두어 거리 추정 및 움직임을 추정하였는데 이러한 문제를 해결하기 위하여 비선형 기반 추정기를 사용하였다. 정지되어 물체뿐만 아니라 움직이는 물체까지도 빠른 시간에 거리 및 속도 추정이 가능함과 제안한 알고리즘의 실시간 적용가능성을 실험을 통해 검증하였다. 이러한 결과를 확장하여 보다 자유로운 움직임을 갖는 이동로봇의 연구에 적용한다면 단일카메라를 이용하여 목표물의 정보를 쉽게 파악할 수 있을 것이다.

후속연구

정지되어 물체뿐만 아니라 움직이는 물체까지도 빠른 시간에 거리 및 속도 추정이 가능함과 제안한 알고리즘의 실시간 적용가능성을 실험을 통해 검증하였다. 이러한 결과를 확장하여 보다 자유로운 움직임을 갖는 이동로봇의 연구에 적용한다면 단일카메라를 이용하여 목표물의 정보를 쉽게 파악할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단일카메라의 이미지정보를 보완하기 위한 기술은 무엇이 있는가?	그렇기 때문에 다양한 방법이 연구되고 있다. 가장 보편적으로 사용되는 방법이 스테레오 비전 기술로 두 대의 카 메라의 영상에 나타나는 물체의 위치 차를 삼각측량원리를 이용하여 3차원 거리 정보를 계산하는 기술이다[1]-[4]. 이러한 스테레오 비전의 경우 정밀한 카메라 캘리브레이션이 어렵고 카메라간의 구조가 조금만 달라져도 큰 오차를 보인다는 단점이 있다.
	마커의 장점은 무엇인가?	카메라에서 목표물의 특징점을 찾아내기 위하여 실험에서는 그림 4와 같이 마커는 흰 바탕에 검정색 테두리를 갖는 사각형으로 내부에 패턴을 이용하여 마커의 ID를 구분할 수 있도록 하였다. 마커를 사용할 경우 이미지에서 물체의 특징점을 쉽게 찾을 수 있을 뿐 아니라 마커의 크기와 카메라의 초점거리간의 식을 통해 카메라와 목표물사이의 거리를 얻을 수 있다. 본 논문에서는 마커의 크기를 통해 측정하는 거리와 제안한 거리 추정알고리즘을 통해 얻은 거리정보와 비교를 한다.
	단일카메라의 이미지정보의 한계점은?	보편적으로 거리를 측정하기 위해 다양한 센서가 사용되지만 최근 컴퓨터 프로세서의 발달로 인해 연산속도가 빨라지면서 카메라의 영상정보를 이용한 다양한 연구가 진행되고 있다. 단일카메라의 이미지정보에서는 2차원 정보만을 얻을 수 있고 거리정보는 얻을 수 없다. 그렇기 때문에 다양한 방법이 연구되고 있다.

참고문헌 (15)

Y. Yakimovsky and R. Cunningham, "A System for extracting three-dimensional measurements from a stereo pair of TV cameras," Computer Graphics and Image Processing, vol. 7, no. 2, pp. 195-210, Apr. 1978.

상세보기
W. Eric and L. Grimson, "Computational experiments with a feature based stereo algorithm," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-7, no. 1, pp.17-33, Jan. 1985.

상세보기
U. R. Dhond and J. K. Aggarwal, "Structure from stereo-a review," IEEE Transactions on System, Man and Cybernetics, vol. 19, no. 6, pp. 1489-1510, Nov. 1898.
S. T. Barnard and M. A. Fischler, "Computational stereo," ACM Computing Surveys, vol. 14, no. 4, pp. 553-572, Dec. 1982.

상세보기
S. Shen, N. Michael, and V. Kumar, "Autonomous Indoor 3D Exploration with a Micro-Aerial Vehicle," Proceedings of IEEE International Conference on Robotics and Automation, Saint Paul, MN, pp. 9-15, May. 2012.
S. Shen, N. Michael, and V. Kumar, "Autonomous Multi-Floor Indoor Navigation with a Computationally Constrained MAV," Proceedings of IEEE International Conference on Robotics and Automation, Shanghai, China, pp. 20-25, May. 2011.
S. Avidan and A. Shashua, "Trajectory triangulation: 3D reconstruction of moving points from a monocular image sequence," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 4, pp. 348-357, Apr. 2000.

상세보기
J. Kaminski and M. Teicher, "A general framework for trajectory triangulation," Journal of Mathematical Imaging and Vision , vol. 21, no. 1, pp. 27-41, Jul. 2004.

상세보기
M. Han and T. Kanade, "Reconstruction of a scene with multiple linearly moving objects," International Journal of Computer Vision, vol. 59, no. 3, pp. 285-300, Sep. 2004.

상세보기
C. Yuan and G. Medioni, "3D reconstruction of background and objects moving on ground plane viewed from a moving camera," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, vol. 2, pp. 2261-2268, Jun. 2006.
A. P. Dani, Z. Kan, N. R. Fischer, and W. E. Dixon, "Estimating tructure of a moving object using a moving camera: An unknown input observer approach," Proceedings of the IEEE Conference on Decision and Control and European Control Conference, Orlando, FL, pp. 5005-5010, Dec. 2011.
P. M. Patre, W. MacKunis, C. Makkar, and W. E. Dixon, "Asymptotic tracking for uncertain dynamic system via a multilayer NN feedforward and RISE feedback control structure," IEEE Transactions on Automatic Control, vol. 53 no. 9, pp. 2180-2185, Oct. 2008.

상세보기
Y. Ma, S. Soatto, J. Kosecka, and S. Sastry, An Invitation to 3-D Vision, Springer, 2004.
B. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," Proceedings of the 7th International Joint Conference of Artificial Intelligence, San Francisco, CA, USA, pp. 674-679, 1981.
G. Hu, D. Aiken, S. Gupta, and W. E. Dixon, "Lyapunov-Based range identification for paracatadioptric system," IEEE Transactions on Automatic Control, vol. 53, no. 7, pp. 1775-1781, Aug. 2008.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증