[논문]사각형 특징 기반 Visual SLAM을 위한 자세 추정 방법

이재민; 김곤우

doi:10.7746/jkros.2016.11.1.033

[국내논문] 사각형 특징 기반 Visual SLAM을 위한 자세 추정 방법
A Camera Pose Estimation Method for Rectangle Feature based Visual SLAM 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.11 no.1, 2016년, pp.33 - 40

이재민 (Control and Robot Engineering, Chungbuk National University) , 김곤우 (School of Electronics Engineering, Chungbuk National University)

Abstract ▼ AI-Helper

In this paper, we propose a method for estimating the pose of the camera using a rectangle feature utilized for the visual SLAM. A warped rectangle feature as a quadrilateral in the image by the perspective transformation is reconstructed by the Coupled Line Camera algorithm. In order to fully reconstruct a rectangle in the real world coordinate, the distance between the features and the camera is needed. The distance in the real world coordinate can be measured by using a stereo camera. Using properties of the line camera, the physical size of the rectangle feature can be induced from the distance. The correspondence between the quadrilateral in the image and the rectangle in the real world coordinate can restore the relative pose between the camera and the feature through obtaining the homography. In order to evaluate the performance, we analyzed the result of proposed method with its reference pose in Gazebo robot simulator.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 카메라의 자세를 추정하기 위해 영상에서 추출 가능한 기하학적 특징인 사각형 특징을 이용하는 방법을 제안한다. 위에서 소개한 복수의 점 특징의 대응 관계를 이용하여 다수의 영상에서의 재 투사 오차를 최소화하는 카메라의 자세를 찾아내는 방법과는 다르게 제안하는 방법에서는 단수의 영상에서 추출한 3차원 평면 위 직사각형 특징을 통해 대응하는 카메라의 자세를 찾아낼 수 있다.
이 논문에서는 Visual SLAM을 위해 영상에서 사각형을 추출하여 카메라와 특징 간의 자세를 간단하고 정확하게 추정하는 방법을 소개한다. 이 방법은 저 수준의 특징인 코너, 국소 패치만을 이용한 카메라의 자세 추정 방법과 다르게 한 개의 특징 추출만으로 대응하는 카메라의 자세를 복원할 수 있다.
주목할 것은 영상 내부의 사변형과 실제 직사각형 모두 평면 위에 존재하는 점으로 구성된 도형이라는 점이다. 이에 4개의 대응되는 점들의 쌍으로 두 평면 사이의 관계를 표현하는 호모그래피를 추출하여 카메라의 자세를 추출하고자 한다.

제안 방법

1 rad씩 6 rad까지 회전하는 실험을 구성하였다. 두 번째 실험은 두 물체 사이의 거리를 0.5 m부터 5.5 m까지 0.1 m씩 증가하며 자세추정 결과를 확인한다.
영상의 크기는 640×480 픽셀이고 카메라의 Field of View는 100도로 설정하였다. 또한 카메라는 렌즈왜곡, 화상 잡음을 포함하지 않도록 하였다.
본 논문에서는 사각형 특징을 이용하는 Visual SLAM을 위해 perspective 변환에 의해 왜곡된 직사각형을 복원하는 알고리즘과 호모그래피를 이용한 자세 추정 방법을 응용하여 메트릭 공간에서의 특징과 카메라 간의 상대 자세 추정 방법을 제안하고 시뮬레이션을 이용한 실험에서 카메라의 회전과 천이에 대한 자세 추정의 정확성을 정량적으로 분석하였다.
사각형의 추출 알고리즘에 대한 의존성을 분리하기 위해 사각형은 핀홀 카메라 모델과 시뮬레이터에서 제공하는 직사각형 중심의 ground truth위치를 이용하여 카메라에 투영되는 사변형을 추출하였다.
위에서 구한 직사각형 특징과 대응하는 입력 영상 내부의 사변형을 이용하여 카메라의 자세를 추정하고자 한다. 주목할 것은 영상 내부의 사변형과 실제 직사각형 모두 평면 위에 존재하는 점으로 구성된 도형이라는 점이다.
위와 같은 오차 요인을 분리하여 자세 추정 알고리즘만의 성능을 분석하기 위해 시뮬레이션 환경을 구성하였다. 시뮬레이션은 로봇용 공개 시뮬레이터인 Gazebo를 이용하였다.
위의 연구에서는 영상에서 점 또는 15×15픽셀 정도의 국소 패치 특징을 찾아 연속된 영상에서 특징간의 상관관계를 찾아 카메라의 자세추정을 수행한다.
이 때 선분카메라쌍은 원본 사각형의 형태만을 복원할 뿐, 정확한 크기를 알 수 없음에 주목한다. 이를 위해 스테레오 카메라를 이용하여 사각 형의 실제 크기를 찾는다. 찾아진 사각형의 꼭지점과 입력된 영상 내부 사변형의 꼭지점 사이의 대응관계를 통해 perspective 변환 관계를 유도한다.
제안하는 자세 추정 방법의 정확도 분석을 위해 두 가지 실험을 구성하였다. 첫 번째 실험은 경위대의 위도와 거리를 각각 0.
제안하는 자세 추정 방법의 정확도 분석을 위해 두 가지 실험을 구성하였다. 첫 번째 실험은 경위대의 위도와 거리를 각각 0.7 rad, 1 m로 고정하고 경도를 0.4 rad부터 0.1 rad씩 6 rad까지 회전하는 실험을 구성하였다. 두 번째 실험은 두 물체 사이의 거리를 0.

이론/모형

3차원의 카메라 자세를 완전하게 추출하기 위해서 여기서는 베이스라인의 길이가 알려진 스테레오 카메라의 삼각측량법으로 특징의 크기를 추정하는 방법을 사용한다. 베이스라인 b의 길이와 초점거리 f가 알려진 스테레오 카메라쌍에서 두 개의 카메라에서 실제 공간 상의 점 P=[X Y Z]^T에 대한 대응점을 x₁, x₂라고 할 때 관계식을 식 (1)과 같이 표현할 수 있다.
실제 3차원 공간의 직사각형에 대응되는 영상 내부의 사변형을 추출하였다고 가정할 때 이를 이용한 카메라의 자세 추정은 몇 단계를 거쳐 수행된다. 먼저 추출된 사변형의 기하적 성질을 이용하여 원본 직사각형의 형태로 복원할 수 있는 선분카메라쌍 알고리즘을 이용하여 사각형을 복원한다^[15]. 이 때 선분카메라쌍은 원본 사각형의 형태만을 복원할 뿐, 정확한 크기를 알 수 없음에 주목한다.
위와 같은 오차 요인을 분리하여 자세 추정 알고리즘만의 성능을 분석하기 위해 시뮬레이션 환경을 구성하였다. 시뮬레이션은 로봇용 공개 시뮬레이터인 Gazebo를 이용하였다.

성능/효과

이 방법에서는 복원된 직사각형을 입력으로 카메라의 자세를 추정하게 되므로 입력 사변형에 대한 직사각형 복원의 정확도에 따라 자세 추정의 성능이 차이를 보이게 된다. 그러나 실험에서 볼 수 있듯이 제안하는 방법을 이용한 카메라의 상대 자세 추정에 대한 오차는 기준 자세와 비교하여도 미미한 수준으로 실험 환경과 같이 정확한 사변형의 꼭지점이 주어졌을 경우에는 여타 시각 특징 기반 자세 추정 알고리즘에 비해 구조가 간단하면서도 높은 성능을 낼 수 있음을 보였다. 향후 연구에서는 강인하고 정확한 사각형 추출 알고리즘과 통합하여 추출된 영상 내의 특징과 추정한 자세 사이의 오차를 모델링하여 효율적인 Visual SLAM을 개발할 것이다.
또한 카메라를 이용한 자추정 결과는 카메라의 제조 공정상 발생하는 센서의 정렬문제, 센서 픽셀의 크기 편차, 렌즈에 의한 왜곡 정도에 영향을 받는다. 그리고 제안하는 방법의 경우, 사각형 특징 추출 방법의 성능에 따라 자세 추정 결과에 상당한 영향을 줄 수 있다.
실험에서 회전운동에 대해서는 최대 0.05 m의 오차를 보이고 있으며 카메라와 특징 사이의 거리에 대해서는 최고 5 m 차이를 가지고 있음에도 불구하고 자세 추정 오차는 최대 0.01 m 이하로 우수한 성능을 보이고 있음을 알 수 있다.
본 연구에서는 카메라의 자세를 추정하기 위해 영상에서 추출 가능한 기하학적 특징인 사각형 특징을 이용하는 방법을 제안한다. 위에서 소개한 복수의 점 특징의 대응 관계를 이용하여 다수의 영상에서의 재 투사 오차를 최소화하는 카메라의 자세를 찾아내는 방법과는 다르게 제안하는 방법에서는 단수의 영상에서 추출한 3차원 평면 위 직사각형 특징을 통해 대응하는 카메라의 자세를 찾아낼 수 있다.

후속연구

특징을 이용한 자세추정의 경우에서는^[14] 점, 선분, 평면 등의 다양한 기하학적 특징을 융합하여 지도 작성 정확도를 향상한 연구도 있다. 그러나 여전히 점 기반의 특징을 이용한 접근을 바탕으로 하고 다른 기하적 특징은 정확도 향상을 위해 부분적으로만 응용되어 이 논문에서 제안하는 방법과는 거리가 있다.
두 개의 서로 다른 종횡비 값은 서로 π/2에 대해 대칭관계에 있음을 알 수 있고 이는 직사각형이 π/2 전후로 회전하면서 종횡비가 예각과 둔각으로 각각 표현되는 것에 기인한다고 파악할 수 있다. 이는 자세 추정에서는 0.05 m 이하의 미약한 오차만을 보여주고 있어 용인할 수 있으나, 향후 종횡비를 직사각형 특징의 단일 기술자로써 사용하고자 할 때 회전한 동일 특징에 대해 구분이 불가능한 문제가 발생 할 수 있다고 판단된다.
그러나 실험에서 볼 수 있듯이 제안하는 방법을 이용한 카메라의 상대 자세 추정에 대한 오차는 기준 자세와 비교하여도 미미한 수준으로 실험 환경과 같이 정확한 사변형의 꼭지점이 주어졌을 경우에는 여타 시각 특징 기반 자세 추정 알고리즘에 비해 구조가 간단하면서도 높은 성능을 낼 수 있음을 보였다. 향후 연구에서는 강인하고 정확한 사각형 추출 알고리즘과 통합하여 추출된 영상 내의 특징과 추정한 자세 사이의 오차를 모델링하여 효율적인 Visual SLAM을 개발할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	SLAM의 연구에 사용되는 센서는?	일반적인 SLAM의 연구에서는 초음파, 레이저 거리 센서 등 다양한 종류의 센서가 사용되어 오고 있다. 이들 중에서 카메라는 많은 정보를 제공하는 대신 처리하는 방법에 따라 많은 차이를 보여 따로 Visual SLAM으로 지칭한다.
	Visual SLAM에는 어떤 접근방식이 있는가?	이들 중에서 카메라는 많은 정보를 제공하는 대신 처리하는 방법에 따라 많은 차이를 보여 따로 Visual SLAM으로 지칭한다. Visual SLAM은 필터링 방법을 이용한 접근과 최적화를 이용한 접근이 있다. 전자는 주로 로봇 분야 에서 연구되어 온 방법이고 후자는 컴퓨터 비전의 bundle adjustment를 이용한 structure from motion연구에서 파생된 것으로 두 방법에 대한 이론적, 실험적 분석이 [4] 에 발표되어 있다.
	필터링 방법을 이용한 접근과 최적화를 이용한 접근은 어떤 방법인가?	Visual SLAM은 필터링 방법을 이용한 접근과 최적화를 이용한 접근이 있다. 전자는 주로 로봇 분야 에서 연구되어 온 방법이고 후자는 컴퓨터 비전의 bundle adjustment를 이용한 structure from motion연구에서 파생된 것으로 두 방법에 대한 이론적, 실험적 분석이 [4] 에 발표되어 있다. 또 사용하는 카메라의 구성에 따라 단안카메라를 사용한 방법[5,6,7], 양안 카메라를 사용한 방법[8], 전방위 카메라를 사용한 방법[9], RGB-D카메라를 사용한 방법[10] 등이 있다.

참고문헌 (17)

G.N. DeSouza and A.C. Kak, "Vision for mobile robot navigation: A survey," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no.2, pp.237-267, 2002.

상세보기
H. Heo and J.B. Song, "Global localization based on ceiling image map," J. of Korea Robotics Society, vol. 9, no. 3, pp.170-177, 2014.

원문보기 상세보기
H. Lategahn, A. Geiger, and B. Kitt, "Visual SLAM for autonomous ground vehicles," IEEE Int'l Conf. on Robotics and Automation, pp.1732-1737, 2011
H. Strasdat, J. Montiel, and A. J. Davison, "Real-time monocular SLAM: Why filter?," IEEE Int'l Conf. on Robotics and Automation, pp. 2657-2664, 2010
A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, "MonoSLAM: Real-time single camera SLAM," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 29, no.6, pp.1052-1067, June, 2007.

상세보기
G. Klein and D. Murray, "Parallel tracking and mapping for small AR workspaces," 6th IEEE and ACM Int'l Symposium on Mixed and Augmented Reality, 2007.
S.H. Hong and J.W. Kim, "Visual SLAM using local bundle optimization in unstructured seafloor environment," J. of Korea Robotics Society, vol. 9, no. 4, pp.197-205, 2014.

원문보기 상세보기
S. Takezawa, D.C. Herath, and G. Dissanayake, "SLAM in indoor environments with stereo vision," IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems, pp.1866- 1871, 2004.
J.P. Tardif, Y. Pavlidis, and K. Daniilidis, "Monocular visual odometry in urban environments using an omnidirectional camera," IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems, pp. 22-26, 2008.
C. Kerl, J. Sturm, and D. Cremers, "Dense visual SLAM for RGB-D camera," IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems, pp. 2100-2106, 2013.
D. Nister, "Preemptive RANSAC for live structure and motion estimation," Machine Vision and Applications, vol.16 no.5, pp. 321-329, 2005.

상세보기
G. Silveira, E. Malis, and P. Rives, "An Efficient Direct Approach to Visual SLAM," IEEE Trans. Robotics, vol. 24 no. 5, pp.969-979, 2008.

상세보기
J. Engel, T. Sch, and D. Cremers, "LSD-SLAM: Large-Scale Direct Monocular SLAM," European Conf. on Computer Vision, pp. 1-16, 2014.
Y. Lu, D. Song, and J. Yi, "High Level Landmark-Based Visual Navigation Using Unsupervised Geometric Constraints in Local Bundle Adjustment," IEEE Int'l Conf. on Robotics and Automation, pp.1540-1545, 2014.
J. Lee, "Camera calibration from a single image based on coupled line cameras and rectangle constraint," 21 st Int'l Conf. on Pattern Recognition, pp.758-762, 2012.
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2003.
J. Lee, "New Geometric Interpretation and Analytic Solution for Quadrilateral Reconstruction," 22nd Int'l Conf. on Pattern Recognition, pp. 4015-4020, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증