[논문]다중 동적객체의 실시간 독립추적을 통한 프로젝션 증강가시화

이준형; 김기홍

doi:10.14400/jdc.2014.12.11.357

[국내논문] 다중 동적객체의 실시간 독립추적을 통한 프로젝션 증강가시화
Real-Time Individual Tracking of Multiple Moving Objects for Projection based Augmented Visualization 원문보기

디지털융복합연구 = Journal of digital convergence, v.12 no.11, 2014년, pp.357 - 364

이준형 (과학기술연합대학원대학교(UST) 컴퓨터 소프트웨어학과) , 김기홍 (한국전자통신연구원(ETRI) 가상현실연구실)

초록
AI-Helper

기존 증강현실 콘텐츠 경우 고정된 마커를 빠르게 이동시키면 가시화에 끊김 현상이 발생하게 된다. 따라서 동적 마커를 사용할 경우에도 콘텐츠가 끊어짐 없이 사용자에게 제공되는 방법이 요구된다. 카메라에 입력된 한 장의 이미지 내에 두 개 이상의 마커가 존재할 경우 기존의 이미지 기반 마커와 SLAM(Simultaneous Localization & Mapping) 방식을 통해서는 각각의 마커를 동시에 추적할 수 없다. 본 논문은 각 마커 위에 정합된 객체들 간의 상호작용은 불가능하다는 점을 극복함은 물론, 빠르게 움직이는 마커를 실시간으로 추적하여 그 위에 원하는 객체를 정확하게 증강 가시화하는 방법론을 제안한다. 이를 위해, 주행형 로봇과 시범 콘텐츠의 가상로봇을 동기화하여, 주행형 로봇 상에 콘텐츠가 가시화되도록 하였다. 그리고 카메라 한 대로 다중 동적객체를 추적하여 서로 상호작용하는 기술을 제안하였다. 결과적으로 가상로봇과 실제로봇을 연동하여 상호작용하도록 함으로써 실시간 동적객체 추적 및 가시화 기술의 유용성을 검증하였다.

Abstract ▼ AI-Helper

AR contents, if markers to be tracked move fast, show flickering while updating images captured from cameras. Conventional methods employing image based markers and SLAM algorithms for tracking objects have the problem that they do not allow more than 2 objects to be tracked simultaneously and interacted with each other in the same camera scene. In this paper, an improved SLAM type algorithm for tracking dynamic objects is proposed and investigated to solve the problem described above. To this end, method using 2 virtual cameras for one physical camera is adopted, which makes the tracked 2 objects interacted with each other. This becomes possible because 2 objects are perceived separately by single physical camera. Mobile robots used as dynamic objects are synchronized with virtual robots in the well-designed contents, proving usefulness of applying the result of individual tracking for multiple moving objects to augmented visualization of objects.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이와 같은 증강현실 가시화 문제점을 해결하기 위해 다 방면으로 연구가 진행되고 여러 해결 방안이 제시되었다. 본 논문에서는 특히 동적 마커 상에 콘텐츠를 가시화하는 기존 기술을 소개하고 해당 종래 기술의 제한점에 대한 해결점을 제시한다.
본 논문은 서로 다른 두 개 이상의 동적 마커가 상호작용할 수 있는 방법을 제안한다. 주행형 로봇을 동적 마커로 사용하였고, 개발된 시범 콘텐츠 의 가상로봇과 해당 주행형 로봇을 연동시켰다.
본 장에서는 한 장면 내에 서로 다른 두 개 이상의 동적객체가 상호작용할 수 있는 방법을 제시한다. 주행형 로봇을 동적객체로 사용하였고, 가시화 콘텐츠 속 가상 로봇과 해당 주행형 로봇을 연동시켜 동적객체 상에 가상 콘텐츠가 정합되도록 하였다.
본 논문은 동적객체 상에도 가상 콘텐츠가 잘 정합되는 기술을 제안하였다. 해당 실험에서 주행형 로봇을 동적 마커로 사용하였고, 가시화 콘텐츠 속 가상로봇과 해당 주행형 로봇을 연동시켜 로봇이 움직이는 중에도 가상 콘텐츠가 해당 로봇에 잘 정합되도록 하였다.

제안 방법

본 논문은 서로 다른 두 개 이상의 동적 마커가 상호작용할 수 있는 방법을 제안한다. 주행형 로봇을 동적 마커로 사용하였고, 개발된 시범 콘텐츠 의 가상로봇과 해당 주행형 로봇을 연동시켰다. 그 결과, 실제로봇과 가상로봇이 동기화되고 실제로봇 상에 가상콘텐츠가 증강가시화 될 수 있었다.
Davidson[1]의 논문은 기본적으로 EKF-SLAM방식을 사용하였다. SLAM의 실시간 효율성 달성하기 위해 해당 논문은 특징 점 매핑과 측정에 대한 접근법, 비디오 스트림에 최적화되어 동적 사전정보를 캡처하는 3차원 카메라의 동작모델, 그리고 특징 점 초기화문제에 대한 탑다운 해결법을 제시하였다.
기존 Fast-SLAM의 particle filter를 통한 관측은 부분적으로 구분 표간 결합에 어려움이 발생되고 새로운 구분 표가 간단히 통합되지 않아 선형화 오류를 발생시키기 때문이다. 해당 논문의 particle filter 모델은 SLAM에서 효과적인 동작을 위해 탑다운 관측방식을 사용하였고 카메라 위치 제한에 도움을 주기위해 부분적으로 초기화된 구분 표를 사용하는 방법을 제안하였다.
본 장에서는 한 장면 내에 서로 다른 두 개 이상의 동적객체가 상호작용할 수 있는 방법을 제시한다. 주행형 로봇을 동적객체로 사용하였고, 가시화 콘텐츠 속 가상 로봇과 해당 주행형 로봇을 연동시켜 동적객체 상에 가상 콘텐츠가 정합되도록 하였다. 카메라 한 대당 하나의 객체만을 추적 할 수 있었던 종래 방법과 달리 카메라 한 대로 두 개 이상의 동적객체를 추적하고 동적객체 간 상호작용을 가능하게 한다.
하지만 기존 증강현실 솔루션에서 제공하는 SLAM 기반 추적은 2개 이상의 객체를 개별 추적하여 서로 상호작용하도록 하는 것이 불가능 하였다. 따라서 본 논문에서는 [Fig. 2]와 같이 2개 이상의 객체가 개별 추적 및 서로 상호 작용될 수 있도록 다중 장면(Scene Objects)설정을 마련하였다.
본 논문에서 제안한 방식에서는 추적되는 동적객체를 위해 주행형 로봇들을 활용하였다. 해당 주행형 로봇들은 서론에 기재된 것과 같이 개발된 시범 콘텐츠의 가상로봇들과 서로 동기화되어있다.
그 이유는 가상로봇들과 달리 주행형 로봇들의 경우 인공지능을 별도로 입력하지 않는 한 상호작용 요소가 없기 때문이다. 따라서 가상로봇들의 AI와 상호작용요소를 기반으로 주행형 로봇들 간의 상호작용을 구현하였다. 예를 들면, 실제 A로봇을 제어할 때 그 위치 정보를 가상 A로봇의 위치 정보 변수에 대입하여 연산하고 반대로 실제 B로봇이 실제 A로봇의 움직임에 반응할 수 있도록 가상 B로봇의 위치정보를 실제 B로봇에 대입하여 연산하는 것이다.
하지만 앞서 언급한 것처럼 종래의 SLAM방식으로는 한 카메라 당 2개 이상의 동적객체를 개별 추적하고 상호작용하도록 하는 것이 불가하다. 그러한 이유 때문에 [Fig. 3]과 같이 구동되는 어플리케이션 상에 가상 카메라 2대를 마련하여 2개 이상의 동적객체를 각각 추적할 수 있도록 하였다.
언급한 실험을 통해서 가상 환경을 기반으로 실제 객체가 가상 객체와 상호작용할 수 있음을 확인하였다. 본 논문에서 제시하는 다중 동적 객체 추적 및 증강 가시화 기술은 정적인 객체에서 벗어나 동적객체를 사용하여도 사용자에게 제공하고자 하는 콘텐츠 대상으로 정확한 증강가시화가 되도록 한다. 3장에서 언급한 바와 같이 실제로봇과 가상로봇은 움직임 시 이동 위치에 대한 오차가 존재한다.
3장에서 언급한 바와 같이 실제로봇과 가상로봇은 움직임 시 이동 위치에 대한 오차가 존재한다. 실제로봇과 가상로봇이 움직일 때마다 발생하는 위치 오차를 해결하기 위해 각 로봇에 해당하는 이동 값의 평균과 그 편차를 구하였다. 결과적으로 편차가 적은 이동 값을 실제로봇에 대입 연산함으로써 오차를 감소시켰다.
본 논문은 동적객체 상에도 가상 콘텐츠가 잘 정합되는 기술을 제안하였다. 해당 실험에서 주행형 로봇을 동적 마커로 사용하였고, 가시화 콘텐츠 속 가상로봇과 해당 주행형 로봇을 연동시켜 로봇이 움직이는 중에도 가상 콘텐츠가 해당 로봇에 잘 정합되도록 하였다. 또한, 동적객체를 추적하기 위해 이미지 기반 마커를 이용하였고 Perspective-view에서 추적하기 어려운 이미지 마커의 단점을 보안하기 위해 SLAM을 활용하였다.
해당 실험에서 주행형 로봇을 동적 마커로 사용하였고, 가시화 콘텐츠 속 가상로봇과 해당 주행형 로봇을 연동시켜 로봇이 움직이는 중에도 가상 콘텐츠가 해당 로봇에 잘 정합되도록 하였다. 또한, 동적객체를 추적하기 위해 이미지 기반 마커를 이용하였고 Perspective-view에서 추적하기 어려운 이미지 마커의 단점을 보안하기 위해 SLAM을 활용하였다. 그러나 종래방법에서는 생성된 장면에서는 해당 마커들이 별개 객체가 아닌 하나의 객체로 인식된다는 것을 알게 되었다.
그러나 종래방법에서는 생성된 장면에서는 해당 마커들이 별개 객체가 아닌 하나의 객체로 인식된다는 것을 알게 되었다. 그래서 한 장면 안에서 서로 다른 두 개 이상의 마커가 상호작용할 수 있는 방법을 실험하였다. 해당 실험은 카메라 한 대당 하나의 동적객체만을 추적 할 수 있었던 종래 방법과 달리 카메라 한 대로 두 개 이상의 동적객체를 추적하고 동적객체 간 상호작용을 가능하게 하였다.

대상 데이터

제시된 기술에 해당하는 시스템은 [Fig. 1]의 AR Visualization처럼 모바일 기기를 통한 증강가시화(Mobile AR)와 빔 프로젝터를 통한 증강가시화 모듈(Projection AR)로 나뉘어 구동된다.
3장에서 설명했던 것처럼 실험은 Mobile AR 모듈과 Projection AR 모듈로 나뉘어 진행되었다. Mobile AR인 경우, [Fig.
6] 은 실제 로봇이 존재하는 축구 경기장 모양의 보드와 노트북 상의 콘텐츠를 보여주고 있다. 콘텐츠 내에서 가상로봇은 외부 세계의 실제 로봇에 연동이 되어 있는 상태이다. 노트북 상에서 사용자용 가상로봇을 제어하면 그에 따라 실물로봇 Robot A가 움직이게 된다.

이론/모형

EKF-SLAM과 FastSLAM에 해당하는 연구 중 가장 설득력 있는 결과물은 Davidson[1, 2]과 Eade&Drummond[3, 4]의 논문이다. Davidson[1]의 논문은 기본적으로 EKF-SLAM방식을 사용하였다. SLAM의 실시간 효율성 달성하기 위해 해당 논문은 특징 점 매핑과 측정에 대한 접근법, 비디오 스트림에 최적화되어 동적 사전정보를 캡처하는 3차원 카메라의 동작모델, 그리고 특징 점 초기화문제에 대한 탑다운 해결법을 제시하였다.
EKF-SLAM은 특징 점(Features)으로 로봇위치와 로봇이 생성한 맵의 구분 표(Landmarks)를 평균값과 공분산 행렬로 나타내고 관측이 일어날 때 마다 구분 표를 업데이트하는 방식을 사용한다. FastSLAM은 Particle Filtering 알고리즘을 사용한다. Particle Filtering과정 중에는 맵과 위치정보를 갖고 있는 Particle들이 관측에 따라 현재 프레임에서 표본추출(Sampling)된다.
그리고 추출된 표본결과에 따른 공산정도(Likelihood) 검사 후, 가장 가중치가 높은 Particle이 다음 프레임에서도 사용된다. 두 시스템 모두 증분 매핑 방법을 사용하였다. 증분 매핑이란, 트래킹과 매핑이 직접적으로 연결되어서 최근 카메라의 위치와 모든 구분 표의 위치가 매 비디오 프레임마다 함께 업데이트 되는 방식을 말한다.

성능/효과

주행형 로봇을 동적 마커로 사용하였고, 개발된 시범 콘텐츠 의 가상로봇과 해당 주행형 로봇을 연동시켰다. 그 결과, 실제로봇과 가상로봇이 동기화되고 실제로봇 상에 가상콘텐츠가 증강가시화 될 수 있었다. 또한, 로봇 간 상호작용을 위해 가상 카메라와 객체 추적영역분할을 사용하여(3.
그 결과, 실제로봇과 가상로봇이 동기화되고 실제로봇 상에 가상콘텐츠가 증강가시화 될 수 있었다. 또한, 로봇 간 상호작용을 위해 가상 카메라와 객체 추적영역분할을 사용하여(3.2의 [Fig. 4]) 기존에 카메라 한 대당 2개 이상의 동적객체 추적 및 상호작용이 불가능했던 점을 개선하였다. 해당 기술은 물리적인 하드웨어 개발에 편중되어 콘텐츠 재사용성이 떨어졌던 아케이드 게임 플랫폼에 증강 가시화 기술을 도입하고 적용하도록 할 수 있다.
2절에서 자세히 다룬다. 결과적으로, 해당 수식을 통한 로봇 위치정보에 따라 Virtual Environment가 프로젝션 되어 다중 동적객체 실시간 추적 및 프로젝션 증강가시화 기술을 보여준다.
단, 장면방향(Scene Orientation) 조정 기능이 기존 증강현실 솔루션에서는 잘 제공되지 않았다. 본 논문에서 개발된 결과에는 SLAM 기반 추적을 사용할 때도 추적의 정밀도를 높이는 장면방향 조정 기능이 추가되었고 SLAM으로 추적된 객체의 상호작용을 위해 가상 지오메트리를 추가하여 사용할 수 있도록 하였다. 하지만 기존 증강현실 솔루션에서 제공하는 SLAM 기반 추적은 2개 이상의 객체를 개별 추적하여 서로 상호작용하도록 하는 것이 불가능 하였다.
7]과 같이 비 평면 구조물에 프로젝트 되어 가시화 된다. 언급한 실험을 통해서 가상 환경을 기반으로 실제 객체가 가상 객체와 상호작용할 수 있음을 확인하였다. 본 논문에서 제시하는 다중 동적 객체 추적 및 증강 가시화 기술은 정적인 객체에서 벗어나 동적객체를 사용하여도 사용자에게 제공하고자 하는 콘텐츠 대상으로 정확한 증강가시화가 되도록 한다.
실제로봇과 가상로봇이 움직일 때마다 발생하는 위치 오차를 해결하기 위해 각 로봇에 해당하는 이동 값의 평균과 그 편차를 구하였다. 결과적으로 편차가 적은 이동 값을 실제로봇에 대입 연산함으로써 오차를 감소시켰다. [Fig.
그래서 한 장면 안에서 서로 다른 두 개 이상의 마커가 상호작용할 수 있는 방법을 실험하였다. 해당 실험은 카메라 한 대당 하나의 동적객체만을 추적 할 수 있었던 종래 방법과 달리 카메라 한 대로 두 개 이상의 동적객체를 추적하고 동적객체 간 상호작용을 가능하게 하였다. 향후 실제 객체의 위치정보를 기반으로 가상 콘텐츠를 정합할 때 본 연구의 결과가 활용되길 기대한다.

후속연구

해당 실험은 카메라 한 대당 하나의 동적객체만을 추적 할 수 있었던 종래 방법과 달리 카메라 한 대로 두 개 이상의 동적객체를 추적하고 동적객체 간 상호작용을 가능하게 하였다. 향후 실제 객체의 위치정보를 기반으로 가상 콘텐츠를 정합할 때 본 연구의 결과가 활용되길 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	SLAM이란?	SLAM은 주행형 로봇을 사용하여 사전정보가 없는 공간의 구조를 이미지화하거나 사전정보가 이미 있는 공간구조의 이미지를 업데이트하여 로봇 자신의 위치를 파악하도록 하는 알고리즘이다. SLAM은 EKF-SLAM 과 FastSLAM방식으로 나뉠 수 있다.
	SLAM은 추적 방법론에 따라 어떻게 나뉠 수 있는가?	SLAM과 PTAM은 움직이는 객체의 위치를 알아내는 동시에 해당 객체의 위치정보를 기반으로 맵을 만드는 알고리즘이다. SLAM은 추적 방법론에 따라 크게 EKF(Extended Kalman Filter)-SLAM[10] 방식과 FastSLAM방식으로 나뉠 수 있다. EKF-SLAM과 FastSLAM에 해당하는 연구 중 가장 설득력 있는 결과 물은 Davidson[1, 2]과 Eade&Drummond[3, 4]의 논문이다.
	Eade와 Drummond이 FastSLAM2.0을 사용한 이유는 기존 Fast-SLAM의 어떠한 문제 때문인가?	0[9]을 사용하였다. 기존 Fast-SLAM의 particle filter를 통한 관측은 부분적으로 구분 표간 결합에 어려움이 발생되고 새로운 구분 표가 간단히 통합되지 않아 선형화 오류를 발생시키기 때문이다. 해당 논문의 particle filter 모델은 SLAM 에서 효과적인 동작을 위해 탑다운 관측방식을 사용하였고 카메라 위치 제한에 도움을 주기위해 부분적으로 초기화된 구분 표를 사용하는 방법을 제안하였다.

참고문헌 (10)

Andrew. J. Davidson, MonoSLAM Real-Time Single Camera SLAM, PAMI, 2007.
Andrew. J. Davidson, Real-Time Simultaneous Localisation and Mapping with a Single Camera, ICCV, 2003.
E. Eade & T. Drummond, Monocular SLAM as a Graph of Coalesced Observations, ICCV, 2007
E. Eade & T. Drummond, Scalable Monocular Slam, CVPR, 2006
Georg Klein, Parallel Tracking and Mapping for Small AR Workspaces, ISMAR, 2007.
Georg Klein, Parallel Tracking and Mapping on a Camera Phone, ISMAR, 2009.
D.J. Johnston, Real-time positioning for augmented reality on a custom parallel machine, IVC, 2005.
Alberto Malti'n, 3D real-time positioning for autonomous navigation using a nine-point landmark, PR, 2012
M. Montemerlo, FastSLAM2.0: An improved particle filtering algorithm for simultaneous localization and mapping that provably converges., IJCAI, 2003.
Randall C. Smith, On the Representation and Estimation of Spatial Uncertainty, IJRR, 1986.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 다중 동적객체의 실시간 독립추적을 통한 프로젝션 증강가시화
Real-Time Individual Tracking of Multiple Moving Objects for Projection based Augmented Visualization 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 다중 동적객체의 실시간 독립추적을 통한 프로젝션 증강가시화 Real-Time Individual Tracking of Multiple Moving Objects for Projection based Augmented Visualization 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

김기홍 (5)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 다중 동적객체의 실시간 독립추적을 통한 프로젝션 증강가시화
Real-Time Individual Tracking of Multiple Moving Objects for Projection based Augmented Visualization 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper