[논문]자기장 센서를 사용한 AR 게임에서의 평면 추적 정확도 개선

이원준; 박종승

doi:10.7583/jkgs.2019.19.5.91

자기장 센서를 사용한 AR 게임에서의 평면 추적 정확도 개선
Improvement of Plane Tracking Accuracy in AR Game Using Magnetic Field Sensor 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.19 no.5, 2019년, pp.91 - 102

초록
AI-Helper

본 논문에서는 ARCore를 사용한 비전 기반 스마트폰용 AR 게임 개발을 하는데 있어 평면 추적의 정확도 개선 방법을 제안한다. ARCore에서는 SLAM과 스마트폰의 IMU를 혼합하여 사용하는 VIO 방식이다. IMU를 사용하는데 있어 가속도계와 자이로스코프의 단점으로 인해 한번 인식된 평면을 계속하여 추적하는데 있어 오차가 발생한다. 이를 위해 기존 센서뿐만 아니라 자기장계 센서를 추가하여 자세 측정의 오차를 최소화하고 이를 평면 추적에도 활용될 수 있도록 하는 방법을 제안한다. 제안 방법을 통해 평면 추적에 있어서 ARCore의 경우보다 스마트폰 자세 추정의 오차를 줄일 수 있는 것을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose an improved method of plane tracking in developing AR games for smartphones using magnetic field sensor. The previous method based on ARCore is a VIO method using a mixture of SLAM and IMU of smartphones. The disadvantages of accelerometers and gyroscopes in IMUs cause errors in tracking the plane. We propose an improved method of planar tracking by adding the magnetic field sensor as well as the existing IMU sensors. Experimental results shows that our method reduces the error of the smartphone posture estimation.

주제어

표/그림 (17)

그림 [Fig. 1] Distortion of plane recognition.
그림 [Fig. 2] The flowchart to create ARCore session.
그림 [Fig. 3] Coordinate axes of smartphone pose.
그림 [Fig. 4] Overall system diagram.
그림 [Fig. 5] Beer pong game.
그림 [Fig. 6] Spherical coordinate system
그림 [Fig. 7] Proposed algorithm of pose compensation
그림 [Fig. 8] Plane recognition in video frames from a live camera feed.
그림 [Fig. 9] Ground truth of roll and pitch angles
그림 [Fig. 10] Measurements of three sensors
그림 [Fig. 11] Comparison of pitch measurement
그림 [Fig. 12] Error rate of the estimated pitch value
그림 [Fig. 13] Comparison of roll measurement
그림 [Fig. 14] Error rate of the estimated roll value
그림 [Fig. 15] Screen shots of object placement
그림 [Fig. 16] Screen shots of AR game play with plane tracking for moving camera
표 [Table 1] Comparison of accuracy

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 IMU와 SLAM을 사용한 스마트폰의 자세 추정을 개선한 방법을 제안하였다. 기존에 사용하는 센서에 추가로 자기장계를 사용하여스마트폰의 회전각 pitch과 roll을 연산하여 평면 추적에 활용할 수 있는 방법을 제안하였다.
본 연구에서는 ARCore를 사용하여 비전 기반의 스마트폰용 AR 게임 개발 기법을 제시한다. 2장에서는 연구 배경과 ARCore의 소개 그리고 UE4와의 연동을 위한 ARCore Plugin에 대해 설명하고 ARCore를 사용해 개발된 기존의 게임들에 대해 알아본다.

가설 설정

또한 [Fig. 1]과 같이 특징점 탐색에 오류가 생긴다면 추적 중인 평면의 위치 정보가 변형될 수도 있다.
여기서 만약 ARCore가 설치되지 않았다면 ARCore의 설치를 진행한다. ARCore의 실행에 문제가 없다면 ARCore에 사용할 카메라를 설정한다. 다음으로 ARCore의 사용 환경을 설정한다.
스마트폰에서 Yaw값은 화면의 회전이기 때문에 측정에서 제외하였다. 또한 스마트폰을 회전시킬 때 실제 값은 선형적으로 변화한다고 가정하였다.
실험을 위해서 먼저 -90~90도의 범위에서 무작위로 23개의 숫자를 선정하고 이를 안드로이드 스튜디오에서 제공하는 에뮬레이터에 입력하여 스마트폰의 pitch 값을 앞서 선택한 23개의 각도로 회전하도록 했다. 자기장 수치 또한 운동장과 같이 주변에 자기장을 교란하는 요소가 없다고 가정하였다. [Fig.

제안 방법

본 논문에서는 IMU와 SLAM을 사용한 스마트폰의 자세 추정을 개선한 방법을 제안하였다. 기존에 사용하는 센서에 추가로 자기장계를 사용하여스마트폰의 회전각 pitch과 roll을 연산하여 평면 추적에 활용할 수 있는 방법을 제안하였다. 결과적으로 ARCore만을 사용하는 것에 비해 pitch와 roll의 측정에 있어 각각 34.
또한 제안 방법을 적용해 ARCore와 UE4를 사용하여 비마커 기반의 AR 게임을 구현하였다. ARCore에서 추적한 평면의 정보를 통해 UE4에서 가상공간을 생성하고 획득한 평면 정보에 대해 객체를 배치하고 이 배치된 객체들을 Anchor를 이용하여 스마트폰이 움직이거나 회전하더라도 원근감과 입체감을 체감할 수 있도록 하였다.
마지막으로 광원 추적 기능은 AR 객체의 명암 구현을 위해 현재 공간의 조명의 세기를 측정한다. 이를 사용해 AR 객체들의 명암을 조절하여 배치된 AR 객체들이 주변 환경과 이질감을 최소화하여 배치된 AR 객체가 환경에 최대한 녹아들도록 할 수 있다.
본 논문에서 개발할 AR 게임은 책상 혹은 바닥에서 즐길 수 있는 탑 뷰 슈팅 게임이며 캐릭터를 조작하여 적으로 등장하는 몬스터의 공격을 피하고 반격하며 대전하는 게임플레이로 진행된다. 게임플레이 환경은 [Fig.
제안 방법을 통한 자세 측정이 얼마나 향상되었는지 측정하였다. 이전에서 설명한 실험 환경에서 회전을 주었을 때 제안 방법으로 추정한 roll, pitch 값과 ARCore를 통해 얻은 roll, pitch 값을 비교하여 roll, pitch의 정확도를 비교하였다. ARCore에서는 회전각을 쿼터니온으로 반환하는데 이를 오일러 각으로 변환하기 위해 roll 값은 식 (8)을 사용하였고 pitch 값은 식 (9)를 사용하여 계산하였다.
제안 방법은 평면 자세 추적의 오차 문제의 해결을 위해 자기장계를 사용할 것이다. 가속도계와 달리 급격한 변화에도 노이즈가 발생하지 않으며 자이로스코프와 같이 적분을 하지 않아도 회전 값을 구할 수 있기 때문에 적분오차로 인한 드리프트 현상도 적게 발생한다.
기존에 사용되던 VO로는 스마트폰과 같은 단일 카메라 환경에서는 각 방향 (x, y, z)에 대해 움직인 정도나, 특정 사물의 크기를 측정하더라도 수치는 알 수 있지만, 단위는 알 수 없다. 하지만 Nutzi 등[14]이 연구한 바와 같이 기존에 영상정보에만 의존하던 방식에 IMU의 정보를 활용하도록 하여 단위에 대한 정보를 획득하는 방법을 제안하였다. 그 결과로 단일 카메라를 사용하는 경우에도 IMU를 사용한다면 해당 수치가 미터 단위인지 킬로미터인지 알 수 있게 되었다.

대상 데이터

실제로 AR 게임을 구현하고 실제 환경에서도 실험을 수행하였다. 구현을 위해서 사용된 게임 엔진은 UE4 버전 4.21이고, ARCore는 버전 1.5이 사용되었다. 타깃 SDK와 최소 SDK의 버전은 27로 설정하였고 OpenGL은 3.
실험 환경으로 스마트폰 기반의 AR 플랫폼을 사용하였다. 다른 HMD형 AR 플랫폼의 경우 일반 사용자가 부담하기에는 고가이며 대중적인 보급이 이루어지지 않았다.
실험을 위해서 먼저 -90~90도의 범위에서 무작위로 23개의 숫자를 선정하고 이를 안드로이드 스튜디오에서 제공하는 에뮬레이터에 입력하여 스마트폰의 pitch 값을 앞서 선택한 23개의 각도로 회전하도록 했다. 자기장 수치 또한 운동장과 같이 주변에 자기장을 교란하는 요소가 없다고 가정하였다.

데이터처리

위의 과정을 통해서 ARCore를 통해 얻은 회전각과 본 논문에서 제안하는 방법을 통해 얻은 회전각을 비교하였다. 각각 Pitch와 Roll에 대해서만 수행하였다.

이론/모형

ARCore에서는 사용자의 자세를 추정하기 위해 VIO(Visual Inertial Odometry)를 사용한다. 이 방법은 기존에 영상에만 의존하던 VO(Visual Odometry)가 단일카메라 환경에서 가지는 단점을 보안하기 위해 개발되었다.

성능/효과

ARCore만으로도 AR을 구현할 수 있지만 게임 엔진을 같이 사용하여 게임 사운드 삽입, 특수효과, 다양한 게임 로직 등 게임 구현에 필요한 저작 기능을 사용할 수 있다. 이를 위해 ARCore에서 인식한 공간 좌표 정보를 게임엔진에 전달하여 처리한다면 개발자가 3D 객체를 그리기 위한 별도의 작업이 필요하지 않다[11].
또한 제안 방법을 적용해 ARCore와 UE4를 사용하여 비마커 기반의 AR 게임을 구현하였다. ARCore에서 추적한 평면의 정보를 통해 UE4에서 가상공간을 생성하고 획득한 평면 정보에 대해 객체를 배치하고 이 배치된 객체들을 Anchor를 이용하여 스마트폰이 움직이거나 회전하더라도 원근감과 입체감을 체감할 수 있도록 하였다.
Roll의 경우도 Pitch 값과 유사한 오차 수준을 보여준다. ARCore의 오차는 평균 약 15.13도이며 제안방법의 오차는 평균 약 5.892도로 ARCore에 비해 38.9% 정도의 오차를 보인다.
기존에 사용하는 센서에 추가로 자기장계를 사용하여스마트폰의 회전각 pitch과 roll을 연산하여 평면 추적에 활용할 수 있는 방법을 제안하였다. 결과적으로 ARCore만을 사용하는 것에 비해 pitch와 roll의 측정에 있어 각각 34.9%, 38.9%의 성능 향상을 보였다. 이를 통해 사용 환경에 있어 자기장에 영향을 미치는 요소가 없다는 제약이 있지만 정확성을 향상시켜 평면 추적이 끊기거나 추적중인 평면의 위치정보가 초기화되는 문제를 완화시킬 수 있음을 확인하였다.
하지만 Nutzi 등[14]이 연구한 바와 같이 기존에 영상정보에만 의존하던 방식에 IMU의 정보를 활용하도록 하여 단위에 대한 정보를 획득하는 방법을 제안하였다. 그 결과로 단일 카메라를 사용하는 경우에도 IMU를 사용한다면 해당 수치가 미터 단위인지 킬로미터인지 알 수 있게 되었다.
9%의 성능 향상을 보였다. 이를 통해 사용 환경에 있어 자기장에 영향을 미치는 요소가 없다는 제약이 있지만 정확성을 향상시켜 평면 추적이 끊기거나 추적중인 평면의 위치정보가 초기화되는 문제를 완화시킬 수 있음을 확인하였다.
가로축은 시간에 따른 프레임 번호이고 세로축은 회전 각도이다. 제안 방법의 측정값이 ARCore에서의 측정값보다 Ground Truth에 더 근접함을 알수 있다. 오차의 정도가 [Fig.
Beer Pong 게임과 같은 이전 방법에서는 플레이어가 자세를 변경할 때 자세 추적의 오차 때문에 인식한 평면과 배치된 객체들이 초기와 달라지는 문제가 있었다. 하지만 본 논문에서의 제안 방법을 통해 측정의 오차를 최소화 하여 떨림의 정도나 초기와 위치가 달라지는 정도를 줄일 수 있음을 확인했다.
이전에는 AR을 위해 깊이 기반 카메라와 같은 특정 하드웨어를 요구하거나 성능에 대한 요구치가 높아 전용기기를 사용해야만 했다. 하지만 스마트폰의 성능 향상과 소프트웨어의 발전으로 스마트폰으로도 충분히 AR을 경험할 수 있게 되었다. 특히 ARCore는 안드로이드, iOS 두 환경 모두에서 사용 가능하며 앞서 말한 AR 구현에 있어 필요한 세 가지 기능을 모두 제공하고 있다.

후속연구

하지만 자기장이 안정되어야 한다는 조건 때문에 사용 환경에 있어 장소의 제약이 있다는 문제점과 여전히 6도 정도의 오차가 존재한다. 향후 연구로 자이로스코프의 적분 드리프트 현상 완화와 가속도계의 동작 발생 시 노이즈를 최소화하는 방법에 대한 추가 연구가 필요하다.

참고문헌 (17)

M. Billinghurst, A. Clark, and G. Lee. "A survey of augmented reality." Foundations and Trends in Human-Computer Interaction, vol. 8, no. 2-3, pp. 73-272, 2015.

상세보기
F. Zhou, H. B.-L. Duh, M. Billinghurst, "Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR", Proceedings of the 7th IEEE/ACM international symposium on mixed and augmented reality, pp. 193-202, 2008.
E. Gulch, "Investigations on Google Tango development kit for personal indoor mapping", AGILE 2016, 2016.
D. Koller, G. Klinker, E. Rose, D. Breen, R. Whitaker, M. Tuceryan, "Real-time vision-based camera tracking for augmented reality applications", VRST, vol. 97. 1997.
J. Kim, H. Lee, "Development Trends of Mobile Augmented Reality Game Platform and User Interface", Journal of Korea Game Society, vol. 17, no. 6, pp.7-17, 2017.
R. S. Patkar, P. Singh, S. V. Birje. "Marker based augmented reality using Android OS", International Journal of Advanced Research in Computer Science and Software Engineering, Vol. 3, pp. 64-69, 2013.
I. Moon, J. Yoon. "The Study on Marker-less Tracking Algorithm Performance based on Mobile Augmented Reality", The Journal of Korea Navigation Institute, vol. 16, no. 6, pp. 1032-1037, 2012.
D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond and D. Schmalstieg, "Real-Time Detection and Tracking for Augmented Reality on Mobile Phones", IEEE Transactions on Visualization and Computer Graphics, vol. 16, no. 3, pp. 355-368, 2010.

상세보기
J. Kim, S. Lee, "Sensor Information Filter for Enhancing the Indoor Pedestrian Localization Accuracy", The Journal of Korea Robotics Society, vol. 7, no. 4, pp. 276-283, 2012.

원문보기 상세보기
Y. Chang, J. Lim, J. Kim, "VR/AR Industry Trends", The Journal of The Korean Institute of Communication Sciences, vol. 36, no. 1, pp.35-41, 2018.
H. Kim, T. Park, "Technology trends of VR and AR and Implementation cases on game engine", The Journal of The Korean Institute of Communication Sciences, vol. 33, no. 12, pp. 56-62, 2016.
S. Kim, Y. Kim, J. Yoon, E. Kim, "Indoor positioning system using geomagnetic anomalies for smartphones", 2012 International Conference on Indoor Positioning and Indoor Navigation (IPIN), pp. 1-5, 2012.
C. Barthold, K. P. Subbu, R. Dantu, "Evaluation of gyroscope-embedded mobile phones", 2011 IEEE International Conference on Systems, Man, and Cybernetics, Anchorage, pp. 1632-1638, 2011.
G. Nutzi, S. Weiss, D. Scaramuzza, R. Siegwart, "Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM", Journal of Intelligent & Robotic Systems, pp.287-299, 2011.
J. Kim, S. Lee, "Estimation of the User's Location/Posture for Mobile Augmented Reality", Journal of Institute of Control Robotics and Systems, vol. 18, no. 11, pp.1011-1017, 2012.

원문보기 상세보기
H. Min, J. Yoon, "Design of Complementary Filter using Least Suare Method", Journal of Institute of Control Robotics and Systems, pp.125-130, 2011.
H. Kim, J. Chung, J. Cheon, I. Lee, "Positioning of a Mobile Device for Development of Cadastral Information Services Based on Augmented Reality", Proc. Korean Society for Geospatial Information Science, pp. 53-54, 2019.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증