[논문]AR 게임을 위한 위치추정 정확도 향상 알고리즘

한서우; 서덕영

doi:10.5909/jbe.2019.24.1.32

[국내논문] AR 게임을 위한 위치추정 정확도 향상 알고리즘
Algorithm to Improve Accuracy of Location Estimation for AR Games 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.1, 2019년, pp.32 - 40

초록
AI-Helper

실내에서 위치를 추정하는 연구는 다양한 분야에서 필요하다. 실내에서 위치를 추정하는 방법은 하드웨어를 이용하는 방법과 하드웨어를 이용하지 않는 방법으로 나눌 수 있다. 하드웨어를 사용하는 방법은 정확도가 높지만, 하드웨어 설치비용이 든다는 단점이 있다. 반대로 하드웨어를 사용하지 않는 방법은 설치비용이 들지 않지만, 정확도가 떨어진다. AR 게임을 위한 위치추정에 제일 중요한 목표는 정확도를 높이는 것이다. 위치를 추정하기 위해서는 Perspective-N-Point (PnP)의 해를 얻어야 한다. PnP 문제의 해를 구하기 위해서는 위치를 추정하고 싶은 공간의 삼차원 좌표와 그 공간에서 찍은 영상이 필요하다. 삼차원 좌표와 매칭 되는 이차원 좌표 6쌍을 통해 위치를 추정할 수 있다. 해의 정확도를 높이기 위해 어떤 점들을 선택하면 정확도가 높아지는지 확인할 비공면도(non-coplanarity degree)를 추가로 사용할 것을 제안했다. 점 6개 이상인 상황에서 비공면도가 커질수록 위치추정 정확도가 높아질 확률이 높다. 제안한 방법의 장점은 모든 기존 위치추정 방법에 적용할 수 있다는 것과 하드웨어를 사용하여 위치를 추정하는 것보다 더 높은 정확도를 보인다.

Abstract ▼ AI-Helper

Indoor location estimation studies are needed in various fields. The method of estimating the indoor position can be divided into a method using hardware and a method using no hardware. The use of hardware is more accurate, but has the disadvantage of hardware installation costs. Conversely, the non-hardware method is not costly, but it is less accurate. To estimate the location for AR game, you need to get the solution of the Perspective-N-Point (PnP). To obtain the PnP problem, we need three-dimensional coordinates of the space in which we want to estimate the position and images taken in that space. The position can be estimated through six pairs of two-dimensional coordinates matching the three-dimensional coordinates. To further increase the accuracy of the solution, we proposed the use of an additional non-coplanarity degree to determine which points would increase accuracy. As the non-coplanarity degree increases, the accuracy of the position estimation becomes higher. The advantage of the proposed method is that it can be applied to all existing location estimation methods and that it has higher accuracy than hardware estimation.

주제어

표/그림 (11)

그림 그림 1. 고스트버스터즈월드 게임 Fig. 1. The ghostbusters world game
그림 그림 2. 3DSD 값에 따른 점들의 위치 분포 Fig. 2. Distribution of points position according to 3DSD value: (a) 3DSD = 0.308095; (b) 3DSD = 0.53084
그림 그림 3. 공면 실험 결과 Fig. 3. A result of a coplanar test
그림 그림 4. 비공면도의 설명 그림 Fig. 4. An illustration of a non-coplanarity degree (Points 2, 4, and 6 are on the same plane, from which distance of Point 1 is h.)
그림 그림 5. 점 선택 알고리즘을 위한 실제 실험 환경 Fig. 5. An real experimental environment for point selection algorithm
그림 그림 6. OpenGL에서 20개의 점들 위치 Fig. 6. A picture of 20 points in OpenGL
그림 그림 7. OpenGL에서 10개의 점과 카메라의 위치 Fig. 7. A position of 10 points and camera in OpenGL
표 표 1. 오차가 1 이상인 점 데이터 표 Table 1. Table of the point data of error≥1
표 표 2. 거리에 대한 테스트들의 정보 Table 2. Information of tests about distance
표 표 3. 거리에 대한 테스트들의 결과 Table 3. Results of tests about distance
표 표 4. 하드웨어 방법과 제안하는 방법의 비교 Table 4. A comparison of hardware method and proposed method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한 평면 위에 있지 않다는 것은 공면하지 않다고 표현할 수 있다. 본 논문에서는 비공면도를 정의하여 한 평면에 점들이 있지 않다는 정도를 수치화하였고 그 수치에 따라 위치추정 정확도가 어떻게 달라지는지를 분석하였다.
PnP 문제는 Fischler^[9]이 제안하였다. 이 문제는 3D 물체와 이미지 투영 사이의 알고 있는 3D에서 2D로의 대응점으로부터 캘리브레이션 된 카메라의 위치와 방향을 추정하는 것이다. PnP의 해를 구하는 대표적인 방법으로는 P3P와 EPnP가 있다.
이 연구에서는 단일 카메라로 위치를 추정한 정확도를 높이는 방법에 관해 서술한다. 위치를 추정하기 위해서 PnP (Perspective-n-Point) 문제의 해를 찾아야 한다.
표준편차는 삼차원 점들의 거리를 표현하고 비공면도는 점들의 방향에 대한 정보를 가지고 있다. 이 정보를 사용하여 오차를 줄여주는 입력 데이터 선택 방법에 대해 제안한다.

제안 방법

또한, 피사체의 중심점이 카메라와 멀수록 위치 파라미터의 최대 오차가 감소하는 것을 확인할 수 있었다. Hao는 P3P라는 제한적인 상황에 대해서 해를 제안하여 반복적 초깃값의 안정성을 높였는데 본 논문은 제한이 감소한 상황에서 5개 이상의 점을 사용하여 PnP의 해를 구할 수 있는 방법을 제안하였다.
정확도를 높이는 방법에 대해 추정 카메라 위치와 실제 카메라 위치의 거리 차이의 원인을 정확하게 파악하기 위해 다른 노이즈를 배제한 가상 환경에서 테스트를 진행하였다. 그리고 비공면도를 만들어 3차원에 있는 점들이 얼마나 독립적으로 공간을 차지하고 있는지 계산했다. 그 결과 비공면도 값이 커질수록 위치추정 정확도가 높게 나올 확률이 높다는 것을 실험을 통하여 확인하였다.
본 논문에서 제안하는 방법은 삼차원 공간 정보가 존재한다면 실내, 실외 구분 없이 사용할 수 있다. 또한, 하드웨어 설치비용이 필요 없고 하드웨어를 사용한 방법들보다 정확도가 더 높고 사용 가능한 범위도 넓다.
본 논문은 위치를 추정하는 다양한 방법 중 컴퓨터 비전의 카메라를 사용하는 방법을 위치 추정 방법으로 선택했다. 본 논문은 단일 카메라를 이용하고 PnP 문제의 해를 통해 위치 추정한다. 그런데 이 방법은 삼차원 위치 정보를 미리 알고 있어야 한다.
왜냐하면 렌즈의 왜곡이 있기 때문이다. 어떤 점들을 선택하는 것이 위치추정 정확도를 높이는데 도움을 주는지 확인하기 위해 노이즈가 없는 가상 환경 테스트를 진행하였다.
위에서 설명한 위치추정 방법으로 추가 테스트를 진행했다. 10개의 점을 Fig.
AR 게임의 대표적인 예로 2016년에 만들어진 포켓몬고 (Pokemon Go)를 들 수 있다. 이 게임은 GPS를 사용한 AR 게임인데 포켓볼이라는 공을 포켓몬스터라는 물체에 드래그 하여 맞추면 포켓몬스터가 포켓볼에 잡히는 방식이다. 포켓몬고는 GPS를 이용하여 위치를 추정한다.
이다. 이 모든 경우에 대해서 비공면도를 구했다. 그 결과 표 1과 같이 나왔다.
10개의 점 중 6개의 점을 택해서 만드는 경우의 수가 210개이다. 이 중 비공면도의 값이 1.5 이상인 데이터 집합을 사용하여 추정한 카메라의 위치 추정값들의 평균을 최종 카메라 추정 위치로 정하였다. 카메라의 거리가 멀어질수록 거리오차가 표 3과 같이 거리 오차가 급증하는 것을 확인할 수 있다.
하지만 이 보정 또한 카메라 내부 파라미터를 추정하는 것이기 때문에 오차가 발생한다. 정확도를 높이는 방법에 대해 추정 카메라 위치와 실제 카메라 위치의 거리 차이의 원인을 정확하게 파악하기 위해 다른 노이즈를 배제한 가상 환경에서 테스트를 진행하였다. 그리고 비공면도를 만들어 3차원에 있는 점들이 얼마나 독립적으로 공간을 차지하고 있는지 계산했다.
카메라의 위치를 바꿔가며 테스트를 진행하였다. 카메라의 삼차원 위치는 표2에 있다.
하지만 Fig. 5는 공간도 제한적이고 점을 배치하는 것도 제한적이기 때문에 자유로운 실험 환경을 구성하기 위하여 OpenGL를 이용하여 테스트 환경을 구현하였다.

이론/모형

본 논문은 위치를 추정하는 다양한 방법 중 컴퓨터 비전의 카메라를 사용하는 방법을 위치 추정 방법으로 선택했다. 본 논문은 단일 카메라를 이용하고 PnP 문제의 해를 통해 위치 추정한다.
정확한 해를 구하는 경우에는 작은 오차가 생겨도 괜찮지만 본 논문에서 사용하는 알고리즘은 작은 오차에서도 민감하게 반응하기 때문에 오차를 줄여주는 입력을 사용해야한다. 이 논문에서는 삼차원 표준편차와 비공면도를 도입했다. 표준편차는 삼차원 점들의 거리를 표현하고 비공면도는 점들의 방향에 대한 정보를 가지고 있다.

성능/효과

이 방법은 AP의 개수와 수식에 따라 위치 추정 정확도가 달라진다는 특징이 있다. 4개의 Wi-Fi AP 정보를 스마트폰의 수신 된 신호 강도 표시기 (Received Signal Strength Indicator, RSSI)를 이용하여 받은 후 피타고라스 이론을 사용하여 사용자의 위치를 구하는 방법^[6]은 평균 0.6 m의 거리 오차 평균을 보여준다. 하드웨어를 이용하여 사용자의 위치를 추정하는 기술은 정확도가 높지만, 하드웨어를 설치해야만 사용 가능하다는 단점이 있다.
점 3개만으로도 한 평면이 정해지는데 점 4개에서 나올 수 있는 평면의 가짓수는 4가지이다. 가정된 상황에서 얻어지는 평면은 point1, 2, 4로 만들어지는 평면, point1, 2, 6으로 만들어지는 평면, point1, 4, 6으로 만들어지는 평면, point2, 4, 6으로 만들어지는 평면으로 총 4개의 평면을 얻을 수 있다. 그 중 point2, 4, 6을 선택하여 얻은 평면(α)을 Fig.
그리고 비공면도를 만들어 3차원에 있는 점들이 얼마나 독립적으로 공간을 차지하고 있는지 계산했다. 그 결과 비공면도 값이 커질수록 위치추정 정확도가 높게 나올 확률이 높다는 것을 실험을 통하여 확인하였다. 비공면도 값을 사용하여 위치를 추정하는 방법은 다음과 같다.
^[10]는 점 3개(P3P)만을 이용하여 위치를 추정한 방법에 대해 견고한 분석을 했다. 그 결과 카메라의 영상 중심 좌표는 위치 오류와는 상관이 없다는 것을 알아내었고 중심 비율이 증가할수록 위치 파라미터의 최대 오차가 증가한다는 것을 확인했다. 또한, 피사체의 중심점이 카메라와 멀수록 위치 파라미터의 최대 오차가 감소하는 것을 확인할 수 있었다.
따라서 본 논문에서 제안한 방법은 카메라와 삼차원 점들 사이의 거리가 15m 이내인 상황에 사용하는 것이 추정 카메라 위치의 거리 오차를 줄일 수 있다. 15m 이내의 환경에서 테스트하게 될 때, 하드웨어를 사용하여 위치를 추정하는 방법보다 더 높은 정확도를 얻을 수 있다.
그 결과 카메라의 영상 중심 좌표는 위치 오류와는 상관이 없다는 것을 알아내었고 중심 비율이 증가할수록 위치 파라미터의 최대 오차가 증가한다는 것을 확인했다. 또한, 피사체의 중심점이 카메라와 멀수록 위치 파라미터의 최대 오차가 감소하는 것을 확인할 수 있었다. Hao는 P3P라는 제한적인 상황에 대해서 해를 제안하여 반복적 초깃값의 안정성을 높였는데 본 논문은 제한이 감소한 상황에서 5개 이상의 점을 사용하여 PnP의 해를 구할 수 있는 방법을 제안하였다.
제안하는 방법을 이용하여 많은 테스트를 진행하였고 그 결과 이 방법을 통해 15m 내의 환경에서 사용하는 것이 높은 정확도를 얻을 수 있고 거리오차는 10cm 이내라 는 결과를 얻었다. 이 결과는 하드웨어를 이용하는 방법보다 정확도가 높고 사용 가능 범위도 적당히 넓다는 것을 보여준다. 렌즈의 왜곡이라는 노이즈를 포함했을 때 점들을 어떤 방식으로 선택하는 것이 좋을지에 대한 추가적인 연구를 진행할 것이다.
그 결과 표 1과 같이 나왔다. 이를 통하여 비공면도가 작으면 작을수록 오차가 큰 경 우가 나타날 확률이 크다는 것을 확인할 수 있다. 오차가 1보다 큰 영역을 살펴보면 비공면도가 1.
3과 같은 결과를 얻을 수 있다. 점 10개에서 6개의 점을 랜덤하게 선택하여 테스트해본 결과 카메라의 위치와 계산된 카메라의 위치의 오차는 평균 769 m이다.
정확도가 중요한 응용프로그램일 경우 이 방법을 다른 PnP 문제의 해법과 함께 사용하게 된다면 더 높은 정확도를 얻을 수 있다. 제안하는 방법을 이용하여 많은 테스트를 진행하였고 그 결과 이 방법을 통해 15m 내의 환경에서 사용하는 것이 높은 정확도를 얻을 수 있고 거리오차는 10cm 이내라 는 결과를 얻었다. 이 결과는 하드웨어를 이용하는 방법보다 정확도가 높고 사용 가능 범위도 적당히 넓다는 것을 보여준다.
5 미만인 부분을 보면 오차가 1보다 작은 영역에 많은 점이 분포해 있는 것을 확인할 수 있다. 즉, 비공면도가 1.5 미만인 경우에 정확하게 위치를 추정하는 경우도 많지만 잘못 위치를 추정하는 확률이 높다는 결론을 내릴 수 있다.
2018년에 만들어진 고스트버스터즈월드 (Ghostbusters World)는 몬스터를 잡기위한 총을 몬스터에게 정확하게 맞춰야만 몬스터를 잡을 수 있다. 포켓몬고보다 높은 정확도를 보여줌으로써 게임 사용자에게 높은 쾌감을 줄 수 있다. 따라서 AR 게임은 위치 추정 정확도가 매우 중요한 게임이라는 것을 알 수 있다.

후속연구

이 결과는 하드웨어를 이용하는 방법보다 정확도가 높고 사용 가능 범위도 적당히 넓다는 것을 보여준다. 렌즈의 왜곡이라는 노이즈를 포함했을 때 점들을 어떤 방식으로 선택하는 것이 좋을지에 대한 추가적인 연구를 진행할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	PnP 문제란?	PnP 문제는 Fischler[9]이 제안하였다. 이 문제는 3D 물체와 이미지 투영 사이의 알고 있는 3D에서 2D로의 대응점으로부터 캘리브레이션 된 카메라의 위치와 방향을 추정하는 것이다. PnP의 해를 구하는 대표적인 방법으로는 P3P와 EPnP가 있다.
	AR게임을 위한 위치추정에 제일 중요한 목표는?	반대로 하드웨어를 사용하지 않는 방법은 설치비용이 들지 않지만, 정확도가 떨어진다. AR 게임을 위한 위치추정에 제일 중요한 목표는 정확도를 높이는 것이다. 위치를 추정하기 위해서는 Perspective-N-Point (PnP)의 해를 얻어야 한다.
	실내에서 위치를 추정하는 방법들의 장단점은?	실내에서 위치를 추정하는 방법은 하드웨어를 이용하는 방법과 하드웨어를 이용하지 않는 방법으로 나눌 수 있다. 하드웨어를 사용하는 방법은 정확도가 높지만, 하드웨어 설치비용이 든다는 단점이 있다. 반대로 하드웨어를 사용하지 않는 방법은 설치비용이 들지 않지만, 정확도가 떨어진다. AR 게임을 위한 위치추정에 제일 중요한 목표는 정확도를 높이는 것이다.

참고문헌 (14)

F. Wei, L. Zheng, H. Deng, and H. Zhang, "Real-time motion tracking for mobile augmented/virtual reality using adaptive visual-inertial fusion," Sensors Vol.17, No. 5, p.1037, May 2017, doi: 10.3390/s17051037.

상세보기
Y. Ma, X. Wu, G. Yu, Y. Xu, and Y. Wang, "Pedestrian detection and tracking from low-resolution unmanned aerial vehicle thermal imagery," Sensors, Vol.16, No. 4, p.446, March 2016, doi: 10.3390/s16040446.

상세보기
Ming, M, Song, Q, Y. Gu and Z. Zhou, "Use of Magnetic Field for Mitigating Gyroscope Errors for Indoor Pedestrian Positioning," Sensors, Vol.18, No.8, p.2592, August 2018, doi: 10.3390/s18082592.

상세보기
J. Bang, D. Lee, Y. Kim and H. Lee, "Camera Pose Estimation Using Optical Flow and ORB Descriptor in SLAM-Based Mobile AR Game," 2017 International Conference on Platform Technology and Service (PlatCon), Busan, Korea, pp.1-4, 2017, doi: 10.1109/PlatCon.2017.7883693.
Y. Alexander, N. Lo and D. Winata, "An Indoor Positioning-Based Mobile Payment System Using Bluetooth Low Energy Technology," Sensors, Vol.18, No.4, p.974, March 2018, doi: 10.3390/s18040974.

상세보기
S. Benfano, I. Faahakhododo and F. Gunawan, "Increasing the accuracy of distance measurement between access point and smartphone," 11th International Conference on Knowledge, Information and Creativity Support Systems (KICSS), Yogyakarta, Indonesia, pp.1-6, 2016, doi: 10.1109/KICSS.2016.7951423.
H. Robert, G. Schroth, S. Hilsenbeck, F. Schweiger and E. Steinbach, "Virtual reference view generation for CBIR-based visual pose estimation," Proceedings of the 20th ACM international conference on Multimedia, Nara, Japan, pp.993-996, 2012.
L. Wen, D. Wei, Q. Lai, X. Li and H. Yuan, "Geomagnetism-Aided Indoor Wi-Fi Radio-Map Construction via Smartphone Crowdsourcing," Sensors, Vol.18, No.5, p.1462, May 2018, doi: 10.3390/s18051462.

상세보기
F. Martin A and R. C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM Vol.24, No.6, pp.381-395, June 1981, doi: 10.1145/358669.358692.

상세보기
H. Yingming, F. Zhu, J. Ou, Q. Wu, J. Zhou and S. Fu, "Robust analysis of P3P pose estimation," 2007 IEEE International Conference on Robotics and Biomimetics (ROBIO), Sanya, China, pp.222-226, 2007.
L. Vincent, F. Moreno-Noguer, P. Fua, "Epnp: An accurate o (n) solution to the pnp problem," International journal of computer vision Vol.81, no.2, pp.155-166, February 2009, doi: 10.1007/s11263-008-0152-6.

상세보기
S. Li, C. Xu, and M. Xie, "A robust O(n) solution to the perspective-n-point problem," IEEE TPAMI, Vol.34, No.7, pp.1444-1450, July 2012, doi: 10.1109/TPAMI.2012.41.

상세보기
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge Univ. Press, 2nd edition, 2003.
S. Han, Y. Lee, J. Yun, C. Han, D. Lee and D. Suh, "Perspective Projection Algorithm Enabling Mobile Device's Indoor Positioning," Journal of Computer and Communications, Vol.6, No.1, p.159, December 2017, doi: 10.4236/jcc.2018.61017.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증