본 연구에서는 증강현실 기술을 이용한 사용자 상호작용 기술을 이용하여 터치기반의 게임 시스템을 제안한다. 증강현실 기술은 실세계의 영상에 가상의 객체(이미지, 영상, 텍스트)를 합성하는 기술로서 사용차가 쉽게 인지할 수 있는 장점이 있다. 증강현실 기술은 다양한 분야에서 적용 활용하기 위해서 연구되고 있다. 마커기반과 자연마커 기반의 연구가 진행되고 있는데 자연마커 기반의 연구가 현실에 이질감이 없어서 많이 연구되고 있다. 본 논문에서도 자연마커 기반의 증강현실 기술을 이용하여 게임 시스템을 구현하였다. 또한 시스템에서는 사용자의 터치를 통한 상호작용 기술을 사용함으로서 게임에 몰입할 수 있는 장점이 있다. 터치 기반의 인터페이스는 일반 사용자 환경뿐만 아니라 터치패드나 스마트폰 등의 모바일 기기에서도 활용 가능하다.
본 연구에서는 증강현실 기술을 이용한 사용자 상호작용 기술을 이용하여 터치기반의 게임 시스템을 제안한다. 증강현실 기술은 실세계의 영상에 가상의 객체(이미지, 영상, 텍스트)를 합성하는 기술로서 사용차가 쉽게 인지할 수 있는 장점이 있다. 증강현실 기술은 다양한 분야에서 적용 활용하기 위해서 연구되고 있다. 마커기반과 자연마커 기반의 연구가 진행되고 있는데 자연마커 기반의 연구가 현실에 이질감이 없어서 많이 연구되고 있다. 본 논문에서도 자연마커 기반의 증강현실 기술을 이용하여 게임 시스템을 구현하였다. 또한 시스템에서는 사용자의 터치를 통한 상호작용 기술을 사용함으로서 게임에 몰입할 수 있는 장점이 있다. 터치 기반의 인터페이스는 일반 사용자 환경뿐만 아니라 터치패드나 스마트폰 등의 모바일 기기에서도 활용 가능하다.
In this study, by using the control technique of the user using augmented reality technology, to provide a game system touch-based. The augmented reality technology, can be advantageously used vehicle is easily recognized as a technique for synthesizing (images, video, text) object of the virtual im...
In this study, by using the control technique of the user using augmented reality technology, to provide a game system touch-based. The augmented reality technology, can be advantageously used vehicle is easily recognized as a technique for synthesizing (images, video, text) object of the virtual image of the real world. Augmented reality technology has been studied to make the application in various fields. Studies of natural marker-based marker and base are underway, but there is no sense of incongruity in reality research natural marker-based and has been studied much. By using the augmented reality technology natural marker-based In this paper, we implemented a game system. The system also has the advantage that can be absorbed in the game by using the techniques of the interaction through a user's touch. Touch interface-based, are available as well as user environments, even in mobile devices such as smart-phone and touch pad.
In this study, by using the control technique of the user using augmented reality technology, to provide a game system touch-based. The augmented reality technology, can be advantageously used vehicle is easily recognized as a technique for synthesizing (images, video, text) object of the virtual image of the real world. Augmented reality technology has been studied to make the application in various fields. Studies of natural marker-based marker and base are underway, but there is no sense of incongruity in reality research natural marker-based and has been studied much. By using the augmented reality technology natural marker-based In this paper, we implemented a game system. The system also has the advantage that can be absorbed in the game by using the techniques of the interaction through a user's touch. Touch interface-based, are available as well as user environments, even in mobile devices such as smart-phone and touch pad.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 약속되어진 패턴 형태인 마커를 이용하지 않고 입력 영상에서 기준이 되는 평면을 이용한 증강현실 게임 시스템을 제안하였다. 시스템을 구성하기 위해 입력 영상에서 특징점들을 추출하였고, 이 점들을 이용하여 3차원 좌표계를 추정하였다.
본 논문에서는 위의 연구들처럼 패턴을 이용한 문제점을 해결하고, 카메라 입력 영상에서 특징을 추출하고 자세를 계산하여 증강현실을 구현하여, 이를 기반으로 사용자 터치 기반의 증강 현실 게임을 구현하고자 한다. 본 논문의 구성은 다음과 같다.
가설 설정
Ix, Iy, It는 각각 x, y, 시간축의 편미분 결과이고, u, v는 x, y축의 좌표 변화량을 의미한다. 공간 일관성은 시간에 따라 이동 변화량을 갖는 특정 화소의 주변 화소들이 일관된 좌표의 변화량을 가질 것이라는 가정이다. 식 (1)에서 하나의 함수로 두 개의 변수(u, v)를 계산할 수 없기에 근방 25개의 화소들이 동일한 변화량을 갖는다는 가정으로 식 (2)과 같이 변수 u, v의 값을 최소자승법을 통해 계산할 수 있다.
LKT는 밝기 항상성(brightness constancy), 시간 지속성(temporal persistence), 공간 일관성(spatial coherence)의 3가지 가정에 기초를 둔다. 밝기 항상성은 연속된 특정 화소들의 밝기 값이 다른 시간의 프레임에도 일정하다는 가정이다. 따라서 식 (1)에서 시간축 t에 대한 편미분 값이 0이다.
제안된 시스템은 취득한 영상에서 검출한 특징점의 2차원 좌표를 3차원 공간의 좌표로 변환하는 초기화 단계가 선행된다. 카메라 입력영상에서 검출한 좌표 값은 2차원이기에, 이를 3차원 공간으로 변환할 때 깊이 값(z축)이 모두 0이라는 가정을 한다. 만약 검출된 특징 화소들이 동일 평면에 위치하지 않을 경우 오차가 생길 수 있다는 문제점을 갖는다.
제안 방법
사용자의 입력을 이용한 상호작용을 위해서 일정좌표의 클릭 이벤트를 사용하고자 한다. 이는 일반적인 디스플레이 장치에서는 마우스를 이용한 클릭으로 사용할 수 있고, 스마트폰이등의 터치 기반의 디스플레이 장치에서는 손가락이나 펜을 이용한 터치로 유용하게 활용할 수 있다.
본 논문에서는 약속되어진 패턴 형태인 마커를 이용하지 않고 입력 영상에서 기준이 되는 평면을 이용한 증강현실 게임 시스템을 제안하였다. 시스템을 구성하기 위해 입력 영상에서 특징점들을 추출하였고, 이 점들을 이용하여 3차원 좌표계를 추정하였다. 이후 특징점의 좌표계와 3차원 좌표계와의 관계를 통하여 가상의 객체를 정합하였다.
이를 위해서 2차원 공간, 실제 좌표계 공간 및 3차원 공간 사이의 사영 관계를 계산하여 카메라 자세 정보를 취득한다. 이렇게 취득된 카메라 자세 정보를 이용해 3차원 물체를 정합시킴으로서 증강현실 시스템을 구성한다.
이에 반해서 카메라 입력 영상 기반의 정합 방법은 영상에서 3차원 기하학 정보를 취득하는 기술이 기반이 되고 있다. 이를 위해서 2차원 공간, 실제 좌표계 공간 및 3차원 공간 사이의 사영 관계를 계산하여 카메라 자세 정보를 취득한다. 이렇게 취득된 카메라 자세 정보를 이용해 3차원 물체를 정합시킴으로서 증강현실 시스템을 구성한다.
이 경우 특징점을 찾지 못하거나 잃어버리는 경우 재검출을 통하여 증강현실 시스템을 유지하였다. 이를 통하여 사용자 상호작용이 적용된 증강현실 게임시스템을 적용하였다. 사용자가 가상의 객체에 클릭이나 터치등의 입력이 적용되었을 때 이를 활용하여 하나의 게임을 완성하였다.
이러한 이유 때문에 제안하는 방법에서는 책상 위와 같이 비교적 평평한 배경영상에서 수행된다는 전제가 필요하다. 이후 연속된 프레임에서 취득한 특징 점의 2차원 좌표와 초기화 단계에서 취득한 3차원 공간의 좌표의 관계를 통해서 카메라의 자세 정보를 계산한다. (그림 2)와 같이 3차원 좌표인 M= (X,Y,Z)와 2차원 영상의 좌표인 m= (x,y)의 동차좌표계를 # = [X Y Z 1 ]T 과 # = [X Y Z 1 ]T 이라고 할 때, 이들 사이의 사영 관계는 3×4 카메라 행렬 # 에 의해서 식 (3)과 같이 정의 된다.
시스템을 구성하기 위해 입력 영상에서 특징점들을 추출하였고, 이 점들을 이용하여 3차원 좌표계를 추정하였다. 이후 특징점의 좌표계와 3차원 좌표계와의 관계를 통하여 가상의 객체를 정합하였다. 이 경우 특징점을 찾지 못하거나 잃어버리는 경우 재검출을 통하여 증강현실 시스템을 유지하였다.
3차원 객체 정합은 2차원 좌표 값에 대한 3차원 공간으로의 역사영(back-projection)을 통하여 계산된다. 제안된 시스템은 취득한 영상에서 검출한 특징점의 2차원 좌표를 3차원 공간의 좌표로 변환하는 초기화 단계가 선행된다. 카메라 입력영상에서 검출한 좌표 값은 2차원이기에, 이를 3차원 공간으로 변환할 때 깊이 값(z축)이 모두 0이라는 가정을 한다.
수행 속도 측정은 300프레임을 가지고 과정에서 측정된 결과의 평균을 나타낸다. 특징점 검출과 특징점 추적의 수행 속도는 사용되는 특징점 개수에 따라 민감하게 영향을 받기 때문에, 70개의 특징점을 기준으로 측정하였다. 초기화 단계의 특징점 검출 시간은 시스템이 시작되는 최초 한번만 수행되고, 이후 연속된 프레임에서 수행되는 다른 과정인 특징점 추적, 카메라 자세정보 연산과 렌더링 수행 시간은 10ms 넘지 않는다.
대상 데이터
모든 실험은 Intel(R) Core(TM)2 Duo CPU 2.93GHz, 4GB이고, 320×240 해상도와 초당 30프레임으로 작동되는 USB 카메라를 이용하여 수행되었다.
이론/모형
대상되는 특징점을 추적하는 방법으로는 LKT(Lukas-Kanade Tracker)[13]를 사용하게 된다. 이 방법은 미리 정해진 화소들 위에 씌워진 작은 크기의 마스크들로부터 얻은 지역 정보만을 이용하고, 추적할 점도 미리 정하여 수행하는 희소 광류 방식(sparse optical flow)이다.
식 (4)의 카메라 행렬을 구하기 위해서는 일반적으로 별도의 카메라 교정이 필요하다. 본 논문에서는 Zhang[16] 이 제안한 카메라 교정 기법을 이용하여 카메라 행렬을 구한다.
카메라 입력 영상에서 검출한 특징은 프레임마다 같은 환경내의 특징으로 검출하는 것이 정확하기 때문에, 일반적으로 영상의 밝기 값의 변화가 큰 미분 계수를 갖는 특징을 가지는 코너점을 검출하는 것이 일반적이다. 제안하는 알고리즘에서는 추적하기 좋은 특징점을 검출하기 위해 Shi-Tomasi[11] 검출 방법을 사용한다. 자주 사용되는 해리스 코너 검출 방법(Harris corner detection)은 영상 밝기 값의 2차 미분 값을 이용한다.
성능/효과
이러한 문제점을 해결하기 위해 가우시안 영상 피라미드(gaussian image pyramid)를 이용한 방법이 사용된다. 본 영상으로부터 가우시안 영상 피라미드를 구성하고, 크기가 작은 계층에서 추적을 시작하여 점점 크기가 큰 계층으로 갈수록 추적 변화량을 누적하여, 제한된 크기의 윈도우를 사용하여도 급격한 좌표의 변화량을 검출할 수 있다[14][15].
사용자가 가상의 객체에 클릭이나 터치등의 입력이 적용되었을 때 이를 활용하여 하나의 게임을 완성하였다. 제안된 방법은 기존에 마커를 이용한 증강현실 시스템보다 사용자에게 자연스럽게 다가갈 수 있다는 장점을 가지고 있으며, 게임알고리즘에 적용을 하는데 있어서도 빠른 연산속도로 수행되어 적용이 가능하다는 것을 확인할 수 있었다. 또한 이와 같은 장점이 있기 때문에 모바일 장치에서도 유용하게 사용될 수 있을 것으로 예상한다.
후속연구
또한 이와 같은 장점이 있기 때문에 모바일 장치에서도 유용하게 사용될 수 있을 것으로 예상한다. 추후 연구로 이러한 기법들의 모바일 적용과 더욱 강건한 특징을 검출하는 방법을 적용하여 시스템의 정확도와 안정성을 높일 수 있는 연구를 진행할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
3차원 객체 정합은 무엇을 통해 계산되는가?
3차원 객체 정합은 2차원 좌표 값에 대한 3차원 공간으로의 역사영(back-projection)을 통하여 계산된다. 제안된 시스템은 취득한 영상에서 검출한 특징점의 2차원 좌표를 3차원 공간의 좌표로 변환하는 초기화 단계가 선행된다.
기존 스마트폰의 증강현실 어플리케이션이 하는 GPS를 이용한 단순 합성이 어색하고 이질감이 느껴지는 이유는 무엇인가?
이러한 단순 합성은 사용자가 영상을 보는데 있어서 신기함은 줄 수 있지만, 어색하고 이질감을 느끼게 되는 문제가 발생한다. 이는 실세계의 영상은 3차원 좌표계 기반의 객체 정합을 하는데 센서를 이용한 위치 추정기술은 이러한 3차원 좌표계 기반이 아니기 때문이다. 이에 반해서 카메라 입력 영상 기반의 정합 방법은 영상에서 3차원 기하학 정보를 취득하는 기술이 기반이 되고 있다.
LKT가 연산속도가 빠른 이유는 무엇인가?
LKT는 시간 변화량에 비해서 좌표 변화량이 크지 않다는 시간 지속성을 가정하여 작은 지역 윈도우 영역을 사용하기 때문에 연산속도가 빠르다. 하지만 작은 지역 윈도우 크기보다 큰 움직임이 발생하였을 경우에는 움직임을 계산하지 못하는 단점이 있다.
참고문헌 (18)
Nilsen, T., Looser, J.,"Tankwar tabletop war gaming in augmented reality," Proceedings of 2nd International Workshop on Pervasive Gaming Applications, 2005.
G.Y. Seo, "A study on the utilization methods of educational content based on the analysis of mobile games," Journal of Digital Contents Society, Vol.14 No.2 pp.125-134 Jun. 2013.
Cheok, A.D., Fong, S.W., Goh, K.H., Yang, X., Liu, w., Farzbiz, F., Li, Y., "Human Pacman : A mobile entertainment syytem with ubiquiyous computing and tangible interaction over a wide outdoor arer," Mobile HCI 2003, pp.,209-224, 2003.
Dong, Q., Sun, Z., Namee, B.M., "Physic-based table-top mixed reality game", Conference of the International Simulation & Gaming Association, 2008.
S.H. Lee, S.K. Lee and J.S. Choi, "Real-time camera tracking using a particle filter and multiple feature trackers," Games Innovations Conference, 2009. ICE-GIC 2009. International IEEE Consumer Electronics Society's, pp. 29-36, Aug. 2009.
Peter Keitler, "Mobile Augmented Reality based 3D Snapshots," in Proc. IEEE and ACM International Symposiumon Mixedand Augmented Reality, pp. 199-200, 2009.
R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier and B. Macintyre, "Recent Advances in Augmented Reality," IEEE Computer Graphic and Applications, pp. 34-47, 2001.
Hyung-Min Park, Jae-Young Lee, Seok-Han Lee, Jong-Soo Choi, "Gaze Interaction Using Half Blink Selection and The Wearable AR System," Journal of the institute of electronics engineers of Korea, Vol. 46, No.5, pp. 91-100, 2009.
A. Davison, I. Reid, N. Morton and O. Stasse, "Monoslam: Real-time single camera slam," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 29, no.6, pp. 1052-1067, Jun. 2007.
D. Wanger, T. Langlotz and D. Schmalstieg, "Robust and Unbtrusive Marker Tracking on Mobile Phones," in Proc. IEEE and ACM International Symposiumon Mixedand Augmented Reality, pp. 225-234, Sep. 2008.
J. Shi and C. Tomasi, "Good features to track," IEEE Proc. Conf Computer Visionand Pattern Recognition, pp. 293-600, Jun. 1994.
Dazhi Chen, Guangjun Zhang, "A New Sub-Pixel Detector for X-Corners in Camera Calibration Targets," International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2005.
J-Y. Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker," Intel Corporation, Microprocessor ResearchLabs, 2000.
J. Barron, N. Thacker, "Computing 2D and 3D Optical Flow," Tina-Vision, 2005.
G. Bradski, A. Kaehler, "Learning Opencv: Computer Vision with the Opencv Library," O'REILLY, 2008.
Z. Zhang, "Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 1330-1334, Nov. 2000.
R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge Univ. Press, 2003.
O. Faugeras, "Three-Dimensional Computer Vision," The MIT Press, 1993.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.