[논문]모바일 게임을 위한 증강현실 기반 직관적 변형 직물객체 조작

김상준; 홍민; 최유주

doi:10.3745/ktsde.2018.7.4.159

모바일 게임을 위한 증강현실 기반 직관적 변형 직물객체 조작
Intuitive Manipulation of Deformable Cloth Object Based on Augmented Reality for Mobile Game 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.7 no.4, 2018년, pp.159 - 168

김상준 (서울미디어대학원대학교 뉴미디어학부) , 홍민 (순천향대학교 컴퓨터소프트웨어공학과) , 최유주 (서울미디어대학원대학교 뉴미디어학부)

초록
AI-Helper

최근 높은 관심을 모으고 있는 모바일 증강현실 게임은 몰입감을 높이기 위한 접근 방법으로 손꼽히고 있다. 모바일 디바이스의 카메라를 이용하여 대상 물체를 인식하고 게임 캐릭터가 등장하도록 하는 기존 증강현실 기반의 게임에서는 대부분이 터치 기반의 인터랙션만을 사용하고 있다. 본 논문에서는 게임의 몰입도를 높이기 위하여 증강현실 타겟 이미지를 움직임으로써 게임 속 변형 객체를 직관적으로 조작하는 기법을 제안한다. 제안 방법에서는 타겟 이미지들 사이의 거리와 방향을 계산하고, 이에 따라 변형객체에 주어지는 외부력(external force)의 크기를 조정함으로써, 직관적 방법으로 변형 객체의 움직임을 조작할 수 있도록 하였다. 본 논문에서는 게임 콘텐츠에서 자연스러운 객체 표현을 위하여 많이 사용되고 있는 변형 직물(cloth) 모델에 초점을 맞추었고, 바람(wind)과 강체(rigid object)로 표현되는 게임 객체들과 상호작용하는 자연스러운 직물의 움직임을 표현하였다. 실험에서는 유니티 에셋 스토어에서 판매하는 기존 유료 직물 모델의 적용 결과와의 비교를 통하여 제안 기법이 보다 현실감 있는 직물의 움직임을 표현하고 있는 것을 보였다.

Abstract ▼ AI-Helper

In recent, mobile augmented reality game which has been attracting high attention is considered to be an good approach to increase immersion. In conventional augmented reality-based games that recognize target objects using a mobile camera and show the matching game characters, touch-based interaction is mainly used. In this paper, we propose an intuitive interaction method which manipulates a deformable game object by moving a target image of augmented reality in order to enhacne the immersion of the game. In the proposed method, the deformable object is intuitively manipulated by calculating the distance and direction between the target images and by adjusting the external force applied to the deformable object using them. In this paper, we focus on the cloth deformable object which is widely used for natural object animation in game contents and implement natural cloth simulation interacting with game objects represented by wind and rigid objects. In the experiments, we compare the previous commercial cloth model with the proposed method and show the proposed method can represent cloth animation more realistically.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

직물객체에 바람의 영향을 주는 Windzone 에셋이 판매되었으나 바람의 방향과 거리에 따른 영향이 비현실적으로 구현되었고 직물객체와 상호작용하는 객체를 구현하기 위하여, 구 충돌자와 캡슐 충돌자를 수동적으로 입력해주어야 하는 번거로움이 있다. 본 논문에서는 바람영역 객체의 방향과 거리에 따라 사실적 바람의 영향을 받는 직물 시뮬레이터를 설계 구현하였다. 또한, 사용자의 터치 기반 인터랙션에 따라 구 충돌자와 캡슐 충돌자를 자동적으로 생성하여 이를 직물객체의 속성으로 추가함으로써 직물객체와 자동으로 생성되는 게임 객체 간의 자연스러운 상호작용을 구현하였다.
본 논문에서는 증강현실 타겟 이미지들 사이의 거리와 방향을 계산하고, 이에 따라 변형객체에 주어지는 외부력(external force)의 크기를 조정함으로써, 직관적 방법으로 변형 객체의 움직임을 조작하는 방법을 제안한다. 게임 장면(game scene)에서 현실감을 높이기 위한 방법으로 널리 사용되고 있는 변형 직물 객체(cloth deformable object)에 초점을 맞추어 타겟 이미지의 위치와 방향을 조정함에 따라 변형 객체의 속성을 자유롭게 변화시키도록 하는 게임 객체의 속성과 계층구조를 설계하고, 이를 적용하여 바람(wind)모델과 강체(rigid object)모델을 구현하여 바람과 강체 모델의 움직임에 직관적으로 반응하는 자연스러운 직물의 움직임을 표현함으로써 제안 방법의 유용성을 보이고자 한다.
이런 터치 기반의 인터랙션만을 사용하는 콘텐츠는 현실감과 몰입감을 주기에는 부족하여 직관적인 상호작용 방법이 요구된다. 이에 본 논문에서는 증강현실 타겟 이미지를 이용하여 객체들의 위치, 방향 속성을 자유롭게 변화시키며 객체의 상태변화가 다른 객체에게 영향을 받는 직관적인 상호작용 기법을 제안하였다. 특히, 본 논문에서는 게임 콘텐츠에서 자연스러운 객체 표현을 위하여 많이 사용되고 있는 변형 직물(cloth) 모델에 초점을 맞추었고, 바람(wind)과 강체(rigid object)로 표현되는 게임 객체들과 상호작용하는 자연스러운 직물의 움직임을 표현하였다.

제안 방법

본 논문에서는 증강현실 타겟 이미지들 사이의 거리와 방향을 계산하고, 이에 따라 변형객체에 주어지는 외부력(external force)의 크기를 조정함으로써, 직관적 방법으로 변형 객체의 움직임을 조작하는 방법을 제안한다. 게임 장면(game scene)에서 현실감을 높이기 위한 방법으로 널리 사용되고 있는 변형 직물 객체(cloth deformable object)에 초점을 맞추어 타겟 이미지의 위치와 방향을 조정함에 따라 변형 객체의 속성을 자유롭게 변화시키도록 하는 게임 객체의 속성과 계층구조를 설계하고, 이를 적용하여 바람(wind)모델과 강체(rigid object)모델을 구현하여 바람과 강체 모델의 움직임에 직관적으로 반응하는 자연스러운 직물의 움직임을 표현함으로써 제안 방법의 유용성을 보이고자 한다.
두 번째 단계에서 두 타겟 이미지의 거리를 계산한다. 그리고, 세 번째로 직물과 바람 영역이 상호작용 영역에 포함되는지 Hit 여부를 판단한 후, 네 번째 단계에서 위치정보와 Hit 여부에 따라 직물의 풍향 값을 결정하여 직물 변형 객체의 속성을 수정한다.
직물객체에 주어지는 외력의 크기는 직물객체와 바람영역 객체 사이의 거리를 기반으로 결정된다. 두 객체간의 거리는 직물객체의 지역 좌표계 원점의 위치값과 바람영역 객체의 지역 좌표계 원점의 위치값을 기반으로 계산한다. 두 원점 사이의 거리 d는 Equation (1)과 같이 유클리디안 거리값으로 구한다.
본 논문에서는 바람영역 객체의 방향과 거리에 따라 사실적 바람의 영향을 받는 직물 시뮬레이터를 설계 구현하였다. 또한, 사용자의 터치 기반 인터랙션에 따라 구 충돌자와 캡슐 충돌자를 자동적으로 생성하여 이를 직물객체의 속성으로 추가함으로써 직물객체와 자동으로 생성되는 게임 객체 간의 자연스러운 상호작용을 구현하였다.
그러므로 직물객체와 충돌처리가 이루어지도록 하기 위한 객체들은 구 충돌기 혹은 캡슐 충돌기의 집합으로 정의하여야 한다. 본 논문에서 구현한 직물 시뮬레이터에서는 사용자의 터치 인터랙션에 의해 구 충돌기로 정의된 게임 객체가 동적으로 생성되어 직물 객체를 향하여 날라가는 상황을 구현한다. 이때, 동적으로 생성되는 구 충돌기는 직물객체의 속성으로 전달되어 구 충돌기와 직물객체 간의 충돌처리가 이루어질 수 있도록 한다.
동적으로 생성되는 강체 게임 객체와 직물 객체 간의 상호작용 처리 절차는 첫째 타겟 이미지의 감지 확인 후 두 번째로 강체 게임 객체를 동적으로 생성한다. 본 논문에서는 총으로부터 발사되는 총알을 동적 강체 게임 객체로 생성하도록 하였다. 세 번째로 직물 객체에 동적으로 생성된 강체 게임 객체(총알 객체)를 구 충돌기(sphere collider) 컴포넌트로 추가한다.
카메라 이미지로부터 다수의 타겟 이미지를 검출하고 각 타겟 이미지에 매칭되는 가상 캐릭터들을 렌더링하는 뷰포리아는 각 타겟 이미지별로 정의되는 지역 좌표계(local coordinate system)와 하나의 장면(scene)에 정의되는 세계 좌표계(world coordinate systme)를 가지게 된다. 세계 좌표계의 중점을 어디로 둘지를 결정하기 위하여 뷰포리아의 AR 카메라의 센터 모드를 결정하게 된다. 즉, 세계 센터 모드(world center mode)는 추적가능 객체(Trackable) 즉 타겟 이미지 객체와 카메라간의 상대 좌표를 유니티 세계 좌표로 변환하는 방법을 정의한다.
세 번째로는 프레임 마커(Frame Markers)로 암호화된 형태의 마커를 의미한다. 이렇게 필요에 따라 만든 타겟 이미지가 카메라 범위에 들어오면 디바이스 타겟 데이터 혹은 클라우드 타겟 데이터 베이스에 등록된 타겟인지를 검사한다. 여기서 디바이스 타겟 데이터는 기기 안에 오브젝트 데이터를 저장하며 소량의 타겟을 사용하는 경우 사용한다.

대상 데이터

바람영역 객체, 구 충돌기 동적 생성 객체, 그리고 직물 객체 간의 직관적 상호작용을 구현하기 위하여 제안 시뮬레이터에는 6가지의 스크립트가 정의되었다. 즉, TrackingObject.
본 논문에서 제안하는 직물 시뮬레이터는 바람영역(Wind zone) 객체에 반응하는 직물 시뮬레이터와 강체 게임 객체(rigid body game object)에 반응하는 직물 시뮬레이터를 포함한다. 두 개의 직물 시뮬레이터 각각의 처리 절차는 Fig.
제안된 직물 시뮬레이터는 Unity5.6.2f1 (64bit), Vuforia6-2-10을 이용하여 구현하였고, LG G6 스마트 디바이스를 이용하여 테스트하였다. 제안 시뮬레이터의 성능을 보이기 위하여 에셋 스토어에서 유료로 다운 받은 WindZone 에셋[16]과 성능을 비교하였다.

데이터처리

2f1 (64bit), Vuforia6-2-10을 이용하여 구현하였고, LG G6 스마트 디바이스를 이용하여 테스트하였다. 제안 시뮬레이터의 성능을 보이기 위하여 에셋 스토어에서 유료로 다운 받은 WindZone 에셋[16]과 성능을 비교하였다. Fig.

이론/모형

바람영역 객체가 가리키는 방향에 직물 객체가 있는지 확인하기 위하여 면(face) 단위의 충돌/접지를 체크하는 BoxCast를 이용한다. BoxCast의 박스 영역에 직물 객체 영역이 중첩되면 충돌로 인식한다.

성능/효과

“LIGHT CLOTH” 타겟 이미지에 매칭되는 직물 객체가 다른 것보다 가벼운 속성으로 정의되어 있기 때문에 바람에 의해서 보다 높이 크게 움직이고 있는 것을 확인할 수 있다.
세 번째로 유니티는 물리 엔진, 네트워크, 지형 조작, 오디오&비디오 애니메이션 등 게임 개발에 필요한 작업 프로세스를 자체적으로 지원한다. 네 번째로 리소스, 스크립트, 플러그인, AI 등을 사고 팔 수 있는 에셋 스토어 운영으로 유니티를 이용하여 게임 개발시 필요한 기능들을 손쉽게 구할 수 있다. 다섯 번째로 다양한 하드웨어에 대한 플러그인 및 SDK를 지원한다[14].
유니티를 사용하는 첫 번째 이유는 하나의 프로젝트로 윈도우, 맥, 리눅스, IOS, 안드로이드, 엑스박스, 플레이스테이션 등 많은 플랫폼 어플리케이션으로 빌드가 가능하다는 것이다. 두 번째 이유는 개발과 실행 환경을 통합함으로 개발 도중 스크립트, 디자인 등을 변경하여 실시간으로 게임의 상태를 관찰할 수 있는 통합 개발 환경(IDE)을 제공한다는 것이다. 세 번째로 유니티는 물리 엔진, 네트워크, 지형 조작, 오디오&비디오 애니메이션 등 게임 개발에 필요한 작업 프로세스를 자체적으로 지원한다.
세 번째로 유니티는 물리 엔진, 네트워크, 지형 조작, 오디오&비디오 애니메이션 등 게임 개발에 필요한 작업 프로세스를 자체적으로 지원한다.
11은 직물객체의 정면에서 직물 방향으로 바람을 직접적으로 보낸 장면이다. 유료 WindZone 에셋과 제안 시뮬레이터에서 모두 직물의 움직임이 정상적으로 동작하는 것을 확인할 수 있다. Fig.
13은 직물의 반대 방향으로 바람을 보낸 경우이다. 유료 WindZone 에셋은 바람의 힘을 반대 방향으로 보내도 바람의 방향으로 힘을 받는 것처럼 직물이 움직이는 부자연스러운 결과를 보였다. 제안 시뮬레이터는 모든 직물이 바람의 영향을 받지 않아 움직임이 없는 현실과 같은 상태를 보이고 있다.
12는 첫 번째 직물에게만 바람을 보내 움직이는 장면이다. 유료 WindZone 에셋은 첫 번째와 두 번째 직물 모두 바람의 영향을 받아 움직이는 것을 확인할 수 있고, 제안 시뮬레이터는 정상적으로 첫 번째 직물만이 바람의 영향을 받아 움직이는 것을 확인할 수 있다. Fig.
이에 본 논문에서는 증강현실 타겟 이미지를 이용하여 객체들의 위치, 방향 속성을 자유롭게 변화시키며 객체의 상태변화가 다른 객체에게 영향을 받는 직관적인 상호작용 기법을 제안하였다. 특히, 본 논문에서는 게임 콘텐츠에서 자연스러운 객체 표현을 위하여 많이 사용되고 있는 변형 직물(cloth) 모델에 초점을 맞추었고, 바람(wind)과 강체(rigid object)로 표현되는 게임 객체들과 상호작용하는 자연스러운 직물의 움직임을 표현하였다.

후속연구

향후 연구로 GPU를 이용한 직물 시뮬레이션 가속화 기법에 대한 연구를 수행하고자 하며, 또한, 실시간 게임에서 현실감을 높이기 위한 다양한 물리기반 시뮬레이션 기법들을 경량화하고 이를 모바일 증강현실 어플리케이션과 연계하여 구동할 수 있도록 하는 연구를 함께 진행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	유니티는 무엇인가?	유니티(Unity)는 3D 비디오 게임이나 건축 시각화, 실시간 3D 애니메이션 같은 기타 상호작용 콘텐츠를 제작하기 위한 통합 저작도구로서[13] 게임 콘텐츠를 보다 쉽게 개발 할 수 있도록 해주는 게임엔진이다. 유니티를 사용하는 첫 번째 이유는 하나의 프로젝트로 윈도우, 맥, 리눅스, IOS, 안드로이드, 엑스박스, 플레이스테이션 등 많은 플랫폼 어플리케이션으로 빌드가 가능하다는 것이다.
	사용자와 객체들 간의 인터랙션이 대부분 터치 기반의 방법으로 이루어지거나 정해진 조건에 따른 애니메이션만을 보여주는 증강현실 게임의 한계는 무엇인가?	이러한 증강현실 게임들은 사용자와 객체들 간의 인터랙션이 대부분 터치 기반의 방법으로 이루어지고 있고, 게임 내 객체들 간의 인터랙션은 몇 가지 미리 정해진 조건에 따른 고정적인 애니메이션을 보여주는 형태를 따르고 있다. 이러한 방법은 객체 간의 다양한 관계에 따른 자연적이고 현실감 있는 움직임 표현에 한계를 가진다.
	증강현실이 가진 시스템은 무엇인가?	증강현실은 현실 영상과 가상의 객체 혹은 정보를 합성하여 렌더링 한 후 사용자에게 보여주는 시스템을 가지고 있다. 때문에 가상 객체들을 원하는 현실의 목표 이미지 자리에 정확히 위치시켜주기 위해서는 상대적 좌표를 추출할 수 있는 마커(marker)가 필요하다[2].

참고문헌 (16)

Kocca(Korea Creative Content Agency), Game User Status Report, 2017.
J. S. Bang and E. J. Choi, "Augmented Reality Trends and Prospects of Technology Development in and Outside of Korea," ISBN 978-89-6211-060-6, KISTI, 2010.
K. H. Sing, W. Xie, N. Randall, V. Vidyasagaran, and T. H. Lee, "Garden: a mixed reality experience," in ACM Siggraph 2016 VR Village (SIGGRAPH 2016), ACM, Article 3, 2016.
T. Hakky, R. M. Daniel, I. Larry, E. S. Philippe, and E. C. Rafael, "Augmented Reality Assisted Urologic Surgery (ARAUS): A surgical training tool," The Journal of Urology, Vol.193, No.4, p.3271, 2015.
Poketmon Go [Internet], http://pokemongo.nianticlabs.com/ko/.
Jungle Fighters [Internet], https://play.google.com/store/apps/details?idcom.mcocoa.junglefighter&hlko.
Battle Card Hero [Internet], https://play.google.com/store/apps/details?idcom.mcocoa.battlecardhero
The Playroom [Internet], https://www.playstation.co.kr/game/3336.
Wikipedia (Donkey Kong-Video Game) [Internet], https://ko.wikipedia.org/wiki/%EB%8F%99%ED%82%A4%EC%BD%A9_(%EB%B9%84%EB%94%94%EC%98%A4_%EA%B2%8C%EC%9E%84).
Wikipedia (Battle City-Video Gam) [Internet], https://ko.wikipedia.org/wiki/%EB%B0%B0%ED%8B%80%EC%8B%9C%ED%8B%B0.
Cookie Run [Internet], https://play.google.com/store/apps/details?idcom.devsisters.gb&hlko.
Durango [Internet], http://durango.nexon.com/kr?channel6.
Wikipedia-Unity [Internet], https://ko.wikipedia.org/wiki/unity.
Unity3D [Internet], https://unity3d.com/kr/unity.
How To Create an Augmented reality app [Internet], https://www.3pillarglobal.com/insights/how-to-create-an-augmented-reality-app.
More Dynamic Cloth Physics and Banner Pack [Internet], https://www.assetstore.unity3d.com/kr/#!/content/76527.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증