[논문]VR 환경에서 손목 스윙 동작에 대한 스마트폰의 유용성 검증

이충재; 김종현; 이정; 김선정

doi:10.7583/jkgs.2017.17.3.53

VR 환경에서 손목 스윙 동작에 대한 스마트폰의 유용성 검증
Verification of the usefulness of smartphone for wrist swing motion in VR environments 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.17 no.3, 2017년, pp.53 - 62

이충재 (한림대학교 융합소프트웨어학과) , 김종현 (강남대학교 소프트웨어응용학부) , 이정 (한림대학교 융합소프트웨어학과) , 김선정 (한림대학교 융합소프트웨어학과)

초록
AI-Helper

VR 콘텐츠 조작 장비는 높은 가격을 요구하기 때문에 개인이 접하기 쉽지 않다. 특히 VR 콘텐츠 중 사용자의 모션을 추적하는 시스템의 경우 일반적으로 적외선 카메라를 사용하는 별도의 광학 센서 장비를 사용한다. 광학 센서 장비들은 단일기기만 사용할 경우 회전 동작 추적을 할 때 측정 가능한 범위가 측정 방향에 의존적이라는 단점이 있다. 위와 같은 문제들을 해결하기 위해 본 논문에서는 별도의 광학 센서 장비 없이 일반적으로 대중이 보유하고 있는 장비인 스마트폰의 관성센서를 사용하여 측정 방향에 구애 받지 않고 사용자의 회전 동작을 추적할 수 있음을 보인다. 그리고 립모션을 사용한 시스템을 참조 시스템으로, 스마트폰을 사용한 시스템을 평가 시스템으로 정하여 두 시스템의 사용자 만족도를 비교하여 평가 시스템의 유용성을 검증한다.

Abstract ▼ AI-Helper

VR content manipulation equipment is not easy for individuals to access because it requires high prices. Especially, in the case of a system for tracking the motion of the user among the VR contents, a separate optical sensor device using an infrared camera is generally used. The disadvantage of the optical sensor equipment is that the measurable range is dependent on the measurement direction when tracking the rotation motion when using only a single device. In order to solve the above problems, this paper shows that the inertial sensor of the smartphone, which is generally owned by the public, can track the rotational motion of the user regardless of the measurement direction . The system using the LeapMotion is used as the reference system, and the system using the smart phone is defined as the evaluation system, and the usability of the evaluation system is verified by comparing the user satisfaction of the two systems.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 VR 콘텐츠를 구현하여 별도의 광학 센서 장비 없이 스마트폰의 관성센서를 사용하여 간단한 사용자의 회전 동작을 추적할 수 있음을 보였다.
본 논문에서는 스마트폰이 VR 콘텐츠를 조작할 수 있는 대체 기기로서 손색이 없음을 보이기 위해 사용자의 손목 스윙 동작에 따라 조작되는 간단한 게임을 구현하였다. 동일한 게임을 두 개 구현하여 하나는 참조 시스템으로서 광학 센서 장비인 립모션을 사용하여 조작하고 다른 하나는 평가시스템으로서 스마트폰을 사용하여 조작한다.

가설 설정

[가설 1] 게임 점수는 참조 시스템과 평가 시스템이 유사한 점수를 획득 할 것이다.
[가설 2] 설문 문항 1번 immediacy는 참조 시스템보다 평가 시스템이 더 높게 평가 될 것이다.
[가설 3] 설문 문항 2번 sense of agency는 참조 시스템과 평가 시스템이 유사하게 평가 될 것이다.
[가설 4] 설문 문항 3번 sense of ownership은 평가 시스템보다 참조 시스템이 더 높게 평가 될 것이다.
[가설 5] 설문 문항 4번 immersion은 참조 시스템과 평가 시스템이 유사하게 평가 될 것이다.

제안 방법

VR 콘텐츠를 접해 본 피험자와 그렇지 않은 피험자는 서로 다른 설문 결과를 보일 것이라는 추가 가설을 수립하고, VR 콘텐츠 경험자와 미경험자 두 실험군의 데이터를 따로 분류하여 두 집단 간의 상관관계는 없는지 검증하였다. 가설의 검증은 마찬가지로 두 집단 간의 시스템별 설문 문항에 대한 답변과 획득 점수를 모두 비교하였다.
[4]는 Ueda et al.[3]와 마찬가지로 평가 시스템으로써 관성 센서(3축 가속도 센서, 3축 자이로 센서)를 사용하였고, 참조 시스템은 마커 부착 방식의 USB 저가형 카메라를 사용하여 골프 스윙 모션을 추적하였다. 실험 결과는 참조 시스템의 오차보다 평가 시스템의 오차가 더 낮게 발생하였다.
[3]는 골프 클럽의 끝과 샤프트에 적외선 반사 마커를 부착함과 동시에 골프 클럽의 손잡이에 관성 센서(3축 가속도 센서, 3축 자이로센서)를 부착하여 골프 스윙 모션을 추적 하였다. 광학 센서(적외선 반사 마커 이용)로 추적한 시스템을 참조 시스템으로, 관성 센서로 추적한 데이터를 평가 시스템으로 정하고 두 데이터를 비교 하였다. 두 시스템은 유사한 성능을 보였으며, 비용면(돈, 시간, 인력)에서 평가 시스템이 우수함을 보였다.
동일한 게임을 두 개 구현하여 하나는 참조 시스템으로서 광학 센서 장비인 립모션을 사용하여 조작하고 다른 하나는 평가시스템으로서 스마트폰을 사용하여 조작한다. 두 시스템의 사용자 만족도를 비교하여 평가 시스템의 유용성을 검증한다.
또한 VR 콘텐츠 조작을 위한 스마트폰의 유용성을 검증하기 위해서 동일한 콘텐츠의 두 시스템을 구현하여 비교 하였다. 하나는 참조 시스템으로서 광학 센서 장비인 립모션을 사용하여 조작 하도록 구현하고 다른 하나는 평가 시스템으로서 스마트폰을 사용하여 조작 하도록 구현하였다.
또한 추가 가설로 실험에 참여한 피험자들 중에서 VR 콘텐츠 경험 유무에 따른 게임 획득 점수와 사용자 만족도 설문의 각 문항의 평가 점수가 유의미한 차이를 보이는지 분석하였다.
본 논문에서는 사용자 만족도 평가를 위한 설문 문항으로 sense of agency, sense of ownership과 함께 사용자가 시스템에 쉽게 적응 할 수 있는지를 평가하는 immediacy와 사용자가 콘텐츠에 얼마나 몰입할 수 있는지를 평가하는 immersion으로 총 4가지 문항을 평가한다.
사용자 만족도 설문의 경우 사용자들의 주관적인 느낌이기 때문에 리커트 7점 척도를 사용 하였다. 설문 문항은 총 4 문항으로 구성 되고 각 문항별로 참조 시스템과 평가 시스템을 평가 한다. 1번 문항은 시스템 적응 난이도를 뜻하는 immediacy 관련 문항이다.
실험을 위해 구현된 게임의 진행 방식은 [Fig. 1]과 같이 지하 감옥을 묘사한 가상 환경에서 무작위한 위치에서 계속 생성 되는 몬스터가 사용자를 향해 다가와 공격할 때, 조작 되는 객체인 칼로 몬스터를 베어서 처치하는 것이다. 몬스터를 벨 경우 1씩 점수를 획득하고 베지 못할 경우 1명씩 생존자가 감소하여 총 5명의 생존자가 모두 감소하면 게임이 종료되는 방식이다.
[6]는 스마트폰 자이로 센서를 사람의 몸에 부착하고 그 사람의 신체 기능을 측정하는 바이오피드백(Biofeedback) 앱으로 스윙 각도(방향) 추적을 충분히 수행 할 수 있음을 입증하였다. 이를 위해 적외선 반사 마커를 부착한 스마트폰을 사용자의 팔뚝에 부착하여 골프 스윙을 추적하였다. 실험 결과는 스마트폰 자이로 센서의 오차가 충분히 사용 가능할 정도로 낮음을 보였다.
하나는 참조 시스템으로서 광학 센서 장비인 립모션을 사용하여 조작 하도록 구현하고 다른 하나는 평가 시스템으로서 스마트폰을 사용하여 조작 하도록 구현하였다. 피험자들에게 두 시스템을 모두 체험하게 하여 각 피험자들의 게임 획득 점수를 기록하고 사용자 만족도 설문을 받았다.
또한 VR 콘텐츠 조작을 위한 스마트폰의 유용성을 검증하기 위해서 동일한 콘텐츠의 두 시스템을 구현하여 비교 하였다. 하나는 참조 시스템으로서 광학 센서 장비인 립모션을 사용하여 조작 하도록 구현하고 다른 하나는 평가 시스템으로서 스마트폰을 사용하여 조작 하도록 구현하였다. 피험자들에게 두 시스템을 모두 체험하게 하여 각 피험자들의 게임 획득 점수를 기록하고 사용자 만족도 설문을 받았다.

대상 데이터

두 시스템의 사용자 만족도를 평가하기 위해 총 20명의 피험자들을 모집 하였다. 피험자들은 대학교에 재학 중인 20대 학생들이며 남성 17명, 여성 3명으로 구성 되었다.
Unity3D는 안드로이드 플랫폼을 지원하고, 네트워크 기능인 Match Making System을 제공한다. 본 실험에서는 안드로이드 모바일 기기로 Galaxy S7을 사용한다.
두 시스템의 사용자 만족도를 평가하기 위해 총 20명의 피험자들을 모집 하였다. 피험자들은 대학교에 재학 중인 20대 학생들이며 남성 17명, 여성 3명으로 구성 되었다. 피험자들 중 11명은 VR 콘텐츠를 접해 보지 않은 미경험자들이고 9명은 VR 콘텐츠를 접해 본 경험자들이다.

데이터처리

VR 콘텐츠를 접해 본 피험자와 그렇지 않은 피험자는 서로 다른 설문 결과를 보일 것이라는 추가 가설을 수립하고, VR 콘텐츠 경험자와 미경험자 두 실험군의 데이터를 따로 분류하여 두 집단 간의 상관관계는 없는지 검증하였다. 가설의 검증은 마찬가지로 두 집단 간의 시스템별 설문 문항에 대한 답변과 획득 점수를 모두 비교하였다.
가설 검증 방법으로는 서로 다른 두 개의 집단 간의 평균을 비교 하여 집단 간 차이가 유의미한지 검증하는 방법인 독립 표본 t-test를 사용하고자 하였으나, 표본수가 30미만이고 표본이 정규 분포를 따르지 않기 때문에 독립표본 t-test를 사용하기에는 타당하지 않다. 본 논문에서는 표본이 정규 분포를 따르지 않을 때 두 그룹의 평균이 유의미한 차이를 나타내는지 분석하는 검증 방법인 Wilcoxon Rank Sum test를 수행하였다.
실험 데이터 분석과 실험 결과를 시각적으로 확인 할 수 있도록 통계 분석 툴인 R Studio을 사용하였다. [Fig.

이론/모형

참조 시스템은 조작되는 객체인 칼을 조작하기 위해 적외선 카메라를 이용한 광학 추적 센서인립모션을 사용한다. 립모션은 8입방 피트의 추적범위를 가지고 있으며 손과 손가락의 미세한 동작부터 큰 동작까지 인식이 가능하다.
평가 시스템은 조작 되는 객체인 칼을 조작하기 위해 스마트폰 관성 센서를 사용한다. [Fig.

성능/효과

그러나 본 논문에서 구현한 스마트폰 시스템의 경우 WiFi 네트워크 통신으로 데이터를 송수신하기 때문에, USB케이블로 데이터를 송수신하는 광학 센서 시스템에 비해 latency가 높게 나타난다. 그러므로 데이터 전송 방식의 개선을 통한 latency 감소를 위한 연구가 필요하다.
광학 센서(적외선 반사 마커 이용)로 추적한 시스템을 참조 시스템으로, 관성 센서로 추적한 데이터를 평가 시스템으로 정하고 두 데이터를 비교 하였다. 두 시스템은 유사한 성능을 보였으며, 비용면(돈, 시간, 인력)에서 평가 시스템이 우수함을 보였다.
본 논문에서는 스마트폰이 VR 콘텐츠를 조작할 수 있는 대체 장비로 가능함을 보였다. 이와 같은 결과는 대중이 보다 쉽게 VR 콘텐츠를 즐길 수 있도록 하여 VR 콘텐츠 산업 활성화에 이바지 할 수 있을 것으로 예상 된다.
사용자 만족도 설문 문항 3번 sense of ownership의 평가 시스템은 VR 콘텐츠 경험자의 평균이 4.5555, VR 콘텐츠 미경험자의 평균은 6.1111로 VR 콘텐츠 미경험자의 평균이 더 높은 것을 알 수 있고 Wilcoxon Rank Sum test의 p-value가 0.0118로 0.05보다 낮은 걸 알 수 있다. 즉 두 집단은 유의미한 차이가 있고 VR 콘텐츠 미경험자의 만족도가 더 높다고 할 수 있다
사용자 만족도 설문 문항 4번 immersion의 참조 시스템은 VR 콘텐츠 경험자의 평균이 4.0, VR 콘텐츠 미경험자의 평균은 6.2222로 VR 콘텐츠 미경험자의 평균이 더 높은 것을 알 수 있고 Wilcoxon Rank Sum test의 p-value가 0.0008로 0.05보다 낮은 것을 알 수 있다. 즉 두 집단은 유의미한 차이가 있고 VR 콘텐츠 미경험자의 만족도가 더 높다고 할 수 있다.
이를 위해 적외선 반사 마커를 부착한 스마트폰을 사용자의 팔뚝에 부착하여 골프 스윙을 추적하였다. 실험 결과는 스마트폰 자이로 센서의 오차가 충분히 사용 가능할 정도로 낮음을 보였다.
[3]와 마찬가지로 평가 시스템으로써 관성 센서(3축 가속도 센서, 3축 자이로 센서)를 사용하였고, 참조 시스템은 마커 부착 방식의 USB 저가형 카메라를 사용하여 골프 스윙 모션을 추적하였다. 실험 결과는 참조 시스템의 오차보다 평가 시스템의 오차가 더 낮게 발생하였다.
05 보다 클 경우 두 집단의 평균은 유의미한 차이가 없다. 즉 1번 문항인 immediacy만 참조 시스템과 평가 시스템이 유의미한 차이가 있고 평가 시스템이 참조시스템보다 높게 평가 되었다고 할 수 있다.
피험자들의 게임 획득 점수와 사용자 만족도 설문의 각 문항의 평가 점수는 실험 전에 수립한 가설의 유효성을 검증하였고 연구 목적에 부합하는 긍정적인 결과를 보였다.
이는 [가설 4]가 유효하지 않음을 증명한다. 하지만 본 논문의 연구 목적은 평가 시스템의 유용성을 검증하는 것이기 때문에 4번 가설의 검증 결과는 긍정적이라고 할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스마트폰은 관성 센서와 가속도 센서를 탑재하여 사용자의 회전 동작을 추적 할 수 있어서 어떤 것을 대체 할 수 있는가?	스마트폰은 관성 센서와 가속도 센서를 탑재하고 있고 위와 같은 센서들을 활용하면 사용자의 회전 동작을 추적 할 수 있다. 다시 말해, 스마트폰은 대중의 대부분이 이미 보유하고 있는 장비이고 별도의 VR 장비 구매 없이 VR 콘텐츠를 조작할 수 있는 대체 기기가 될 수 있다. 스마트폰이 일반적인 VR 콘텐츠 조작의 대체 장비가 된다면 대중이 보다 쉽게 VR 콘텐츠를 즐길 수 있고 더 나아가 VR 콘텐츠 산업 활성화에 이바지 할 수 있을 것이다.
	광학 센서 장비들의 단점은?	특히 VR 콘텐츠 중 사용자의 모션을 추적하는 시스템의 경우 일반적으로 적외선 카메라를 사용하는 별도의 광학 센서 장비를 사용한다. 광학 센서 장비들은 단일기기만 사용할 경우 회전 동작 추적을 할 때 측정 가능한 범위가 측정 방향에 의존적이라는 단점이 있다. 위와 같은 문제들을 해결하기 위해 본 논문에서는 별도의 광학 센서 장비 없이 일반적으로 대중이 보유하고 있는 장비인 스마트폰의 관성센서를 사용하여 측정 방향에 구애 받지 않고 사용자의 회전 동작을 추적할 수 있음을 보인다.
	VR 콘텐츠의 대표적인 조작 방식은?	VR 콘텐츠의 대표적인 조작 방식은 사용자의 움직임을 추적하는 모션 캡쳐 시스템(Motion Capture System)이다. 모션 캡쳐 시스템은 대부분 적외선 카메라를 이용하는 광학 센서 장비를 사용하는데 대표적인 상용화 기기로 Microsoft Kinect, Leap Motion 등을 예로 들 수 있다.

참고문헌 (8)

http://news.naver.com/main/read.nhn?modeLSD&midsec&sid1105&oid020&aid0002984721
http://biz.chosun.com/site/data/html_dir/2015/07/08/2015070801270.html
Masahiko Ueda, Hiroshi Negoro, Yosuke Kurihara, Kajiro Watanabe, "Measurement of Angular Motion in Golf Swing by a Local Sensor at the Grip End of a Golf Club", IEEE Transactions on Human-Machine Systems, Vol. 43, No. 4, pp398-404, 2013.

상세보기
Cao Nguyen Khoa Nam, Hee Jun Kang, Young Soo Suh, "Golf Swing Motion Tracking Using Inertial Sensors and a Stereo Camera", IEEE Transactions on Instrumentation and Measurement, Vol. 63, No. 4, pp943-952, 2014.

상세보기
Marin-Perianu R, Marin-Perianu M, Havinga P, Taylor S, Begg R, Palaniswami M, Rouffet D , "A performance analysis of a wireless body-area network monitoring system for professional cycling", Personal and Ubiquitous Computing, Vol. 17, No. 1, pp197-209, 2013.

상세보기
Anton Umek, Anton Kos, Sao Tomaic, "Validation of Smartphone Gyroscopes for Angular Tracking in Biofeedback Applications", Identification, Information, and Knowledge in the Internet of Things, pp294-298, 2015.
Ferran Argelaguet, Ludovic Hoyet, Michael Trico, Anatole Lecuyer, "The role of interaction in virtual embodiment: Effects of the virtual hand representation", IEEE Virtual Reality, pp3-10, 2016.
Koichi Hirota, Kazuyoshi Tagawa, "Interaction with virtual object using deformable hand", \IEEE Virtual Reality, pp49-56, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증