[논문]사용자의 생체 신호를 이용한 감성 컴퓨팅 게임 개발

이충현; 김동균; 김혜영; 강신진

doi:10.7583/jkgs.2016.16.6.91

[국내논문] 사용자의 생체 신호를 이용한 감성 컴퓨팅 게임 개발
Developing Affective Computing Game with Player's Bio-Signal 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.16 no.6, 2016년, pp.91 - 100

이충현 (홍익대학교 게임학부) , 김동균 (홍익대학교 게임학부) , 김혜영 (홍익대학교 게임학부) , 강신진 (홍익대학교 게임학부)

초록
AI-Helper

본 연구에서는 사용자의 생체 신호를 반영한 감성 컴퓨팅 게임을 개발하였다. 생체 신호 측정을 위해 GSR(Galvanic Skin Response), FSR(Force Sensing Resistor), 온도 센서(Infrared Thermometer)를 장착한 마우스를 제작하였다. 해당 마우스를 통해 게임을 하는 사용자의 생체 신호를 비침투적으로 측정한다. 측정된 데이터는 실시간으로 처리되어 사용자의 긴장도를 3단계로 구분하며 구분된 긴장도는 반영되어 NPC(Non-Player Character)의 정서 반응과 스토리 분기의 변화를 가능하게 한다. NPC의 반응과 스토리 분기의 제작을 위해 Live 2d, Inkle Script를 사용하였다. 본 연구를 통해 사용자의 생체 신호를 이용한 감성 컴퓨팅 게임 제작에 하나의 방법론을 제시한다.

Abstract ▼ AI-Helper

In this research, Affective computing game has been developed which reacts with a player's bio-signals. A modified computer mouse will be used to collect bio-signals by GSR, FSR, and infrared thermometer. This modified computer mouse collect human bio-signals in non-intrusive way. The collected data is complementary reflected in 3 level of tension of a player. The player's tension affects on the game and the reaction for NPC will be followed. Then this leads to plot changes individually. To let diverse NPC reaction and interactive story telling, Live 2d and Inkle Script have been used. This research can be alternative method on the game development using Affective computing.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존 연구에서 사용자의 정서 정보를 얻기 위해 다양한 하드웨어 및 센서를 사용하는 시도를 했다. 본 연구에서는 게임에 적합한 정서 인식을 적용하기 위해서는 비침투적 하드웨어만 사용되어야 한다고 판단했다. 사용자의 정서 정보를 얻기 위한 디바이스의 가짓수와 부피를 최소화 하면 게임에 불 필요한 디바이스를 설치하거나, 센서를 몸에 붙일 필요가 없게 된다.
사용자의 선택에 따른 스토리 분기는 사용자의 선택이 게임에 반영하여 유저와 게임 세계의 거리를 줄인다는 장점이 있다. 본 연구는 이러한 장점에 사용자의 정서를 더하여 게임에 반영함으로써 유저와 게임 세계와의 거리를 조금 더 줄여보고자 한다.
그러나 사용자의 정서를 파악하는 것은 매우 어려운 일이며, 다양한 장치가 필요하다. 그렇기 때문에 본 연구에서는 게임에 이용하는 장치 안에서 사용자의 심리적 불안 상태를 확인하여 게임에 이용하는 방향으로 기획을 진행하였다. 또한 사용자의 감정을 게임에 반영하기에 적합한 장르는 연애 시뮬레이션이라고 판단을 하였다.
본 연구에서는 사용자의 게임에 적합한 사용자의 감성 정보를 얻기 위해 생체 신호 측정 센서가 부착된 마우스를 제작 하였다. 생체 신호 측정 마우스는 기존의 PC게임 환경과 유사한 환경에서 사용자의 생체 신호를 수집할 수 있게 해 주었다.
본 연구는 기존의 PC게임 환경과 유사한 하드웨어 수준으로 사용자의 정서 정보를 실시간으로 반영한 게임의 제작 방법의 예시가 될 수 있다고 생각한다. 연애 시뮬레이션 장르는 특히나 사용자의 감성이 매우 중요한 요소로 작용하기 때문에 이렇게 간단한 하드웨어를 통해 사용자의 감성 정보를 반영하는 것은 좋은 경쟁력을 얻을수 있으리라 예상한다.

제안 방법

본 연구에서는 GSR, FSR, 온도 센서, 세 종류의 센서를 사용한다. 하지만 기존에 이용되었던 부착 하드웨어 대신 PC게임에 대부분 이용되는 마우스에 생체 신호 정보 수집을 위한 센서를 부착하여 비침투적으로 사용자의 생체 신호를 측정한다. 또한 한 대의 PC에서 게임과 생체 신호 측정값을 처리한다.
때문에 측정 수치를 별도의 보정 없이 게임에 전달하여 바로 사용하는 것은 부적합하다. 따라서 감성 컴퓨팅을 게임에 적용시키기 위한 디자인을 보여주는 연구[4]를 참조하여 사용자를 모델링한다. 모델은 사용자의 긴장 정도를 나타낸다.
둘째, 생체 신호를 반영하기에 적절한 게임의 장르를 선택하는데 도움을 줄 수 있다. 셋째, 생체 신호를 반영하여 사용자의 선택 정보를 어떻게 재구성하는지 하나의 방법론을 제시한다.
그로인해 사용자는 기존에 게임을 하던 환경과 비슷한 환경에서 게임을 할 수 있고 이는 게임의 중요한 요소 중 하나인 몰입감을 증가 시킬 수 있다고 판단할 수 있다. 그렇기 때문에 본 연구에서는 사용자의 생체 신호를 입력받을마우스를 제작하여 게임에 적용하였다.
압력이 셀수록 측정값이 높아진다. GSR은 두 접점 사이의 저항을 측정하기 때문에 사용자가 일반으로 두 손가락을 올려놓는 마우스의 버튼 양쪽에 알루미늄 테이프를 붙여 GSR의 값을 측정하였다. GSR의 측정값은 사용자의 정서적 변화가 심할수록 낮아지는 형태로 기록된다.
마우스에 센서를 부착한 후, 해당 마우스가 측정값을 원활히 제공하는지에 대해 자체적으로 제작한 테스트 툴을 통해 테스트를 진행하였다.
본 연구에 사용되는 게임은 사용자의 선택을 통한 스토리 분기를 기본으로 한다. 사용자는 게임스토리에서 파생되는 2개 이상의 선택지 중 하나를 선택하게 되며, 사용자의 선택은 게임의 스토리 진행에 사용된다.
때문에 질의응답 통해 사용자의 생체 신호 패턴을 파악한다. 질문은 10개의 문항으로 이루어져 있으며, 쉽게 대답할 수 있는 쉬운 질문과 대답하기 위해 생각을 많이 해야 하는 질문 그리고 어쩔 수 없이 거짓말을 해야 하는 질문으로 구성되어 있다.
사용자가 각 질문을 보기 시작한 시간부터 대답한 시간까지 GSR, FSR, 온도 센서의 값을 측정한다. 측정값의 경우 노이즈값 제거를 위해 최대, 최소 5%의 극단값을 제외한 절사평균을 측정한다.
또한 사람의 정서를 9가지로 나누어 해당 감성에 게임 콘텐츠가 변화하는 연구가 있었다[15]. 하지만 스토리 분기형 게임에서 게임 선택지와 사용자 정서의 조합 가짓수가 많아질 경우 실질적인 게임 제작이 어려워지는 문제가 있기 때문에 본 연구에서는 이를 단순화 시켜 3개의 정서 상태로 사용자의 정서를 나눈다.
GSR, FSR, 온도 3개의 센서가 평균 범위 안에 있을 때는 정상, 1개의 측정값이 평균과 벗어날 때 약한 긴장 상태, 2개 이상의 측정값이 평균범위를 벗어날 때 강한 긴장상태로 사용자를 모델링한다. 사용자가 선택지의 질문을 선택할 때 선택지의 결과는 사용자의 상태에 따라 달라지는데, 예를 들면 사용자가 강한 긴장상태에서 선택지를 선택했을때, 해당 선택지에 대한 정보를 더 상세히 제공한다.
본 연구에서 제작한 게임은 사용자의 정서가 게임 진행에 영향을 미치기 때문에 게임에 등장하는 NPC도 또한 정서가 필요하다고 생각했다. 사용자의 선택에 따라 NPC의 반응을 글자뿐만이 아니라 사람과 같은 행동으로 표현하기 위해 Fig. 8의 Live 2D툴을 통해 NPC의 애니메이션을 제작하였다. NPC는 사용자의 대화 선택과 긴장도에 따라다른 애니메이션을 보여주어 사용자에게 정서적 피드백을 제공한다.
게임의 장르는 연애시뮬레이션이며 사용자는 두 개의 NPC 중 하나의 NPC를 선택하여 게임을 진행한다. NPC는 본 게임 진행에 앞서 사용자에게 질문을 하는데, 해당 내용은 게임의 일부처럼 진행이 되며 센서의 측정값은 [Fig.
생체 신호 측정 마우스는 기존의 PC게임 환경과 유사한 환경에서 사용자의 생체 신호를 수집할 수 있게 해 주었다. 그리고 해당 센서의 측정값을 바탕으로 사용자를 모델링 하였으며, 마지막으로 해당 모델을 적용한 스토리 분기형 게임을 제작했다. 모델이 적용된 게임은 사용자의 기존 게임의 질의응답 시스템에서 정해진 답변결과만을 보내는 것이 아니라 사용자의 정서도 어느 정도 반영할 수 있게 해 주었다.

대상 데이터

하지만 게임을 하는데 있어서 추가적인 부착 하드웨어는 침투적이다. 본 연구에서는 GSR, FSR, 온도 센서, 세 종류의 센서를 사용한다. 하지만 기존에 이용되었던 부착 하드웨어 대신 PC게임에 대부분 이용되는 마우스에 생체 신호 정보 수집을 위한 센서를 부착하여 비침투적으로 사용자의 생체 신호를 측정한다.
측정값의 경우 노이즈값 제거를 위해 최대, 최소 5%의 극단값을 제외한 절사평균을 측정한다. 실험은 20대 학생 10명을 대상으로 했다.
긴장도는 전체 게임에서 얻을 수 있는 긴장수치로 사용자가 획득한 긴장수치를 나눈 값이며 0-1의 값을 갖는다. 10명의 사용자가 2번의 게임플레이를 진행했다. 그림11의 각 엔딩 안의 숫자는 해당 엔딩의 등장횟수 이다.

성능/효과

FSR은 측정하는데 있어 사용자의 마우스 사용습관이 매우 큰 비중을 차지했다. 응답 도중 마우스를 움직일 때는 FSR의 평균 수치가 낮아지는 경향을 보였으며 움직이지 않고 마우스를 쥐고 있을 때는 FSR평균 수치가 올라가는 경향을 보였다. 마우스의 버튼을 클릭하지 않아도 FSR 수치가 평균보다 높게 측정되는 구간이 있었다.
센서와 사용자 신체의 거리가 가까워질 때 온도가 상승했다. 두 번째는 사용자의 사용 자세 변화 없이 측정값이 상승하는 상황이었다. 첫 번째 경우 마우스를 움켜쥐는 상황에서 발생했고, 두 번째 경우 체온이 상승했다고 볼 수 있다.
이러한 상황은 본 연구에서 의도한 사용자의 감정을 게임에 반영하는 것이 적용 되었다고 판단 할 수 있게 해준다. 게임 후의 설문조사에서 같은 선택결과에서 다르게 반응한 NPC가 좋은 평가를 받았다. 7명의 사용자가 같은 선택상황에서 다르게 반응하는 NPC를 보고 게임에 대한 호감이 증가했다고 평가했다.

후속연구

연애 시뮬레이션 장르는 특히나 사용자의 감성이 매우 중요한 요소로 작용하기 때문에 이렇게 간단한 하드웨어를 통해 사용자의 감성 정보를 반영하는 것은 좋은 경쟁력을 얻을수 있으리라 예상한다. 추후에 기존의 하드웨어에 더 많은 생체 신호 측정 센서를 부착하거나 좀 더 정교한 모델링을 통해 사용자의 감정 정보를 더 적절히 게임에 반영 할 수 있으리라 생각한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	마우스로 측정된 데이터로 무엇을 하는가?	해당 마우스를 통해 게임을 하는 사용자의 생체 신호를 비침투적으로 측정한다. 측정된 데이터는 실시간으로 처리되어 사용자의 긴장도를 3단계로 구분하며 구분된 긴장도는 반영되어 NPC(Non-Player Character)의 정서 반응과 스토리 분기의 변화를 가능하게 한다. NPC의 반응과 스토리 분기의 제작을 위해 Live 2d, Inkle Script를 사용하였다.
	생체 신호 측정을 위해 무엇을 하였는가?	본 연구에서는 사용자의 생체 신호를 반영한 감성 컴퓨팅 게임을 개발하였다. 생체 신호 측정을 위해 GSR(Galvanic Skin Response), FSR(Force Sensing Resistor), 온도 센서(Infrared Thermometer)를 장착한 마우스를 제작하였다. 해당 마우스를 통해 게임을 하는 사용자의 생체 신호를 비침투적으로 측정한다.
	GSR, FSR, 온도센서를 장착한 마우스를 통해 무엇을 하는가?	생체 신호 측정을 위해 GSR(Galvanic Skin Response), FSR(Force Sensing Resistor), 온도 센서(Infrared Thermometer)를 장착한 마우스를 제작하였다. 해당 마우스를 통해 게임을 하는 사용자의 생체 신호를 비침투적으로 측정한다. 측정된 데이터는 실시간으로 처리되어 사용자의 긴장도를 3단계로 구분하며 구분된 긴장도는 반영되어 NPC(Non-Player Character)의 정서 반응과 스토리 분기의 변화를 가능하게 한다.

참고문헌 (17)

J, Tao and T, Tan, "Affective computing: A review." International Conference on Affective Computing and Intelligent Interaction, pp. 981-995, 2005.
P, Helmut, "Using human physiology to evaluate subtle expressivity of a virtual quizmaster in a mathematical game", Int. J. Human-Computer Studies 62, pp. 231-245, 2005.

상세보기
H, Heo, "A realistic game system using multi-modal user interfaces", IEEE Transactions on Consumer Electronics, Vol. 56, No. 3, pp. 1364-1372, 2010.

상세보기
H, Eva, "Affective computing for game design", In Proceedings of the 4th Intl. North American Conference on Intelligent Games and Simulation (GAMEON-NA),pp. 5-12, 2008.
F, Dellaert and T, Polzin and A, Waibel, "Recognizing emotion in speech", In Proc. Of ICSLP 1996, Philadelphia, PA, pp. 1970-1973, 1996.
Petrushin, "Emotion recognition in speech signal: experimental study, development, and application", studies, 3, 4, 2000.
CG, Kohler, et al, "Facial emotion recognition in schizophrenia: intensity effects and error pattern.", American Journal of Psychiatry 160.10, pp. 1768-1774, 2003.

상세보기
Z, Zeng, et al. "Audio-visual affect recognition." IEEE Transactions on multimedia Vol. 9,No. 2, pp.424-428, 2007.

상세보기
AC, Merzagora, et al, "Wavelet analysis for EEG feature extraction in deception detection." EMBS'06. 28th Annual International Conference of the IEEE, pp. 2434-2437, 2006.
WU, Guanghua and LIU, Guangyuan and HAO, Min. "The analysis of emotion recognition from GSR based on PSO", International Symposium on. IEEE, pp. 360-363. 2010.
HD, Kim and HC, Yang and KB, Sim, "Emotion Recognition Method for Driver Services.", Korean Institute of Intelligent Systems, pp. 438-442, 2007.
Electroencephalography setup image, https://en.wikipedia.org/wiki/Electroencephalography
Facade, http://www.interactivestory.net/
HS, Jang and WH, Lee, "Using Biofeedback and an observational learning theory for intelligent game NPC Design", Korean Society For Internet Information, Vol. 9, No. 2, pp.409-412, 2008.
MY, Kim, et al, "Korean Society For Internet Information", The Korean Society for Computer game, Vol. 24, No. 4, pp. 73-80, 2011.
Inkle Script, http://www.inklestudios.com/
Live 2d, http://www.live2d.com

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증