[논문]BCI 리듬게임을 위한 시청각 피드백 생성에 관한 연구

김철민; 강경헌; 김은석

doi:10.7583/jkgs.2013.13.6.15

BCI 리듬게임을 위한 시청각 피드백 생성에 관한 연구
A Study on the Generation Method of Visual-Auditory Feedback for BCI Rhythm Game 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.13 no.6, 2013년, pp.15 - 26

김철민 (디지털콘텐츠협동연구센터) , 강경헌 (디지털콘텐츠협동연구센터) , 김은석 (동신대학교 디지털콘텐츠학과)

초록
AI-Helper

최근 BCI(Brain Computer Interface) 기술의 발전과 함께 보급형 BCI 장치를 활용한 게임연구가 활발히 진행되고 있다. BCI 게임은 대부분 연구를 위한 실험적인 체험용 콘텐츠 형태로 개발되어 왔으며, 명령 패러다임에 있어서 BCI 게임 명령에 적합한 뇌파를 유도하는 방법에 대한 연구는 미흡하다. 본 연구에서는 음악의 리듬을 시청각적으로 표현하는 새로운 플레이 요소를 제공하는 BCI 리듬게임과 음악의 템포와 뇌파를 동기화 시켜 다양한 형태의 시청각 피드백을 생성하는 방법을 제안한다. 제안방법은 실험을 통해 게임조작에 필요로 하는 뇌파를 유도하여 게임점수를 향상시킬 수 있음을 확인하였다.

Abstract ▼ AI-Helper

In recent years, studies in BCI game with popular BCI devices are progressing actively by the development of BCI(Brain Computer Interface) techniques. Most of BCI games have developed as experimental contents for researching. On the game control paradigm, it is insufficient to conduct a study about induced methods of proper barinwave to control the BCI game. In this study, we suggest a rhythm game using BCI which has a new play element that visualizes the rhythm of music and represents the notes of music in sound and a generation method of visual-auditory feedback through the synchronization of the tempo of music with brainwave. Experimental Results make certain that our suggestion is possible for the improvement of game score through the induction of brainwave that is necessary to control the game.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 BCI를 이용하여 연주하는 리듬게임을 제안한다. 이를 위해 연주방법을 청각적으로 인지시키고, 음악의 리듬을 시각적으로 표현하는 기법과 조작에 필요한 뇌파 리듬에 동기화 되는 다양한 시청각 피드백 생성 방법을 제시한다.
실험은 30대 직장인 6명을 대상으로 3주간에 걸쳐 총 20회 수행하였고 회당 두가지 환경으로 게임 점수를 측정하였다. 본 실험에서는 사용자의 뇌파는 컨디션에 따라 큰 편차를 보일 수 있기 때문에 세 가지 실험환경에서의 게임 점수 차이를 확인하고자 하였다.
또한, BCI 게임의 조작 행위로 사용되는 사용자의 의지는 몰입도 수준에 의해 결정되며, 다양한 자극이 제공됨으로써 증가한다. 본 연구에서는 연주해야할 노트의 위치에 따라 양쪽 귀에 들리는 음악의 강도를 조절하여 뇌를 자극하고 청각적으로 인지시키기 위한 방법을 사용하였다.
본 연구에서는 음악의 변화와 연관성이 있는 뇌파를 이용하여 뇌파 리듬에 따라 노트를 연주할 수 있는 리듬게임을 개발하였다. 이를 위하여 음악의 리듬을 시각화 하는 방법과 시각적인 노트를 청각으로 표현할 수 있는 새로운 플레이 요소를 생성하여 BCI 리듬게임의 조작방법을 습득할 수 있도록 디자인 하였다.
본 연구에서는 제안한 BCI 리듬게임에서 뇌파와 동기화되어 생성된 시청각 피드백이 사용자 게임 숙련도에 어떠한 영향을 미치는지 확인하기 위한 실험을 실시하였다. 실험은 30대 직장인 6명을 대상으로 3주간에 걸쳐 총 20회 수행하였고 회당 두가지 환경으로 게임 점수를 측정하였다.

가설 설정

실험자에게 제공된 리듬게임 플레이 정보와 뇌파와 동기화 되어 발생하는 피드백이 뇌를 자극하는 정도의 기준은 다를 것이다. 또한 피드백에 따라 조작방법으로 사용하는 뇌파에 어떠한 영향을 끼치는지는 사용자의 몫이 된다.

제안 방법

시뮬레이션 게임 분야에서는 Pengfei의 ‘Virtual 3D Vehicle Control Game[6]’ 연구에서[Fig. 1](b)와 같이 사용자가 실제 운전할 때 나타나는 뇌파의 패턴을 사용하여 온라인 상태에서 3D 자동차를 운전할 수 있도록 하였다. 퍼즐 게임 장르에서는 [Fig.
10]은 게임 결과 화면으로 게임 진행 중 획득한 집중도, 명상도를 그래프로 표현하고 게임 결과 정보를 보여준다. 게임 결과 정보에는 연주된 노트의 판정과 최종 게임 점수, 집중도와 명상도 정보로 이루어져 있으며, 평균 집중도 레벨과 게임 점수를 반영한 결과를 6단계(S, A, B, C, D, F)로 평가한다. 또한, 평균 집중도, 평균 명상도, 최종 게임 점수는 게임을 수행했던 전체 DB와 선택한 곡으로 분류된 DB에서 순위를 산출하여 제공한다.
게임속도는 음악의 템포에 그대로 반영되므로, 음악의 템포 변경에 따라 사용자가 느끼는 리듬은 미세한 변화에도 이질감을 느낄 수 있다. 따라서 자연스러운 리듬 변화를 주기위해 게임속도는 바로 적용하지 않고 0.1초마다 현재 게임속도와 비교하여 0.001씩 증감시켜 목표 게임 속도에 도달하도록 하였다. 변경된 음악 템포는 3.
이를 위하여 음악의 리듬을 시각화 하는 방법과 시각적인 노트를 청각으로 표현할 수 있는 새로운 플레이 요소를 생성하여 BCI 리듬게임의 조작방법을 습득할 수 있도록 디자인 하였다. 또한 노트연주에 유효한 뇌파를 유도하기 위해 리듬게임의 플레이 리소스를 뇌파와 동기화하여 음악의 템포와 패닝, BPM 애니메이션, 노트의 속도와 불투명도를 피드백으로 제공하였고, 숙련도를 평가할 수 있는 방법을 제안하였다.
7]의 ‘bad’ 라인으로 내려가지 않았을 때의 연속을 ‘콤보(combo)’로 정의하여 활용하였다. 리듬편차와 콤보는 노트를 연주하고 추가로 받는 점수를 결정하며, 최종 게임 점수를 결정하는 중요한 변수가 되도록 하였다. 리듬편차는 현재까지 연주된 노트의 평균 집중도 레벨과 마지막에 연주한 노트의 레벨 차이를 0에서 1사이의 값으로 표현한다.
기본 점수만 적용하였을 때를 살펴보면, 평균 집중도가 조금 높은 B의 게임 점수가 2100점 높았지만, 리듬편차와 콤보를 사용하여 추가 점수가 적용된 결과에서는 A의 게임 점수가 6777점 높아지는 결과를 만들어 내었다. 본 논문에서 제안하는 BCI 리듬게임은 단순히 집중도에 따라 노트가 연주되는 시뮬레이션이 아니라 A와 같은 뇌파 발생을 유도하는 상호작용 피드백을 제공하여 게임의 숙련도가 정의될 수 있도록 설계하였다.
BCI 장치를 통해 획득된 명상도는 사용자의 심리적인 평안함을 수치로 나타낸다. 본 연구에서 명상도는 사용자의 심리상태를 노트의 불투명도로 표현하는 시각적 피드백으로 활용한다. 명상도 수치는 0에서 100사이의 값을 가지는 불투명도에 대칭되며, 급격한 변화로 튀는 현상을 방지하기 위하여 0.
음악시각화 구성요소는 노트를 표현하는 방법에 따라 정의되며 리듬게임의 디자인 및 플레이 요소를 결정한다. 본 연구에서는 BMS를 구성하는 노트의 배열과 BPM 정보를 음악시각화 구성요소로 사용한다. [Fig.
본 연구에서는 제안한 BCI 리듬게임에서 뇌파와 동기화되어 생성된 시청각 피드백이 사용자 게임 숙련도에 어떠한 영향을 미치는지 확인하기 위한 실험을 실시하였다. 실험은 30대 직장인 6명을 대상으로 3주간에 걸쳐 총 20회 수행하였고 회당 두가지 환경으로 게임 점수를 측정하였다. 본 실험에서는 사용자의 뇌파는 컨디션에 따라 큰 편차를 보일 수 있기 때문에 세 가지 실험환경에서의 게임 점수 차이를 확인하고자 하였다.
본 연구에서는 음악의 변화와 연관성이 있는 뇌파를 이용하여 뇌파 리듬에 따라 노트를 연주할 수 있는 리듬게임을 개발하였다. 이를 위하여 음악의 리듬을 시각화 하는 방법과 시각적인 노트를 청각으로 표현할 수 있는 새로운 플레이 요소를 생성하여 BCI 리듬게임의 조작방법을 습득할 수 있도록 디자인 하였다. 또한 노트연주에 유효한 뇌파를 유도하기 위해 리듬게임의 플레이 리소스를 뇌파와 동기화하여 음악의 템포와 패닝, BPM 애니메이션, 노트의 속도와 불투명도를 피드백으로 제공하였고, 숙련도를 평가할 수 있는 방법을 제안하였다.
본 논문에서는 BCI를 이용하여 연주하는 리듬게임을 제안한다. 이를 위해 연주방법을 청각적으로 인지시키고, 음악의 리듬을 시각적으로 표현하는 기법과 조작에 필요한 뇌파 리듬에 동기화 되는 다양한 시청각 피드백 생성 방법을 제시한다. 2장에서는 BCI 게임 동향과 리듬게임의 구성 및 조작 인터페이스에 대해 알아보고, 3장에서는 뇌를 자극하기 위한 게임 디자인과 뇌파를 이용한 리듬게임 연주 방법 및 시청각 피드백 생성 방법을 설명한다.
이를 위해 평균 집중도 레벨의 변화량을 ‘리듬편차’라 정의하고, 노트를 연주할 때 집중도가 [Fig. 7]의 ‘bad’ 라인으로 내려가지 않았을 때의 연속을 ‘콤보(combo)’로 정의하여 활용하였다.
실험에 사용된 곡은 실험의 일관성을 위하여 한 곡을 선정하여 진행하였다. 일반인에게 친숙한 132 BPM 빠르기의 댄스가요를 지루하지 않도록 1분 52초로 편집하고, 총 216개로 구성된 노트 배열을 생성하여 플레이 리소스로 사용하였다. [Fig.
좌우 스피커로 분산되는 비율은 음의 강도에 따라 자연스러운 소리의 변화를 주기 위해 0.1초마다 계산하였다.
첫 번째 실험환경(A)에서는 피드백을 제공하지 않고 음악만을 피실험자에게 제공한다, 두 번째 실험환경(B)에서는 음악에 따라 노트 패턴을 매칭시켜 제공하며, 세 번째 실험환경(C)에서는 노트의 불투명도, 스피커 패닝, 노트의 속도, BPM 애니메이션, 음악의 템포와 같은 모든 피드백을 제공하도록 하였다. 실험에 사용된 곡은 실험의 일관성을 위하여 한 곡을 선정하여 진행하였다.

이론/모형

BCI 리듬 게임에서 뇌파를 획득하기 위한 BCI 장치로는 NeuroSky社의 Mindwave Mobile을 사용하였고, 0에서 100사이의 디지털 신호로 변환되는 집중도와 명상도를 인터랙션(interaction) 인터페이스로 활용한다.

성능/효과

기본 점수만 적용하였을 때를 살펴보면, 평균 집중도가 조금 높은 B의 게임 점수가 2100점 높았지만, 리듬편차와 콤보를 사용하여 추가 점수가 적용된 결과에서는 A의 게임 점수가 6777점 높아지는 결과를 만들어 내었다. 본 논문에서 제안하는 BCI 리듬게임은 단순히 집중도에 따라 노트가 연주되는 시뮬레이션이 아니라 A와 같은 뇌파 발생을 유도하는 상호작용 피드백을 제공하여 게임의 숙련도가 정의될 수 있도록 설계하였다.
이러한 점을 고려하였을 때, 모든 실험자의 게임점수가 일정하게 상승하지 않았다는 것은 실험자들이 서로 다른 숙련도를 나타내었다고 해석할 수 있다. 또한 실험이 진행되면서 실험자의 컨디션에 따라 그래프의 변화는 발생하지만, 두 실험 결과 사이의 편차가 일정하게 유지하는 것으로 볼 때 제안하는 피드백은 게임조작에 필요로 하는 뇌파를 유도했다고 판단할수 있다.
실험결과 제안하는 BCI 리듬게임은 단순히 뇌파에 따라 노트를 연주하는 시뮬레이션이 아니라 사용자의 피드백 습득능력에 따라 게임점수를 향상시킬 수 있음을 보여주고 있으며, 이러한 결과를 통해 뇌파를 리듬게임의 조작도구로 활용하는 것이 가능함을 확인하였다.
피드백의 제공 유무에 따라 실험자들의 게임점수 상승률을 [Table 5]와 같이 실험환경에 따라 평균으로 분석해보면 전반적으로 게임점수는 향상되었음을 확인할 수 있다. 실험자 1과 4의 게임점수는 큰 폭으로 상승하였고, 실험자 3과 6은 소폭 상승하였으며, 실험자 5는 소폭 하락하였다.

후속연구

본 연구에서 제안한 BCI 리듬게임은 뇌파를 게임 인터페이스를 활용함에 있어서 시청각 피드백을 활용한 사례로 제시 될 것이다. 그리고 본 논문에서 제안한 뇌파와 시청각 요소를 동기화하고 다양한 피드백을 통해 사용자의 몰입도와 숙련도를 유도하는 방법은 뇌파를 활용한 리듬게임 장르에서 게임 명령으로 활용될 수 있을 것이라 기대된다. 향후 BCI 리듬게임에 시청각 이외의 감각 요소를 확장하여 게임에 대한 사용자의 흥미와 집중도를 높일 수 있는 연구를 진행할 예정이다.
본 연구에서 제안한 BCI 리듬게임은 뇌파를 게임 인터페이스를 활용함에 있어서 시청각 피드백을 활용한 사례로 제시 될 것이다. 그리고 본 논문에서 제안한 뇌파와 시청각 요소를 동기화하고 다양한 피드백을 통해 사용자의 몰입도와 숙련도를 유도하는 방법은 뇌파를 활용한 리듬게임 장르에서 게임 명령으로 활용될 수 있을 것이라 기대된다.
그리고 본 논문에서 제안한 뇌파와 시청각 요소를 동기화하고 다양한 피드백을 통해 사용자의 몰입도와 숙련도를 유도하는 방법은 뇌파를 활용한 리듬게임 장르에서 게임 명령으로 활용될 수 있을 것이라 기대된다. 향후 BCI 리듬게임에 시청각 이외의 감각 요소를 확장하여 게임에 대한 사용자의 흥미와 집중도를 높일 수 있는 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	뇌전도는 무엇인가?	뇌파(腦波)는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로 심신의 상태에 따라 각각 다르게 나타나며 뇌의 활동 상황을 측정하는 가장 중요한 지표이다. 전극을 이용하여 측정하고 얻어지는 뇌 표면의 미세한 신호 궤적을 뇌전도(EEG: electroencephalogram)라고 부른다. BCI는 사람의 두뇌와 컴퓨터를 연결해 뇌파를 이용하여 컴퓨터를 제어하는 기술이다.
	리듬게임은 무엇인가?	리듬게임이란 음악에 맞춰서 손, 혹은 몸을 사용해 조작하는 게임을 총칭하는 말로 ‘음악 게임’ 혹은 ‘리듬 액션 게임’이라고도 하며 음악과 악보라고 할 수 있는 노트(note)로 구성된다. 노트는 음악의 박자에 따라 미리 정의된 연주 패턴으로서 사용자에게 타이밍에 맞춰 주어진 입력을 요구하는 수단으로 사용된다.
	리듬게임의 노트는 무엇인가?	리듬게임이란 음악에 맞춰서 손, 혹은 몸을 사용해 조작하는 게임을 총칭하는 말로 ‘음악 게임’ 혹은 ‘리듬 액션 게임’이라고도 하며 음악과 악보라고 할 수 있는 노트(note)로 구성된다. 노트는 음악의 박자에 따라 미리 정의된 연주 패턴으로서 사용자에게 타이밍에 맞춰 주어진 입력을 요구하는 수단으로 사용된다. 반복되는 노트의 패턴은 음악을 지각하는데 유용하고, 음악과 노트의 매칭이 정확할수록 사용자의 몰입도를 높일 수 있다[15]. [Fig.

참고문헌 (16)

J.J. Vidal "Toward Direct Brain-Computer Communication", Annual Review of Biophy sics and Bioengineering, Vol. 2, pp. 157-180, 1973.

상세보기
Q. Noirhomme, R.I. Kitney, and B. Macq, "Single-Trial EEG Source Reconstruction for Brain-Computer Interface", IEEE Transactions on Biomedical Engineering, Vol. 55, No. 5, pp. 1592-1601, 2008.

상세보기
D. Marshall, D.Coyle, S. Wilson, and M. Callaghan, "Games, Gameplay, and BCI: The State of the Art", IEEE Transactions on Computational Intelligence and AI in Games, Vol. 5, No. 2, pp. 82-99, 2013.

상세보기
S.I. Hjelm, "The Making of Brainball", Interactions, Vol. 10, No. 1, pp. 26-34, 2003.

상세보기
J.A. Pineda, D.S. Silverman, A. Vankov, and J. Hestenes, "Learning to Control Brain Rhythms: Making a Brain-Computer Interface Possible", IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 11, No. 2, pp. 181-184, 2003.

상세보기
W. Pengfei, "An Virtual Vehicle Control Game for Online Brain Computer Interface Feedback Training", in Proc. IEEE Int. Conf. Mechatron. Autom., pp. 1942-1944, 2010.
I. P. Ganin, S. L. Shishkin, and A. Y. Kaplan, "A P300 BCI with Stimuli Presented on Moving Objects", in Proc. 5th Int. Conf. Brain-Computer Interface, pp. 308, 2011.
B.V.D. Laar, H. Gurkok, D.P.O. Bos, M. Poel, and A. Nijholt, "Experiencing BCI Control in a Popular Computer Game", IEEE Transac tions on Computational Intelligence and AI in Games, Vol. 5, No. 2, pp. 176-184, 2013.

상세보기
M.G. Ahn and S.C. Jun, "Brain-Computer Interface System: Principle and Technology Trends", Korea Information Science Society Review, Vol. 29, No. 4, pp. 42-53, 2011
M.J. Ko, G.H. Oh, and K.W. Bae, "A Study on New Gameplay Experience Based on Brain-Computer Interface", Journal of Korea Game Society, Vol. 9, No. 6, pp. 31-44, 2013.
J.Y. Lee, "The Process of Music Information in the Brainwave: P3 Event-Related Potential", Quarterly Publication of Romantic Music, Vol. 14, No. 2, pp. 127-154, 2002.
B.C. Min, G.J. Jun, and H.W. Kim, "Rhythm Analysis of EEG Variation due to Stimulation of Meditation Music and Community Noise", 2006 Fall Conference of Ergonomics Society of Korea, pp. 281-284, 2006.
T.A. Tanaka, "I Will be Faster as the Rotation of the Head is Surprised by Auditory Stimulation", Kiko Shobo. Tokyo, 2005.
S.I. Park and T.S. Kihl, "Rhythm Game Design for Effective Music Education", Journal of Korea Game Society, Vol. 12, No. 1, pp. 33-42, 2012.

원문보기 상세보기
J.U. Lim, J.E. Kim, and G.H. Oh, "A Study on Music Visualization Method in Game with Musical Note", Journal of Korean Society for Computer Game, Vol. 14, pp. 269-283, 2008.
S.D. Yang, "A Study on Player's Immersion by Difference of Input Control Devices in Computer Games", Journal of Korea Game Society, Vol. 10, No. 1, pp. 35-45, 2010.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증