[논문]연주체험 기능성 게임

정찬용; 강나원

doi:10.7583/jkgs.2015.15.2.115

연주체험 기능성 게임
Serious Game for Experience of Music Performance 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.15 no.2, 2015년, pp.115 - 122

초록
AI-Helper

이 논문에서는 악기 연주를 전혀 못하는 사용자들에게 연주 경험을 가능하도록 해주는 연주체험 기능성 게임을 제안한다. 연주를 어렵게 만드는 선율을 사용자의 연주 제스처에 맞춰 조율해 주는 악보 조정 알고리즘을 사용함으로써 이 게임은 표준 악보에 기반을 둔 음악을 대리하여 연주한다. 이 연주는 사용자가 재현하는 제스처 기호를 에이전트가 해석함으로써 구현되는 것으로 양자 간의 이러한 상호작용을 퍼스의 커뮤니케이션 모델을 통해 이해한다.

Abstract ▼ AI-Helper

In this paper we propose a serious game for experience of music performance, which allows users to readily enjoy musical playing, even if the player has little or no experience in playing musical instruments. This game makes it easier for users to correctly perform given melodies along with standard performance, using a score-adjusting algorithm that can cope with the particular errors commonly made by beginners. This music performance is achieved by the agent to interpret the gestural sign of the user. We understands the interaction of the user and the agent as a communication model from the Peircean Semiotic perspectives.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

사용자는 선택 곡에 대하여 한 번 이상의 시험 연주를 하여야 한다. 사용자의 연주 제스처는 시늉일 뿐 실제 연주동작과는 다르기 때문에 동기화를 위한 매칭 기준 데이터를 만들기 위해서이다. 선행되는 원곡을 들으면서 실제 연주하듯 사용자가 취하는 제스처를 매칭 기준 데이터로 저장한다.
이 논문은 연주 기능에 관한 음악적 · 기호학적 고찰과 함께 그 구현을 위한 공학적 문제와 해결방법에 대해 논의한다.
다시 말해, 사용자의 제스처가 이 게임의 해석을 야기하는 데 그치지 않고 에이전트의 해석 행위가 다시 사용자에게 영향을 미치는 것이다. 이 논문은 이러한 사용자와 에이전트의 관계가 기호를 재현하고 해석하는 기호과정 내에서 공통의 해석체를 도출하려는 대화적 관계임에 주목한다. 이 연주는 결국 기호 안에서 사용자와 에이전트가 결합(fused)하는¹⁾ 커뮤니케이션을 통해서 실현된다[7].
즉, 이 에이전트는 단순히 입력된 신호를 수신하여 그대로 송출하는 수동적인 기계가 아니라 사용자의 제스처라는 하나의 기호의 의미를 해석하는 해석자이며, 사용자와 에이전트는 기호를 교환하는 대화의 과정 안에 있는 것이다. 이 논문은 이러한 양자 간의 상호작용을 퍼스의 커뮤니케이션 모델을 통해 이해하고자 한다.

가설 설정

1. 사용자의 연주 제스처와 이를 해석하여 출력되는 곡은 서로 동기화(synchronization)되어야 한다.

제안 방법

게임 시스템은 제스처 인식을 위한 입력처리, 입력된 제스처 데이터를 해석하여 대응하는 연주동작으로 변환하는 매칭처리, 연주동작을 해석하여 출력되는 연주곡과 어떤 연동을 할 것인지 처리하는 악보조정, 조정된 결과에 대응하도록 변형한 미디데이터를 운영체제의 사운드 매니저로 보내는 출력 처리, 결과를 판정하여 성취도에 대한 점수를 높이거나 악기 종류를 선택할 수 있는 기회를 부여하는 게임처리모듈로 구성된다.
비교 대상으로 선정한 가상악기는 앱스토어에서 인지도가 높은 Borce Trajkovski의 마이피아노(My Piano)와 Yuki Yazilim의 가상 악기(Virtual Instrument)이다. 또한 테스트를 위한 미디 음원은 음 변화가 늦은 곡들을 중심으로 동요, 클래식, 가요를 한 곡씩 준비하여 피실험자가 악기 종류와 함께 직접 선택하도록 한다. 피실험자의 성별, 나이, 선택한 악기, 연주 경력, 부여 점수 데이터는 [Table 6]과 같다.
이 논문에서 제안하는 게임은 연주 비숙련자도 마치 능숙한 연주자가 된 것 같은 경험을 할 수 있게 함으로써 가상악기에 대한 새로운 의미와 기능성을 부여한다. 사용자는 단지 익숙한 특정 곡에 대한 연주 제스처를 취할 뿐이지만, 이 게임은 그 부정확한 연주동작을 학습된 패턴과 비교 분석하여 사용자의 의도에 가까운 완성된 음악으로 들려주는 기능을 실현한다. 이 논문은 연주 기능에 관한 음악적 · 기호학적 고찰과 함께 그 구현을 위한 공학적 문제와 해결방법에 대해 논의한다.
연주동작을 비주얼하게 보여주는 손 모양은 입력모듈에서 인지된 사용자의 손동작을 실시간으로 반영한다. 실시간 손동작 처리를 위한 소스코드는 립모션에서 공개하여 제공하고 있지만 인지 조건에 따라 오류가 발생하는 경우가 있기 때문에 게임에서는 기울기 센서를 병렬로 사용하여 오류를 보완한다.
연주 제스처로 손동작을 사용하도록 구성된 이 게임에서는 넓은 범위의 큰 동작을 인지할 경우 유용한 키넥트 대신 정교한 손동작 인식 중심으로 설계된 립모션을 사용한다. 동작 형태에 따른 인식 오류를 비롯한 문제점들을 조사하기 위하여 후보 제스처 동작에 대한 테스트를 실시한 결과는 [Table 3]과 같다.
이 게임에 적용된 악기는 기타, 바이올린, 피아노로 각 악기 특성에 맞도록 연주 제스처와 연주기법의 변환 테이블을 정의한다[9,10,11].
이 논문에서 제안하는 게임은 연주 비숙련자도 마치 능숙한 연주자가 된 것 같은 경험을 할 수 있게 함으로써 가상악기에 대한 새로운 의미와 기능성을 부여한다. 사용자는 단지 익숙한 특정 곡에 대한 연주 제스처를 취할 뿐이지만, 이 게임은 그 부정확한 연주동작을 학습된 패턴과 비교 분석하여 사용자의 의도에 가까운 완성된 음악으로 들려주는 기능을 실현한다.
입력모듈에서 적용한 기울기 센서칩(DAS-SA1)은 기울기에 따라 펄스폭이 가변 되어 간단한 회로 구성이 가능하다. 이 연구를 위하여 기울기 센서 컨트롤러를 별도로 설계 및 제작하였으며 검출 데이터는 벨만 범용 입출력 장치를 사용하여 처리하였다.

대상 데이터

1차 테스트 평가를 위하여 8명의 피실험자를 대상으로 가상악기와 비교 연주시킨 후 의견을 청취한다. 비교 대상으로 선정한 가상악기는 앱스토어에서 인지도가 높은 Borce Trajkovski의 마이피아노(My Piano)와 Yuki Yazilim의 가상 악기(Virtual Instrument)이다.
1차 테스트 평가를 위하여 8명의 피실험자를 대상으로 가상악기와 비교 연주시킨 후 의견을 청취한다. 비교 대상으로 선정한 가상악기는 앱스토어에서 인지도가 높은 Borce Trajkovski의 마이피아노(My Piano)와 Yuki Yazilim의 가상 악기(Virtual Instrument)이다. 또한 테스트를 위한 미디 음원은 음 변화가 늦은 곡들을 중심으로 동요, 클래식, 가요를 한 곡씩 준비하여 피실험자가 악기 종류와 함께 직접 선택하도록 한다.

이론/모형

게임시스템은 Unity3D 4.3 기반 C# 확장 스크립트 대체 라이브러리 기법[14]으로 구현하였다. 입력모듈에서 적용한 기울기 센서칩(DAS-SA1)은 기울기에 따라 펄스폭이 가변 되어 간단한 회로 구성이 가능하다.

성능/효과

세 가지의 가상악기를 모두 연주시킨 후 각각에 대하여 5점 배점으로 평가하게하고 배점근거에 대하여 구두로 답변을 청취한다. 제안된 게임은 다른 두 악기와 기능적으로 다른 시스템이지만 차별화되는 특성들을 상대 평가하려는 목적으로 테스트를 실시하였으며 대부분의 피실험자들로부터 긍정적인 평가를 받았다. 한 가지 주목할 만한 사항은 피실험자 1번이 부여한 이례적인 낮은 점수로, 배점 이유는 ‘실제 연주행동과 게임에서 사용되는 제스처가 이질적이고, 재현된 연주음이 부자연스럽기 때문’이었다.

후속연구

국내에서도 다양한 기능성 게임들이 활발하게 연구되고 있는 상황에서 제안된 이 게임이 음악과 공학의 융복합 기능성 게임 사례로 의미 있는 역할을 할 수 있기를 기대한다.
또한 입력기기의 오차 특성 때문에 실제 악기를 연주하는 동작과 유사한 제스처를 모두 적용하지 못한 점, 제스처에 의한 곡 변환처리에 제한이 있고 악보 조정 알고리즘의 한계 때문에 가상악기로써의 자연스러움이 부족한 점 등은 추후 연구과정에서 해결해야할 과제들이다. 또한 이 게임의 기능성을 객관적으로 분석할 수 있도록 사용자의 주관적 판단 기준의 실험방법도 더 객관화 할 필요가 있다.
가장 본질적인 문제는 사용자가 재현하는 기호를 이 게임이 해석하는 커뮤니케이션의 과정이 인간의 대화처럼 늘 실패의 가능성을 내포한다는 데 있을 것이다. 또한 입력기기의 오차 특성 때문에 실제 악기를 연주하는 동작과 유사한 제스처를 모두 적용하지 못한 점, 제스처에 의한 곡 변환처리에 제한이 있고 악보 조정 알고리즘의 한계 때문에 가상악기로써의 자연스러움이 부족한 점 등은 추후 연구과정에서 해결해야할 과제들이다. 또한 이 게임의 기능성을 객관적으로 분석할 수 있도록 사용자의 주관적 판단 기준의 실험방법도 더 객관화 할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 논문에서 제안한 게임시스템은 어떤 기법으로 구현되었나?	게임시스템은 Unity3D 4.3 기반 C# 확장 스크립트 대체 라이브러리 기법[14]으로 구현하였다. 입력모듈에서 적용한 기울기 센서칩(DAS-SA1)은 기울기에 따라 펄스폭이 가변 되어 간단한 회로 구성이 가능하다.
	본 논문에서 제안한 게임 시스템은 어떻게 구성되는가?	게임 시스템은 제스처 인식을 위한 입력처리, 입력된 제스처 데이터를 해석하여 대응하는 연주동작으로 변환하는 매칭처리, 연주동작을 해석하여 출력되는 연주곡과 어떤 연동을 할 것인지 처리하는 악보조정, 조정된 결과에 대응하도록 변형한 미디데이터를 운영체제의 사운드 매니저로 보내는 출력 처리, 결과를 판정하여 성취도에 대한 점수를 높이거나 악기 종류를 선택할 수 있는 기회를 부여하는 게임처리모듈로 구성된다.

참고문헌 (14)

Fan, X. and Essl, G., "Air Violin : A Body-centric Style Musical Instrument", In Proceedings of the International Conference on New Interfaces for Musical Expression(NIME) 2013, 2013.
Mainsbridge, M. and Beilharz, K., "Body as Instrument-Performing with Gestural Interfaces", In Proceedings of the International Conference on New Interfaces for Musical Expression(NIME) 2014, 2014.
Smith, O. J., "Virtual Acoustic Musical Instruments", the Journal of New Music Research, 2005.
Johnston, A., "Fluid Simulation as Full Body Audio-Visual Instrument", In Proceedings of the International Conference on New Interfaces for Musical Expression(NIME) 2013, 2013.
Liszka, J., A general introduction to the semiotic of Charles Sanders Peirce, Bloomington: Indiana University Press, p.89, 1996.
Liszka, J., A general introduction to the semioticof Charles Sanders Peirce, Bloomington: IndianaUniversity Press., p.89, 1996.
Peirce, C. S., Semiotics and Significs, Bloomington: Indiana University Press, pp. 196-197., 1977
Kim, J. W., "Today meets Future(II)", Knowledge Variety Special Lecture, Korea Broadcasting System, 2015.
Hamann, D. and Gillespie, R., Strategies for Teaching Strings 3rd Edition, Oxford University Press, 2012.
Galamian, I., Principles of Violin Playing and Teaching, Prentice Hall, 1962.
Aikin, J., Picture Yourself Playing Cello: Step-by-Step Instruction for Playing the Cello, Boston, Course Technology, 2012.
Dannenberg, R. B., "An On-Line Algorithm for Real-Time Accompaniment". In Proceedings of the 1984 International Computer Music Conference, International Computer Music Association, pp.193-198, 1985.
http://www.wisemusic.co.kr
Jung, C. Y., "Avoiding Trial-and-Error based Elements for Game Scripting", Journal of Korea Game Society 2014 Dec; 14(6): pp.19-28, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증