[논문]스마트폰을 이용한 지능형 건반악기 자율학습 시스템

김영근; 김원중

doi:10.13067/jkiecs.2014.9.9.999

스마트폰을 이용한 지능형 건반악기 자율학습 시스템
Intelligent Self Learning System for Keyboard Instrument using a Smartphone 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.9 no.9, 2014년, pp.999 - 1004

초록
AI-Helper

본 논문에서는 초보자들도 건반악기의 연주 방법을 쉽고, 효과적으로 학습할 수 있도록 건반악기 자율 학습 시스템을 개발하였다. 본 연구에서 개발한 지능형 건반악기 자율 학습시스템은 스마트폰 기반의 학습 어플리케이션과 건반악기 보조 모듈로 구성된다. 건반악기 보조 모듈은 스마트폰 어플리케이션과 블루투스 통신을 통하여 악기 연주 정보를 수신한 후, LED에 표시해 줌으로써 초보자도 쉽게 건반과 음계의 상관관계를 숙지할 수 있도록 하였다. 또한 사용자의 연주정보를 저장하고, 분석 정보를 제공하여 효과적인 학습이 가능하도록 구현하였다.

Abstract ▼ AI-Helper

This intelligent keyboard instrument self learning system developed in this study consists of smartphone based learning application and keyboard-instrument auxiliary module. The keyboard instrument auxiliary module receives playing information of the instrument through smartphone application and bluetooth communication. Then the module shows it through LED display so that the relationship between the keyboard and scale could be easily recognized even for beginners. Also, this system provides saving function and analyzing function of user's performance data, making learning more effective.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 음악교육 분야에서도 효과적인 학습을 지원하기 위한 IT기술이 접목된 스마트폰을 이용한 지능형 건반악기 자율학습 시스템을 개발하였다. 개발된 시스템은 스마트폰 어플리케이션과 피아노 건반악기 보조모듈 사이에 블루투스 통신을 이용하여 미디파일에 대한 정보를 LED를 통해 악보에 맞게 표시하며, 사용자 스스로 자율적인 학습이 가능하도록 구성하였다.
음악적 영역에서 일반인들도 이러한 전문가적인 영역인 악기연주에 보다 쉽게 다가갈 수 있도록 하기 위한 많은 연구들이 진행되어왔다. 이러한 연구들이 악기연주를 전문가적인 영역에서 일반인들의 영역으로 확장하는 것에 대한 가능성은 제시하였다. 하지만 기타나 피아노와 같은 대부분의 악기는 연주 방법은 간단한 조작부터 높은 난이도의 조작까지 다양하여 일반인의 실제 악기 연주에는 많은 한계가 있다[1].
이에 본 논문에서는 건반악기에 대한 접근성과 표현의 다양성을 위해 오랜 역사동안 지속되어 왔으며, 일반인에게 친숙한 악기인 피아노 건반의 보조 모듈과 스마트폰의 블루투스 통신을 통해 연주 정보를 수신하여 LED(light emitting diode)에 표시해 줌으로써 초보자도 쉽게 건반과 음계의 상관관계를 숙지할 수 있도록 하는 건반악기 자율 학습 시스템을 개발하였다. 또한 사용자의 연주정보에 대한 사항을 저장하여 분석 제공함으로써 효과적인 자율학습이 가능하도록 하였다.

제안 방법

라즈베리파이보드를 통한 보조모듈의 LED 출력 컨트롤을 위해 74595 시프트 레지스터를 사용하였다. 74595 시프트 레지스터의 11번 shift register clock pin, 12번 storage register clock pin과 14번 serial data input pin을 통해 라즈베리파이 보드연결 하였다. LED와 연결은 8개의 출력핀을 통해 8건반 1옥타브를 하나의 블록으로 출력하도록 구성하였다.
본 연구에서는 음악교육 분야에서도 효과적인 학습을 지원하기 위한 IT기술이 접목된 스마트폰을 이용한 지능형 건반악기 자율학습 시스템을 개발하였다. 개발된 시스템은 스마트폰 어플리케이션과 피아노 건반악기 보조모듈 사이에 블루투스 통신을 이용하여 미디파일에 대한 정보를 LED를 통해 악보에 맞게 표시하며, 사용자 스스로 자율적인 학습이 가능하도록 구성하였다. 개발된 시스템을 통하여 기존 음악에 IT 기술이 접목되어서 실제 악기 연습에 큰 도움이 되고 전문가들의 영역인 악기 연주에 보통사람들도 쉽게 접근할 수 있기를 기대한다.
이에 본 논문에서는 건반악기에 대한 접근성과 표현의 다양성을 위해 오랜 역사동안 지속되어 왔으며, 일반인에게 친숙한 악기인 피아노 건반의 보조 모듈과 스마트폰의 블루투스 통신을 통해 연주 정보를 수신하여 LED(light emitting diode)에 표시해 줌으로써 초보자도 쉽게 건반과 음계의 상관관계를 숙지할 수 있도록 하는 건반악기 자율 학습 시스템을 개발하였다. 또한 사용자의 연주정보에 대한 사항을 저장하여 분석 제공함으로써 효과적인 자율학습이 가능하도록 하였다.
피아노의 하얀 건반 표시는 붉은색 LED, 검은 건반 표시는 녹색 LED을 사용하였다. 라즈베리파이보드의 보조모듈 제어를 위한 운영체제는 raspbian을 사용하였으며 컨트롤을 위한 클래스는 파이썬2.7 버전을 통해 제작하였다.
본 논문에서 개발한 지능형 피아노 건반악기 자율학습 시스템의 핵심요소는 사용자 스스로 연주가 가능하도록 도와주는 피아노 건반악기 보조 모듈과 안드로이드 기반의 스마트폰용 어플리케이션이다.
본 연구에서 제작한 피아노 건반악기 보조 모듈 시스템은 스마트폰 어플리케이션에서 곡의 목록, 연주 속도, 악보 등의 정보를 사용자에게 제공하고, 건반악기 보조 장치에서는 음악이 재생될 경우 해당 음악이 연주되고 있는 건반 정보를 알려주는 구조로 이루어져 있다.
SheetActivity는 스마트폰 어플리케이션에서 핵심이 되는 Activity로 악보와 미디어 플레이, 피아노 생성과 재생, 일시정지, 속도 등의 UI(UserInterface)를 제공하며 Byte, Integer, Ascii Code별로 분석하여 음원데이터를 추출한다. 스마트폰 어플리케이션에서 분석된 미디정보를 블루투스 RFCOMM 프로토콜을 사용하여 피아노 건반악기 보조 모듈로 전송하는 Activity로 어플리케이션과 보조모듈은 동일한 UUI(Universally Unique Identifier)를 사용하여 별도의 인증 과정 없이 연결이 가능하도록 하였다. SettingActivity은 어플리케이션의 옵션 설정을 위한 Activity이며 마지막으로 HelpActivity는 어플리케이션 사용하는데 필요한 도움말을 제공하는 Activity이다.
연주 상태 조작 부분은 연주에 필요한 버튼과 연주의 빠르기를 사용자가 선택할 수 있도록 하였으며, 실제 피아노에서 눌러 져야하는 건반을 표시하도록 하여 사용자의 편의성을 높였다. 악보표시 부분은 현재 연주되고 있는 악보를 표시하는 부분으로 좁은 화면의 문제점을 해결하고 가독성을 높이기 위해 마디 단위별 동적으로 출력하도록 하였다. 마지막으로 사용자 옵션 부분은 연주곡 선택과 환경설정, 연주내용 저장 등 부가적인 옵션으로 구성하였다.
제작된 보조 모듈은 스마트폰과 건반지시 정확도 테스트 수행 후 그림 5와 같이 실제 피아노에 적용하였다.
피아노 건반악기 보조 모듈은 실제 피아노 건반위에 위치하게 되며 스마트폰 어플리케이션으로부터 블루투스 통신을 통해 전송받은 정보를 분석하여 LED를 통해 사용자에게 눌러야할 건반을 직접적으로 표시해 주도록 한다.

대상 데이터

5V 건전지를 통해 공급하도록 하였다. 라즈베리파이보드를 통한 보조모듈의 LED 출력 컨트롤을 위해 74595 시프트 레지스터를 사용하였다. 74595 시프트 레지스터의 11번 shift register clock pin, 12번 storage register clock pin과 14번 serial data input pin을 통해 라즈베리파이 보드연결 하였다.
피아노 건반악기 보조 모듈은 라즈베리파이와 LED제어 출력포트 확장을 위한 74595 시프트 레지스터를 이용하여 그림4와 같이 8건반 1옥타브의 블록 구조로 제작하였다.
LED와 연결은 8개의 출력핀을 통해 8건반 1옥타브를 하나의 블록으로 출력하도록 구성하였다. 피아노의 하얀 건반 표시는 붉은색 LED, 검은 건반 표시는 녹색 LED을 사용하였다. 라즈베리파이보드의 보조모듈 제어를 위한 운영체제는 raspbian을 사용하였으며 컨트롤을 위한 클래스는 파이썬2.

이론/모형

스마트폰 어플리케이션은 안드로이드 운영체제에서 JAVA언어를 사용하여 제작하였으며 그림 4와 같이 6개의 Activity로 구성하였다.
그림4는 피아노 건반악기 보조 모듈의 전체적인 구조다. 스마트폰과 보조 모듈의 블루투스 통신을 위해 소형 싱글보드 컴퓨터인 라즈베리파이보드 모델B를 사용하였다. 보조 모듈의 전원 공급이 원활하지 않을 경우 4개의 1.

성능/효과

삼익디지털피아노 어플리케이션은 국내 피아노 제작 기업인 삼익에서 만든 어플리케이션으로 피아노 건반을 그대로 화면에 옮기는데 충실한 어플리케이션으로 상하 건반을 통해 상단 건반은 어떤 음을 눌러야 하는지를 알려주며, 사용자는 표시된 건반을 따라 치면 되는 특징이 있다. 마지막으로 디-블루션 어플리케이션은 다양한 타악기들을 동시에 연주 할 수 있는 특징이 있으며, 사용자가 저장한 라이브러리의 음악을 배경으로 연주가 가능하며 독특한 리듬 루프기능과 메트롬을 이용할 수 있고, 연주를 녹음하여 들어 볼 수 있다.

후속연구

개발된 시스템은 스마트폰 어플리케이션과 피아노 건반악기 보조모듈 사이에 블루투스 통신을 이용하여 미디파일에 대한 정보를 LED를 통해 악보에 맞게 표시하며, 사용자 스스로 자율적인 학습이 가능하도록 구성하였다. 개발된 시스템을 통하여 기존 음악에 IT 기술이 접목되어서 실제 악기 연습에 큰 도움이 되고 전문가들의 영역인 악기 연주에 보통사람들도 쉽게 접근할 수 있기를 기대한다. 앞으로의 과제는 개발된 시스템을 실생활과 교육 현장에 적용하였을 경우 그 효율성 및 효용성을 분석해 보고, 다양한 악기에 적용 가능한 시스템으로의 확장에 대한 연구가 필요할 것이다.
개발된 시스템을 통하여 기존 음악에 IT 기술이 접목되어서 실제 악기 연습에 큰 도움이 되고 전문가들의 영역인 악기 연주에 보통사람들도 쉽게 접근할 수 있기를 기대한다. 앞으로의 과제는 개발된 시스템을 실생활과 교육 현장에 적용하였을 경우 그 효율성 및 효용성을 분석해 보고, 다양한 악기에 적용 가능한 시스템으로의 확장에 대한 연구가 필요할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	개러지밴드 어플리케이션의 특징은?	IT기술과 접목된 악기연주를 위한 대표적인 스마트폰 어플리케이션으로는 개러지밴드, 삼익디지털피아노, 디-볼루션 등의 어플리케이션이 있다. 개러지밴드 어플리케이션은 피아노, 드럼, 바이올린 등의 악기를 연주할 수 있으며, 다양한 메뉴와 기능을 통해 녹음과 합주가 가능한 어플리케이션으로 수준 있는 작곡이 가능한 특징이 있다. 삼익디지털피아노 어플리케이션은 국내 피아노 제작 기업인 삼익에서 만든 어플리케이션으로 피아노 건반을 그대로 화면에 옮기는데 충실한 어플리케이션으로 상하 건반을 통해 상단 건반은 어떤 음을 눌러야 하는지를 알려주며, 사용자는 표시된 건반을 따라 치면 되는 특징이 있다.
	미디란?	미디(MIDI, Musical Instrument Digital Interface)는 신시사이저, 리듬 머신, 시퀀서, 컴퓨터 등의 연주 정보를 상호 전달하기 위해 정해진 데이터 전송 규격으로 1980년대 초에 일본과 미국의 디지털 신시사이저 생산업자들의 모임에서 만들어졌다. 80년대 중반부터 미디로 연결하여 사용 할 수 있는 많은 종류의 주변기기들이 생산되었으며, 지금은 모든 음악인들에게 없어서는 안 될 필수적인 음악활동 도구로 사용되고 있다[4].
	본 논문의 지능형 건반악기 자율 학습시스템에서 건반악기 보조 모듈의 역할은 무엇인가?	본 연구에서 개발한 지능형 건반악기 자율 학습시스템은 스마트폰 기반의 학습 어플리케이션과 건반악기 보조 모듈로 구성된다. 건반악기 보조 모듈은 스마트폰 어플리케이션과 블루투스 통신을 통하여 악기 연주 정보를 수신한 후, LED에 표시해 줌으로써 초보자도 쉽게 건반과 음계의 상관관계를 숙지할 수 있도록 하였다. 또한 사용자의 연주정보를 저장하고, 분석 정보를 제공하여 효과적인 학습이 가능하도록 구현하였다.

참고문헌 (13)

J.-O. Koo and J.-H. Ahn, "Musical Instrument Interface Using the Real-time arrangement of notes," In Proc. Human Computer Interation (HCI), Pyeongchang, Korea, Feb. 2009, pp. 373-377.
G.-J. Lim and J.-C. Lee, "Development of a Self Instrument Learning Tool Using an Electronic Keyboard and PC Software," J. of Korea Multimedia Society, vol. 15, no. 1, Jan. 2012, pp. 51-62.

원문보기 상세보기
Y.-G. Kim and W.-J. Kim, "Intelligent tutoring system using a smartphone implementation of piano," In Proc. of the Korea Institute of Electronic Communication Sciences, Yeosu, Korea, vol. 7, no. 2, Nov. 2013, pp. 131-134.
Y.-H. Heo, "THESIS/TRANSLATION : Computer Sound-Synthesis, MIDI, Interactive System," J. of the Institute for Korean Music, vol. 6, 1993, pp. 161-211.
W.-S. Lee and K.-S. Kim, "Processing of Game Events Using MIDI Message," J. of Korea Game Society, vol. 4, no. 3, 2004, pp. 71-75.
J.-U. Jeon and S.-S. Park, "Implementation of Musical Score Generator on the Window Environment," In Proc. Korea Multimedia Society, Daegu, Korea, May. 2005, pp. 470-473.
S.-K. Kim, "Interference Analysis based on the Monte-Carlo Method," J. of the Korea Institute of Electronic Communication Sciences, vol. 3, no. 2, 2008, pp. 58-64.
J. Kim, J. Chae, W. Huh, and J. Park, "Evaluation of Bluetooth Wireless Communication Method Applied to Medical Environment," J. of Institute of Korean Electrical and Electronics Engineers, vol. 6, no. 1, 2002, pp. 65-71.
S. Park, H, Kim, J. Kim, T. Hwang, and S. Lee, "Design and Implementation of Multiple Access Game Control System using Bluetooth," J. of Institute of Korean Electrical and Electronics Engineers, vol. 17, no. 4, Dec. 2013, pp. 492-498.

원문보기 상세보기
H.-J. Kim, "Development of a Wireless Sensor Network Node with Dual Interfaces of UHF Radio and Bluetooth," J. of the Korea Institute of Maritime Information & Communication Sciences, vol. 10, no. 10, Oct. 2006, pp. 1905-1913
K. Suk and S. Park, "The Study on the Adactive H-ARQ Technique in TD-CDMA 3G System," J. of the Korea Institute of Electronic Communication Sciences, vol. 5, no. 4, Aug. 2010, pp. 450-456.
Y.-O. Han and D.-W. Kim, "The Development of Android Application for Intelligent Concent," J. of the Korea Institute of Electronic Communication Sciences, vol. 6, no. 1, 2013, pp. 1515-1521.
H. Cho and H. Lee, "The Android-based Bluetooth Device Application Design and Implementation," J. of the Korea Institute of Intelligent Transport Systems, vol. 11, no. 1, Feb. 2012, pp. 72-85.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증