악보는 성공적인 곡 해석, 연주, 공연 등을 위해 필수적인 요소로 인식되고 있으며, 대부분의 연주자들은 이러한 상황에서 일반적으로 종이악보를 활용하고 있다. 그러나 종이악보는 페이지를 넘겨야 할 때 연주자 및 청중의 집중도를 떨어뜨리는 원인 중 하나가 될 뿐 아니라, 전체적인 연주의 흐름을 저해하는 요소로 작용하기도 한다. 또한 이러한 종이악보의 단점들은 공연장소 주변의 날씨나 환경 등으로 인해 더더욱 부각될 수밖에 없다. 본 논문에서는 이러한 종이악보의 단점들을 해결하기 위한 태블릿 PC기반의 전자악보 페이지 터너 애플리케이션을 제안한다. 제안하는 페이지 터너 애플리케이션은 원활한 연주 진행을 위해 연주자의 시선 또는 동작을 판독하여 전자악보를 다음페이지로 넘길 수 있도록 구현되어 있으며, 시선추적 및 동작 판독 알고리즘은 OpenCV를 통해 구현하였다. 제안하는 페이지 터너 애플리케이션을 통해 기존 종이악보가 갖고 있는 문제점을 상당부분 개선할 수 있을 것으로 기대한다.
악보는 성공적인 곡 해석, 연주, 공연 등을 위해 필수적인 요소로 인식되고 있으며, 대부분의 연주자들은 이러한 상황에서 일반적으로 종이악보를 활용하고 있다. 그러나 종이악보는 페이지를 넘겨야 할 때 연주자 및 청중의 집중도를 떨어뜨리는 원인 중 하나가 될 뿐 아니라, 전체적인 연주의 흐름을 저해하는 요소로 작용하기도 한다. 또한 이러한 종이악보의 단점들은 공연장소 주변의 날씨나 환경 등으로 인해 더더욱 부각될 수밖에 없다. 본 논문에서는 이러한 종이악보의 단점들을 해결하기 위한 태블릿 PC기반의 전자악보 페이지 터너 애플리케이션을 제안한다. 제안하는 페이지 터너 애플리케이션은 원활한 연주 진행을 위해 연주자의 시선 또는 동작을 판독하여 전자악보를 다음페이지로 넘길 수 있도록 구현되어 있으며, 시선추적 및 동작 판독 알고리즘은 OpenCV를 통해 구현하였다. 제안하는 페이지 터너 애플리케이션을 통해 기존 종이악보가 갖고 있는 문제점을 상당부분 개선할 수 있을 것으로 기대한다.
Sheet music is one of the inevitable elements for successful melody interpretation, playing or rendering, and performance, most of performing artists usually utilize a paper sheet music in the cases. However, the paper sheet music can be a one of the reason to degrade the concentration of audiences ...
Sheet music is one of the inevitable elements for successful melody interpretation, playing or rendering, and performance, most of performing artists usually utilize a paper sheet music in the cases. However, the paper sheet music can be a one of the reason to degrade the concentration of audiences and artists or entire performing flows. In addition, it might be a weakness to use a paper sheet music in an outside performing place. We propose an electronic sheet music page tuner application, which can overcome these problems, based on a Tablet PC. The proposed page tuner application, which uses the OpenCV to adapt an eye tracking and behavior recognition, can provide an automatical page pass function to the performing artists. We will expect that the proposed application can highly decrease the weakness of paper sheet music.
Sheet music is one of the inevitable elements for successful melody interpretation, playing or rendering, and performance, most of performing artists usually utilize a paper sheet music in the cases. However, the paper sheet music can be a one of the reason to degrade the concentration of audiences and artists or entire performing flows. In addition, it might be a weakness to use a paper sheet music in an outside performing place. We propose an electronic sheet music page tuner application, which can overcome these problems, based on a Tablet PC. The proposed page tuner application, which uses the OpenCV to adapt an eye tracking and behavior recognition, can provide an automatical page pass function to the performing artists. We will expect that the proposed application can highly decrease the weakness of paper sheet music.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
‘그림 1’에 나타난 바와 같은 종이악보 사용에 대한 만족도 조사 (출처: “순천향대학교, 배제대학교, 아산 윈드 오케스트라, 충북예고” 종이악보 활용설문조사)를 통해 알 수 있듯이 악기 연주를 하는 사람들 중 과반수가 불편함을 느끼고 있다. 따라서 본 아이템에서는 기존의 악보 사용에 대한 불편한 점을 해결하고자 시선 추적 기술을 통해서 손을 사용하지 않고 악보를 넘길 수 있는 방안을 제시한다. 또한 종이 악보가 아닌 태블릿을 사용하여 주변 환경에 덜 영향을 받고, 악보 관리 방식의 변화도 제시한다.
본 논문에서는 시선 추적 방식 중 하나인 Video 분석 방식을 사용하여 사용자의 시선의 방향 및 안구의 움직임을 검출하는 알고리즘을 설계 및 제안한다.
제안 방법
따라서 본 아이템에서는 기존의 악보 사용에 대한 불편한 점을 해결하고자 시선 추적 기술을 통해서 손을 사용하지 않고 악보를 넘길 수 있는 방안을 제시한다. 또한 종이 악보가 아닌 태블릿을 사용하여 주변 환경에 덜 영향을 받고, 악보 관리 방식의 변화도 제시한다.
본 논문에서 제안하는 페이지 터너 애플리케이션은 OpenCV 기반의 시선 추적 알고리즘과 좌표 매칭 알고리즘을 사용하여 손을 쓰지 않고도 악보를 넘길 수 있는 기능을 가진 전자악보를 구현한 것이다. 향후 본 페이지 터너 애플리케이션에서 사용된 악보 넘김 기술보다 편리하고 기술적으로 진보한 방안에 대한 연구를 계속하여 다양한 기능을 갖는 전자악보 애플리케이션을 구현할 수 있을 것이라 기대한다.
기본 카메라 방향이 landscape이면 시선 추적이 되는 방향도 landscape이므로 portrait으로 방향을 바꿔줘야 portrait에서도 시선 추적이 가능하게 된다. 본 아이템에서 제시하는 방향이 portrait인 점은 악보 화면이 태블릿인 것을 고려하여 사용자의 눈의 피로를 줄이고자 악보 1page를 한 화면에 출력해주도록 설계하였다[9].
이 때 시선 추적 알고리즘을 통한 악보 넘김 기능은 ‘그림 7’의 오른쪽 화면에서 화살표를 보고 있으면 시선 좌표와 디스플레이 좌표의 매칭 작업을 통해서 매 카메라 프레임마다 화살표의 위치 좌표와 시선이 바라보는 디스플레이 좌표를 비교하여 좌측 화살표는 이전 페이지, 우측 화살표는 다음 페이지로 넘어가도록 설계하였다.
시선 추적은 ‘그림 4’와 같다. 카메라 프레임을 실시간으로 받아온 후 얼굴을 검출한 후 양쪽 눈을 검출하고 그 후 각각 왼쪽 눈, 오른쪽 눈으로 검출한다. Template Matching 알고리즘으로 image를 분석하고 비교해서 유사한 image를 찾아낸다.
대상 데이터
3을 사용하였다. 테스트 장비로는 Nexus 7 (Android 6.0.1, API 23 Level)을 사용해서 테스트 하였다.
성능/효과
연주자들은 본 논문에서 제안한 페이지 터너 애플리케이션을 통해 악기를 연주할 때 연주의 흐름을 해치지 않고 보다 연주에 집중할 수 있다. 또한 태블릿 PC 기반의 전자악보인 본 애플리케이션을 통해 종이악보가 가지고 있는 다양한 단점들도 극복할 수 있으며, 특히 태블릿 PC가 가지고 있는 기본적인 하드웨어적 특성으로 인해 야외에서의 활용도는 더더욱 극대화될 수 있다.
연주자들은 본 논문에서 제안한 페이지 터너 애플리케이션을 통해 악기를 연주할 때 연주의 흐름을 해치지 않고 보다 연주에 집중할 수 있다. 또한 태블릿 PC 기반의 전자악보인 본 애플리케이션을 통해 종이악보가 가지고 있는 다양한 단점들도 극복할 수 있으며, 특히 태블릿 PC가 가지고 있는 기본적인 하드웨어적 특성으로 인해 야외에서의 활용도는 더더욱 극대화될 수 있다.
후속연구
향후 본 페이지 터너 애플리케이션에서 사용된 악보 넘김 기술보다 편리하고 기술적으로 진보한 방안에 대한 연구를 계속하여 다양한 기능을 갖는 전자악보 애플리케이션을 구현할 수 있을 것이라 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
시선 추적 기술이란 무엇인가?
본 아이템의 주 기술인 시선 추적(Eye tracking)은 눈동자의 움직임을 추적해서 시선 위치를 알아내는 영상처리 기술이다. 시선 추적 기술은 오래전부터 연구 및 발전 되어왔다.
종이악보가 가지는 단점은 무엇인가?
악보는 성공적인 곡 해석, 연주, 공연 등을 위해 필수적인 요소로 인식되고 있으며, 대부분의 연주자들은 이러한 상황에서 일반적으로 종이악보를 활용하고 있다. 그러나 종이악보는 페이지를 넘겨야 할 때 연주자 및 청중의 집중도를 떨어뜨리는 원인 중 하나가 될 뿐 아니라, 전체적인 연주의 흐름을 저해하는 요소로 작용하기도 한다. 또한 이러한 종이악보의 단점들은 공연장소 주변의 날씨나 환경 등으로 인해 더더욱 부각될 수밖에 없다.
기존의 악보 사용에 대한 불편한 점에는 무엇이 있는가?
대부분의 악기는 양손으로 연주하게 되어있고, 악기를 연주할 때 악보를 보면서 연습을 한다. 그래서 악보를 넘길 때 한 손을 사용해서 악보를 넘겨야 한다. 이 때 연주자는 양손으로 하던 연주를 도중에 멈추고 악보를 넘겨야 하는 불편함이 생기는데 이러한 불편한 점들은 악보가 2장 이상으로 구성되어 있다면 악보를 매번 넘길 때마다 발생한다. 뿐만 아니라 기존의 악보가 종이악보이기 때문에 바람의 영향을 많이 받고, 악보의 양이 많을수록 관리가 불편한 점도 있다. ‘그림 1’에 나타난 바와 같은 종이악보 사용에 대한 만족도 조사 (출처: “순천향대학교, 배제대학교, 아산 윈드 오케스트라, 충북예고” 종이악보 활용설문조사)를 통해 알 수 있듯이 악기 연주를 하는 사람들 중 과반수가 불편함을 느끼고 있다.
참고문헌 (16)
S. Jang, S. Kim, C. Kim, "Attentional Processing of Emotional Faces in Schizophrenia: Evidence From Eye Tracking," Journal of abnormal psychology, Vol.125, No.7, 2016
Y. Lin, K. Holmqvist, K. Miyoshi, K. Ashida, H., "Effects of detailed illustrations on science learning: an eye-tracking study," Instructional science, Vol.45, No.5, 2017
D. Bolden, P. Barmby, S. Raine, M. Gardner, "How young children view mathematical representations: a study using eye-tracking technology," Educational research, Vol.57, No.1, 2015
K. Brenton, N. Kate, "Assessing for Unilateral Spatial Neglect Using Eye-Tracking Glasses: A Feasibility Study," OCCUPATIONAL THERAPY IN HEALTH CARE, Vol.30, No.4, 2016
R. K. Sungkur, M. A. Antoaroo, A. Beeharry, "Eye tracking system for enhanced learning experiences," EDUCATION AND INFORMATION TECHNOLOGIES, Vol.21, No.6, 2016
M. Mehrube, N. Vuong, "Real-time eye tracking for password authentication," 2018 IEEE International Conference on Consumer Electronics (ICCE), pp. 1-4, 2017
Byoung-jin Kim, Suk-ju Kang, "Reliability Measurement Technique of The Eye Tracking System Using Gaze Point Information," Journal of Digital Contents Society, Vol. 17, No. 5, pp. 367-373, 2016.
J. Luan, Z. Yao, F. Zhao, L. Hao, "Search product and experience product online reviews: An eye-tracking study on consumers' review search behavior," Computers in human behavior, Vol.65, 2016
T. Shechner, J. Jarcho, S. Wong, "Threats, rewards, and attention deployment in anxious youth and adults: An eye tracking study," Biological psychology, Vol.122, 2017
K. Sturmer, T. Seidel, K. Muller, J. Hausler, "What is in the eye of preservice teachers while instructing: An eye-tracking study about attention processes in different teaching situations," ZEITSCHRIFT FUR ERZIEHUNGSWISSENSCHAFT, Vol.20, No.1, 2017
R. Zheng, K. Nakano, H. Ishiko, K. Hagita, Kih, "Eye-Gaze Tracking Analysis of Driver Behavior While Interacting With Navigation Systems in an Urban Area," IEEE Transactions on Human-Machine Systems, Vol.46, No.4, 2016
Y. Zhang, P. Zhibing, L. Chenhui, Xu, "Application Research of Gaze Tracking Technology in Battlefield Situation Visualization Assessment," LNEE, Vol.2015, No.356, 2015
E. Skodras, V. G. Kanas, N. Fakotakis, "On visual gaze tracking based on a single low cost camera," Signal processing Image communication, Vol.36, 2015
※ AI-Helper는 부적절한 답변을 할 수 있습니다.