본 논문에서는 스마트폰을 위한 악기 변환 기반의 음악 합주 애플리케이션을 제안한다. 기존 스마트폰 애플리케이션의 가상 악기를 사용하여 음악을 합주하려면 모든 악기의 연주 방법을 알아야 한다. 또한, 스마트폰의 한 화면에 특정 가상 악기 전체를 표현할 수 없는 경우에는 해당 악기를 자연스럽게 연주하기 어려운 문제가 있다. 이를 해결하기 위하여 본 논문에서는 어쿠스틱 기타를 연주하여 사운드를 녹음하고, 녹음된 사운드를 각각 다른 악기 사운드로 변환하여 원하는 악기 사운드를 얻고, 각 악기에 따른 효과를 적용하고, 최종적으로 모든 사운드를 합성하여 합주 사운드를 생성하는 음악 합주 애플리케이션을 제안한다. 제안한 애플리케이션을 사용하면 어쿠스틱 기타 한 대만을 연주하여 혼자서 합주 음악을 생성할 수 있다.
본 논문에서는 스마트폰을 위한 악기 변환 기반의 음악 합주 애플리케이션을 제안한다. 기존 스마트폰 애플리케이션의 가상 악기를 사용하여 음악을 합주하려면 모든 악기의 연주 방법을 알아야 한다. 또한, 스마트폰의 한 화면에 특정 가상 악기 전체를 표현할 수 없는 경우에는 해당 악기를 자연스럽게 연주하기 어려운 문제가 있다. 이를 해결하기 위하여 본 논문에서는 어쿠스틱 기타를 연주하여 사운드를 녹음하고, 녹음된 사운드를 각각 다른 악기 사운드로 변환하여 원하는 악기 사운드를 얻고, 각 악기에 따른 효과를 적용하고, 최종적으로 모든 사운드를 합성하여 합주 사운드를 생성하는 음악 합주 애플리케이션을 제안한다. 제안한 애플리케이션을 사용하면 어쿠스틱 기타 한 대만을 연주하여 혼자서 합주 음악을 생성할 수 있다.
In this paper, we propose a musical instrument conversion based music ensemble application for smartphone. If we try to create ensemble music using virtual instruments provided by the conventional smartphone application, we should know how to play each instrument. In addition, it is impossible to pl...
In this paper, we propose a musical instrument conversion based music ensemble application for smartphone. If we try to create ensemble music using virtual instruments provided by the conventional smartphone application, we should know how to play each instrument. In addition, it is impossible to play the instrument in a natural way if the smartphone screen cannot show the entire part of the instrument. To solve this problem, in this paper, we propose a smartphone application that records music sound by playing an acoustic guitar, converts it to other instruments' sound, applies effect to the converted sound, and creates a final ensemble music after mixing all sounds. Using the proposed application, the user can create ensemble music only by playing the acoustic guitar.
In this paper, we propose a musical instrument conversion based music ensemble application for smartphone. If we try to create ensemble music using virtual instruments provided by the conventional smartphone application, we should know how to play each instrument. In addition, it is impossible to play the instrument in a natural way if the smartphone screen cannot show the entire part of the instrument. To solve this problem, in this paper, we propose a smartphone application that records music sound by playing an acoustic guitar, converts it to other instruments' sound, applies effect to the converted sound, and creates a final ensemble music after mixing all sounds. Using the proposed application, the user can create ensemble music only by playing the acoustic guitar.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그리고 사운드에 왜곡 (distortion), 컴프레서 (compressor) 등 다양한 이펙터들을 적용할 수 있도록 하여 다채로운 음악을 만들 수 있다. 그러나 제안하는 애플리케이션은 간단한 악기 변환 기술만을 사용하므로 실제 악기와 완벽히 일치하는 음색을 생성하지 못 하는 한계를 가지고, 단지 전기 기타, 베이스, 건반 악기와 유사한 음색을 청취자가 느끼도록 하는 것을 목표로 한다.
본 논문에서는 스마트폰을 위한 악기 변환 기반의 음악 합주 애플리케이션을 제안하였다. 기본으로 사용하는 어쿠스틱 기타 사운드와 변환하려는 악기 사운드의 특성 차이를 보정하여 사운드를 변환하고, 여러 악기로 변환된 사운드들을 합성해 하나의 합주 사운드를 만든다.
이런 문제점들을 해결하기 위해 본 논문에서는 스마트폰을 위한 악기 변환 기반의 음악 합주 애플리케이션을 제안한다. 제안하는 애플리케이션은 가상 악기가 아닌 실제 악기 하나를 연주하여 사운드를 녹음하고, 녹음된 사운드를 다른 악기 사운드로 변환하는 방식으로 원하는 악기 소리를 생성한다.
제안 방법
그림 1은 어쿠스틱 기타 사운드와 전기 기타 사운드의 스펙트럼이다. 두 스펙트럼의 차이를 보정하기 위하여 그림 2와 같은 이퀄라이저를 어쿠스틱 기타 사운드에 적용해 전기 기타 사운드를 생성한다.
다음, 녹음된 어쿠스틱 기타 사운드를 해당 악기 사운드로 변환하고 원하는 이펙터를 적용한다. 또한 가상 드럼을 연주하여 드럼 사운드를 녹음한다. 마지막으로, 드럼 사운드와 변환된 악기 사운드들을 하나의 사운드로 합성해 최종 합주 사운드를 생성한다.
또한 가상 드럼을 연주하여 드럼 사운드를 녹음한다. 마지막으로, 드럼 사운드와 변환된 악기 사운드들을 하나의 사운드로 합성해 최종 합주 사운드를 생성한다.
그림 12는 제안하는 애플리케이션의 전체 동작 순서를 흐름도로 나타낸 것이다. 먼저, 변환을 원하는 악기를 선택하고 해당 악기의 악보를 어쿠스틱 기타로 연주하여 사운드를 녹음한다. 다음, 녹음된 어쿠스틱 기타 사운드를 해당 악기 사운드로 변환하고 원하는 이펙터를 적용한다.
기본으로 사용할 악기는 멜로디와 화음 연주가 모두 가능하며 보편적인 악기인 어쿠스틱 기타로 한다. 먼저, 어쿠스틱 기타로 각 악기별 악보를 연주하고 애플리 케이션을 사용하여 사운드를 녹음하고, 녹음된 사운드를 원하는 악기 사운드로 각각 변환한다. 이때 사용자가 원하는 각종 이펙터 (effector)를 적용할 수 있다.
따라서 드럼은 독립 가상 악기로 구현하고 직접 가상 드럼을 연주하여 드럼 사운드를 생성한다. 애플리케이션 화면에서 드럼의 각 파트의 버튼을 누르면, 누른 시간과 버튼의 종류를 저장해 자체적으로 드럼 사운드를 생성해 저장하는 방식으로 드럼의 사운드 생성 알고리즘을 구현하였다.
제안하는 악기 변환 기반의 음악 합주 애플리케이션을 실제 상용 스마트폰을 사용하여 구현하였다. 이 애플리케이션은 안드로이드 OS 환경에서 동작하고 모든 응용 프로그램 코드는 Java eclipse 기반으로 개발하였다.
제안하는 악기 변환 기반의 음악 합주 애플리케이션을 실제 상용 스마트폰을 사용하여 구현하였다. 이 애플리케이션은 안드로이드 OS 환경에서 동작하고 모든 응용 프로그램 코드는 Java eclipse 기반으로 개발하였다.
제안하는 애플리케이션은 가상 악기가 아닌 실제 악기 하나를 연주하여 사운드를 녹음하고, 녹음된 사운드를 다른 악기 사운드로 변환하는 방식으로 원하는 악기 소리를 생성한다.
제안하는 애플리케이션을 사용하면 여러 가상 악기를 연주하지 않고 한 가지 실제 악기를 사용해서 녹음한 사운드를 다양한 악기 사운드로 변환하고 합성할 수 있다. 따라서 기본이 되는 악기인 어쿠스틱 기타만 연주할 줄 알면 많은 악기를 보유하고 그 악기들을 모두 연주할 줄 알아야 하는 기존 음악 합주 애플리케이션의 문제점을 해결할 수 있다.
기본으로 사용하는 어쿠스틱 기타 사운드와 변환하려는 악기 사운드의 특성 차이를 보정하여 사운드를 변환하고, 여러 악기로 변환된 사운드들을 합성해 하나의 합주 사운드를 만든다. 제안한 시스템을 구동시키기 위해 상용 스마트폰에서 동작하는 애플리케이션을 제작하였다. 개발한 애플리케이션을 사용하면 어쿠스틱 기타 한 대만을 사용해 녹음한 사운드를 다양한 악기 사운드로 변환하고 합성할 수 있다.
성능/효과
또한, 실제 사운드를 청취하여 변환된 사운드와 각 악기 실제 사운드의 음색이 유사한 것을 확인하였다. 또한 구현한 이펙터들을 적용하고 사운드를 청취한 결과, 적용한 이펙터와 계수에 따른 각 이펙터의 특성이 정상적으로 구현되어 원하는 효과를 뚜렷이 느낄 수 있었다.
변환한 사운드의 스펙트럼이 각 악기의 실제 사운드의 스펙트럼과 매우 유사함을 알 수 있다. 또한, 실제 사운드를 청취하여 변환된 사운드와 각 악기 실제 사운드의 음색이 유사한 것을 확인하였다. 또한 구현한 이펙터들을 적용하고 사운드를 청취한 결과, 적용한 이펙터와 계수에 따른 각 이펙터의 특성이 정상적으로 구현되어 원하는 효과를 뚜렷이 느낄 수 있었다.
후속연구
개발한 애플리케이션을 사용하면 어쿠스틱 기타 한 대만을 사용해 녹음한 사운드를 다양한 악기 사운드로 변환하고 합성할 수 있다. 그러나 제안 시스템은 간단한 악기 변환 기술만을 사용하므로 목표 악기와 유사한 음색을 생성하는 것만을 목표로 하는 한계를 가진다. 본 논문에서 제안한 기술들을 응용해서 다른 악기를 기본으로 사용하면 밴드 음악뿐만 아니라 오케스트라 등 다른 장르의 음악 합주도 가능한 애플리케이션을 개발할 수 있을 것이다.
그러나 제안 시스템은 간단한 악기 변환 기술만을 사용하므로 목표 악기와 유사한 음색을 생성하는 것만을 목표로 하는 한계를 가진다. 본 논문에서 제안한 기술들을 응용해서 다른 악기를 기본으로 사용하면 밴드 음악뿐만 아니라 오케스트라 등 다른 장르의 음악 합주도 가능한 애플리케이션을 개발할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
가상 악기를 사용하더라도 해결하지 못하는 문제점은 무엇인가?
대표적인 예로 Garage Band가 있으며, 드럼, 기타, 스트링, 키보드 등의 가상 악기를 사용하여 녹음하고 합주 음원을 생성할 수 있다. 그러나 가상 악기를 사용하더라도 각 악기를 연주할 줄 알아야 한다는 문제점은 해결되지 못한 다. 또한, 가상 악기를 사용하면 자연스러운 연주가 힘들다는 단점도 있다.
음악 합주를 돕는 애플리케이션에는 무엇이 있는가?
음악 합주를 돕는 애플리케이션은 크게 두 가지로 나눌 수 있다. 첫 번째는 실제 악기를 사용하는 애플리케이션이다. 대표적으로 믹서 (mixer) 애플리케이션이 있으며, 독립된 두 가지 이상의 음원을 혼합해 하나의 합주 출력을 만드는 기능을 제공한다. 이 애플리케이션은 필요한 모든 악기를 실제 보유하고 각 악기를 연주할 줄 알아야 한다는 문제점을 가진다. 두 번째는 가상 악기를 사용하는 애플리케이션이다. 대표적인 예로 Garage Band가 있으며, 드럼, 기타, 스트링, 키보드 등의 가상 악기를 사용하여 녹음하고 합주 음원을 생성할 수 있다.
이펙터란 무엇인가?
이펙터란 보컬의 음성 또는 악기 사운드를 변화시켜 처음에는 없었던 여러 가지 효과를 연출하는 장치를 말한다. 제안하는 애플리케이션을 사용하면 밴드 음악에서 대표적으로 쓰이는 5종류의 이펙터를 적용할 수 있다.
참고문헌 (6)
Ki-Jun Kim, Chang-Ho Myeong and Hochong Park, "Implementation of stereophonic sound system using multiple smartphones," Journal of Broadcast Engineering, Vol.19, No.6, pp.810-818, November 2014.
A. von dem Kneseback, P. Ziraksaz and U. Zolzer, "High quality time-domain pitch shifting using PSOLA and transient preservation," Proceeding of Audio Engineering Society Convention, San Francisco, US, pp. 238-241, November 2010.
Don Henja and Bruce R. Musicus, The SOLAFS time-scale modification algorithm, Technical report, BBN, Jul. 1991.
Jaeyeun Yoon, Junsun Park and Yongok Jin, "A study on the improvement of reverberation characteristics using tapped and nested-allpass delay line," Journal of Broadcast Engineering, Vol.12, No.1, pp. 28-40, January 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.