음악제작에 쓰이는 음성합성엔진은 악기 소리와 음색의 합성에 머물던 과거의 신디사이저와는 달리, 인간의 목소리를 각 음소에 따라 샘플화하여 탑재함과 동시에 각 음소의 연결을 주파수 영역 내에서 자연스럽게 처리함으로써 실제 사람이 노래하는 것과 같은 수준까지 도달하게 되었다. 사용자들은 이러한 음성합성엔진을 음악제작에 국한하여 쓰지 않고 캐릭터를 활용한 콘서트, 영상제작, 음반, 모바일 서비스 등 2차 창작물로 새로운 음악의 형태를 창조하며 문화적 패러다임을 바꾸어 나가고 있다. 현재 음성합성엔진 기술은 악보 편집기를 통하여 사용자가 원하는 음과 가사, 그리고 음악적 표현 파라미터를 입력한 뒤, 실제 가성 샘플을 데이터베이스에서 가져와 합성엔진에서 발음들을 조합, 연결하여 노래하는 것을 가능하게 한다. 이러한 컴퓨터음악 기술의 발전으로 인해 파생된 새로운 음악 형태들은 문화적으로 큰 반향을 불러일으키고 있다. 이에 따라 본 논문은 구체적 활용 사례를 살펴보고 합성기술을 탐색함으로써, 사용자들이 음성합성엔진을 이해하고 습득하는 데 기여함과 동시에 그들의 다양한 음악제작에 도움이 되고자 한다.
음악제작에 쓰이는 음성합성엔진은 악기 소리와 음색의 합성에 머물던 과거의 신디사이저와는 달리, 인간의 목소리를 각 음소에 따라 샘플화하여 탑재함과 동시에 각 음소의 연결을 주파수 영역 내에서 자연스럽게 처리함으로써 실제 사람이 노래하는 것과 같은 수준까지 도달하게 되었다. 사용자들은 이러한 음성합성엔진을 음악제작에 국한하여 쓰지 않고 캐릭터를 활용한 콘서트, 영상제작, 음반, 모바일 서비스 등 2차 창작물로 새로운 음악의 형태를 창조하며 문화적 패러다임을 바꾸어 나가고 있다. 현재 음성합성엔진 기술은 악보 편집기를 통하여 사용자가 원하는 음과 가사, 그리고 음악적 표현 파라미터를 입력한 뒤, 실제 가성 샘플을 데이터베이스에서 가져와 합성엔진에서 발음들을 조합, 연결하여 노래하는 것을 가능하게 한다. 이러한 컴퓨터음악 기술의 발전으로 인해 파생된 새로운 음악 형태들은 문화적으로 큰 반향을 불러일으키고 있다. 이에 따라 본 논문은 구체적 활용 사례를 살펴보고 합성기술을 탐색함으로써, 사용자들이 음성합성엔진을 이해하고 습득하는 데 기여함과 동시에 그들의 다양한 음악제작에 도움이 되고자 한다.
Differently from instruments which synthesized sounds and tones in the past, voice synthesis engine for music production has reached to the level of creating music as if actual artists were singing. It uses the samples of human voices naturally connected to the different levels of phoneme within the...
Differently from instruments which synthesized sounds and tones in the past, voice synthesis engine for music production has reached to the level of creating music as if actual artists were singing. It uses the samples of human voices naturally connected to the different levels of phoneme within the frequency range. Voice synthesis engine is not simply limited to the music production but it is changing cultural paradigm through the second creations of new music type including character music concerts, media productions, albums, and mobile services. Currently, voice synthesis engine technology makes it possible that users input pitch, lyrics, and musical expression parameters through the score editor and they mix and connect voice samples brought from the database to sing. New music types derived from such a development of computer music has sparked a big impact culturally. Accordingly, this paper attempts to examine the specific case studies and the synthesis technologies for users to understand the voice synthesis engine more easily, and it will contribute to their variety of music production.
Differently from instruments which synthesized sounds and tones in the past, voice synthesis engine for music production has reached to the level of creating music as if actual artists were singing. It uses the samples of human voices naturally connected to the different levels of phoneme within the frequency range. Voice synthesis engine is not simply limited to the music production but it is changing cultural paradigm through the second creations of new music type including character music concerts, media productions, albums, and mobile services. Currently, voice synthesis engine technology makes it possible that users input pitch, lyrics, and musical expression parameters through the score editor and they mix and connect voice samples brought from the database to sing. New music types derived from such a development of computer music has sparked a big impact culturally. Accordingly, this paper attempts to examine the specific case studies and the synthesis technologies for users to understand the voice synthesis engine more easily, and it will contribute to their variety of music production.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이것을 활용하여 유저들이 만든 곡이 UCC 사이트에서 널리 알려지게 되었는데, 이는 디지털 기술을 바탕으로 생성된 하나의 콘텐츠가 이례적으로 급속도로 파생되어 문화적으로 큰 반향을 일으킨 대표적인 경우이다. 따라서 본 연구에서는 하츠네 미쿠를 탄생시킨 보컬로이드의 활용 현황 및 파급 효과에 대해 알아보고, 그 기술 적인 면을 연구하여 사용자가 음악제작에 있어 효과적으로 음성합성엔진을 사용할 수 있도록 기여함과 동시에 향후 기대효과를 전망해 보고자 한다.
제안 방법
특히 ‘Supercell’이라는 팀의 음악이 니코니코 동화에서 큰 반응을 이끌어 소니 뮤직( ony Music)을 통해 정식 앨범으로 제작되었다.
대상 데이터
보컬로이드에서 대표되는 캐릭터는 하츠네 미쿠이다. 하츠네 미쿠는 컴퓨터 음악 소프트웨어 VOCALOID2 CV(Character Vocal)의 첫 번째음원으로서 보컬로이드 2 엔진을 차용하여 제작되었으며, 데이터베이스는 여자 성우의 목소리를 기초로 했다.
성능/효과
하지만 ‘VOCALOID - flex’[5]의 등장으로 음운과 운율의 세밀한 편집이 가능함에 따라 노래가 아닌 일상적인 언어도 표현 할수 있게 되었다. 구체적으로 보컬로이드에서 불가능했던 모음의 무성화나 탈락화가 표현 가능해져 자음의 길이, 소리의 높이 및 세기를 세밀 하게 편집할 수 있게 되었고, 그로 인해 보다 사람의 목소리에 가까운 표현을 할 수 있게 되어세세한 뉘앙스나 다양한 방언 등의 액센트와 인토네이션을 붙이는 것이 가능해졌다. 더욱이 VO CALOID-flex로 사용하는 음성 라이브러리는 새로운 음원을 추가하지 않고 그 활용이 가능해졌다.
그리고, 공식 팬 사이트 ‘피 아프로(ピアプロ)’ (그림 1)를 개설함으로써 음악 소프트웨어로서는 보기 드물게 캐릭터를 마케팅에 활용한 성공적인 사례가 되었다.
또한, 트랙마다 실시간 합성과정을 통하여 일반적인 재생을 하는 것인지 이미 합성하여 렌더링 한 것을 재생하는지를 지정할 수 있으며, 편집이 완료된 트랙을 렌더링 해두는 것으로 재생 시 부하를 줄일 수 있다. 그리고, 사용자의 임의 적인 위치에서 라이브러리 가수의 변경이 가능할 뿐만 아니라, Standard MIDI 파일의 읽기 및 ReWire 디바이스로서 ReWire에 대응하는 다른 소프트웨어와 동기화가 가능하다.
후속연구
보컬리스너는 향후 보컬로이드 뿐만 아니라 가성 지각과 관련된 분야에서도 연구가 이루어질 것이며, 인간의 가성을 다양한 관점에서 관찰 및 분석하는데 사용될 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
음성합성의 방법 중 연결합성 방식이 우리가 듣기에 자연스러운 합성음을 얻기에 부족함이 있는 이유는 무엇인가?
그러나, 이 연결합성 방식은 인간의 음성기관의 움직임을 모델링한 조음합성 방식보다음질은 좋지만 실제적으로 우리가 듣기에 자연 스러운 합성음을 얻기에는 부족함이 있었다. 왜냐하면 같은 단어라도 각 음운구조의 길이, 음고 (音高) 등 파라미터 값들이 위치에 따라 다양하게 변화하기 때문에 녹음된 발음들의 연결은 각기 일정한 값을 가진 음운들을 이어붙인 것에 지나지 않았기 때문이다. 이를 해결하기 위해 고안된 것이 파형처리에 의한 음성합성 방법으로서 TD-PSOLA(Time Domain-Pitch Synchrono us Overlap an Add) 방식이 있다[7][8].
S ymphonic Choirs은 어떠한 것을 목적으로 하는가?
솔로 음원으로 구성된 보컬로이드와는 달리 S ymphonic Choirs는 합창(코러스) 합성을 목적으로 한다. 미리 저장된 라이브러리는 실제 합창가수들을 통해 녹음된 데이터이며, 합창의 4성부 (소프라노, 알토, 테너, 베이스)로 구분하여 수음 (受音)되어 있다.
하츠네 미쿠란 무엇인가?
하츠네 미쿠는 원래 일본 음원 회사인 크립톤 퓨쳐 미디어(Crypton Future Media)가 야마하 (Yamaha)의 음성합성엔진인 ‘보컬로이드(VOCA LOID) 2'[2]를 채택하여 개발한 보컬 음원 소프트웨어 신디사이저의 마케팅 캐릭터 상품이다.
참고문헌 (12)
Masahiro Hamasaki, Hideaki Takeda, and Takuichi Nishimura, "Network Analysis of Massively Collaborative Creation of Multimedia Contents", uxTV'08 Silicon Valley, 2008.
http://www.vocaloid.com/en/index.html
Tomoyasu Nakano and Masataka Goto, "VOCALIS TENER: A SINGING-TO-SINGING SYNTHESIS SYSTEM BASED ON ITERATIVE PARAMETER ESTIMATION", 6th Sound and Music Computing Conference Porto - Portugal, pp. 343-348, 2009.
Masahiro Hamasaki, Hideaki Takeda, Tom Hope, and Takuichi Nishimura, "Network Analysis of an Emergent Massively Collaborative Creation Community", ICWSM Conference, pp. 222-225, 2009.
http://www.yamaha.co.jp/news/2010/10022501.html
http://www.ceatec.com/2009/en/index.html
F.J. Charpentier and M. G. Stella, "Diphone Synthesis Using An Overlap-Add Technique for Speech Waveforms Concatenation", Proc. ICASSP, Tokyo, pp. 2015-2018, 1986
E. Moulines, and F. J. Charpentier, "Pitch-Synchronous Waveform Processing Techniques for Text-to-Speech Synthesis Using Diphones", Speech Communication, vol. 9, no. 5-6, pp.453-467, 1990
Jordi Janer, Jordi Bonada, and Merlijn Blaauw, "PERFORMANCE-DRIVEN CONTROL FOR SAMPLE-BASED SINGING VOICE SYNTHESIS", DAFx-06 Montreal, pp. 41-44, 2006.
Peter Q. Pfordresher and James T. Mantell, "Singing as a Form of Vocal Imitation: Mechanisms and Deficits", ESCOM Jyvaskyla, Finland, pp. 425-430, 2009.
Hideki Kenmochi and Hayato Ohshita, "VOCALOID - Commercial singing synthesizer based on sample concatenation", INTERSPEECH 2007, 2007.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.