선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 보다 정확한 음향 특징 파라미터를 구하기 위해, 음소 특성을 이용할 필요가 있다. 본 논문에서는 이러한 음향 특징 파라미터를 이용하여 보다 보편적인 상황에서 선곡을 할 수 있는 내용기반 검색 시스템을 제안하고자 한다.
- 따라서 정확한 상태열을 찾기 위해 정확한 피치 검출방법이 선행되어야한다. 이 시스템에서는 이를 해결하기 위해서 허밍음을 하나씩 강하게 발음하는 것에 의해 정확하게 음에 대한 피치 포락선이 나타나도록 하였다.
- 따라서 멜로디를 S, U, D 세 가지 상태열로 나타내고 부열 정합 방법을 이용하여 가장 유사한 상태열을 가리키는 곡을 선곡한다. 이 시스템은 음향 특징 파라미터가 일단 정확히 구해졌다는 전제하에서 이것을 이용하여 효과적이고 빠르게 검색할 수 있는 알고리즘 개발에 초점을 맞추고 있다. 따라서 정확한 상태열을 찾기 위해 정확한 피치 검출방법이 선행되어야한다.
제안 방법
- 성능을 평가하기 위하여 10명의 발성자(20대의 남 5명 + 여 5명) 20곡의 노래를 '나' 발음으로 악보 시작부분에서 처음 4마디만 불렀다. 각각의 발성된 노래들은 8kHz 샘플링, 16bit 양자화를 거친 후 300샘플의 분석창을 이용하여 200 샘플씩 이동해 가면서 음향 특징 파라미터들을 추출하였다.
- (m)은 사각창을 이용하였다. 그리고 단구간 AMDF에서 단구간의 크기는 300샘플이며 200샘플씩 슬라이딩하며 피치값을 구하였다. 단구간 AMDF를 이용하여 피치 포락선을 구한 후에 이것을 식 3.
- 본 연구에서, 내용기반 선곡 시스템을 위한 음향 특징 파라미터는 Shichiro Tsuruta가 이용한 피치와 에너지 정보를 이용하였다[2]. 그리고 이러한 음향 특징 파라미터를 선곡 시스템에 적합하도록 변형하였으며 이를 각각 음높이, 음길이로 명명하였다.
- 3과 같이 주파수 영역에서 상용 로그를 이용하여 정규화 시켰다. 데이터베이스에 들어있는 저장되어 있는 음높이 특징 파라미터와 유효 숫자를 맞추기 위해서 소수 셋째 자리에서 반올림 하였다. 그림 3.
- S는 이전 피치와 동일함을 나타내고, U는 이전 피치보다 증가했음을 나타내며, D는 이전 피치보다 감소함을 나타낸다. 따라서 멜로디를 S, U, D 세 가지 상태열로 나타내고 부열 정합 방법을 이용하여 가장 유사한 상태열을 가리키는 곡을 선곡한다. 이 시스템은 음향 특징 파라미터가 일단 정확히 구해졌다는 전제하에서 이것을 이용하여 효과적이고 빠르게 검색할 수 있는 알고리즘 개발에 초점을 맞추고 있다.
- 본 논문에서 제안하는 시스템은 입력된 허밍음으로부터 멜로디를 입력받아 피치 포락선과 에너지 포락선을 구한다. 각각의 포락선에서 음길이와 음높이 특징 파라미터들을 추출한다.
- 본 논문에서는 내용기반 검색에 사용될 특징 파라미터를 음성 파형에서 추출된 음표에 해당하는 음의 길이와 음의 높이 정보를 이용하였다. 보다 정확한 음향 특징 파라미터를 구하기 위해, 음소 특성을 이용할 필요가 있다.
- 본 연구에서는 사용자 친화적인 환경을 제공하면서, 입력 곡에 대한 시작 위치와 끝나는 위치를 알고 있을 때 선곡을 하는 음길이 정규화 선곡 시스템을 구현 하였다. 노래의 시작과 끝을 알고 있기 때문에 음의 길이 정보는 시스템의 기준벡터열에 미리 저장되어 있으므로, 정확한 음높이 정보를 추출하는데 중점을 둔다.
- 이 시스템은 입력 곡에 대한 시작 위치와 끝나는 위치를 알 때 선곡할 수 있다. 선곡시스템의 데이터베이스를 구축하기 위해 기준패턴으로 사용될 곡들의 악보를 수집하고 각 악보의 음표정보를 음길이와 음높이의 벡터열로 변환하여 저장 했다. 그럼 3.
- 외국의 내용기반 선곡 시스템으로 Asif Ghias의 허밍을 이용한 시스템이 있다[4]. 이 시스템은 앞에서 언급한 선곡 시스템과 동일한 평균차 함수법을 이용하여 피치를 구하며, 선곡 특징 파라미터로써 피치의 변화를 이용하였다.
- 이 시스템은 입력 신호의 멜로디에서 음의 변화를 S, U, D 세 가지 상태로 분류하였다. S는 이전 피치와 동일함을 나타내고, U는 이전 피치보다 증가했음을 나타내며, D는 이전 피치보다 감소함을 나타낸다.
- 따라서 피치를 P라 할 때 k=0, P, 2P, 3P, • 등의 위치에서 R(k) 는 극소값을 가지며, 이를 이용하여 피치를 구할 수 있다. 이 시스템은 피치 포락 선에서 피치의 변화가 나타나는 곳을 검출하여 음의 경계로 판단하였다.
- 국내에서는, 입력된 선율을 인식하여 생성한 음 곡선에 의해서 임의의 음악정보를 효율적으로 검색하기 위한 알고리즘에 대해 연구하고 있다[3]. 이 연구에서는 입력된 선율에 대한 음 신호를 처리하여 음표정보로 인식하고, 이를 바탕으로 음정곡선을 생성하여 이를 탐색 패턴으로 사용한다. 피치는 프레임 별로 포락선을구하였다.
- 예를 들어 사람에 따라 같은 음이라 할지라도 약간씩 변화한다. 이러한 특성을 보상하기 위하여 음높이열의 시작부분에서 안정 구간을 찾아 이 값과 음높이열의 비를 구하였다. 이렇게 함으로써 음높이의 상대적인 변화를 특징 파라미터 사상(mapping)시 이용하도록 하였다.
- 이러한 특성을 보상하기 위하여 음높이열의 시작부분에서 안정 구간을 찾아 이 값과 음높이열의 비를 구하였다. 이렇게 함으로써 음높이의 상대적인 변화를 특징 파라미터 사상(mapping)시 이용하도록 하였다. 또한, 사람마다 박자를 약간씩 다르게 부르기 때문에 이에 대한 정규화가 필요하다.
- 제안된 음길이 정규화 선곡 시스템에서는 특징 파라미터 정합을 위하여 음높이 특징 파라미터에 대한 정규화가 입력 신호에서 구한 음높이 열과 데이터베이스에서 구한 기준 벡터 열에 모두 적용되어야 한다. 예를 들어 사람에 따라 같은 음이라 할지라도 약간씩 변화한다.
- 본 연구에서는 음향 특징 파라미터의 특성을 다음과 같은 방법으로 정량화 하였다. 첫째로 음높이는 계산의 편의상 음계의 주파수나 입력 신호에서 구한 피치를 상용 로그(log)를 취하여 소수 셋째 자리에서 반올림을 하였다.
- 프레임 에너지 정보를 이용하여 음성 신호입력 구간 내에서 시작 위치와 끝 위치를 찾았다. 프레임 에너지는 식 3.
대상 데이터
- 곡들은 비교적 부르기 쉬운 동요(겨울밤, 고기잡이, 고드름, 고향의 봄, 꼬마눈사람, 나뭇잎 배, 똑같아요 등)를 선택하였다. 성능을 평가하기 위하여 10명의 발성자(20대의 남 5명 + 여 5명) 20곡의 노래를 '나' 발음으로 악보 시작부분에서 처음 4마디만 불렀다. 각각의 발성된 노래들은 8kHz 샘플링, 16bit 양자화를 거친 후 300샘플의 분석창을 이용하여 200 샘플씩 이동해 가면서 음향 특징 파라미터들을 추출하였다.
- 음길이 정규화 선곡시스템의 성능 평가를 위해서 20곡의 노래를 이용하였다. 곡들은 비교적 부르기 쉬운 동요(겨울밤, 고기잡이, 고드름, 고향의 봄, 꼬마눈사람, 나뭇잎 배, 똑같아요 등)를 선택하였다.
이론/모형
- 본 논문에서는 피치를 AMDF법을 이용하여 구하였다. 단구간 AMDF는 식 3.
- 본 연구에서, 내용기반 선곡 시스템을 위한 음향 특징 파라미터는 Shichiro Tsuruta가 이용한 피치와 에너지 정보를 이용하였다[2]. 그리고 이러한 음향 특징 파라미터를 선곡 시스템에 적합하도록 변형하였으며 이를 각각 음높이, 음길이로 명명하였다.
- 8을 y의 입력 신호가 X축의 400 포인트로 선형적으로 사상을 시킨다. 선형적으로 사상을 할 때 입력 신호에서 없는 값은 식 3.6과 같이 선형 보간법을 이용하여 구하였다.
- 단구간 AMDF에서 구한 피치들 중에서 피치가 두 배 혹은 반 배 주기로 잘못 찾아지는 경우가 있다. 이를 보상하기 위하여 3탭 메디안 필터(3-tap median filter)를 이용하였다.
- 5(b)와 같이 0 구간 이전의 음높이 값을 이용하여 이 구간을 대치하였다. 패턴 정합은 유클리디안 거리를 이용하여 구하였다. 식 3.
성능/효과
- 1과 같다. 순위 1위 인식률은 남성의 경우 70%, 여성의 경우 평균 78%을 보여 주었으며, 총 인식률 74%의 성능이 나왔다. 표 4.
- 2는 순위별 인식률을 보여준다. 이 표에서 보듯이 순위 3위까지 인식률은 남성의 경우 82%, 여성의 경우 평균 88%을 보여 주었으며, 총 인식률 85%의 성능이 나왔다.
후속연구
- 본 논문에서 제안한 선곡시스템은 인터넷 음악 검색, 디지털 도서관에서 노래로 자료를 검색할 수 있는 시스템, 노래방 기계, 노래에 따라 움직이는 기계인형, 음악 훈련을 위한 교육용 소프트웨어 등 여러 분야에서 검색 시스템으로 응용되어 질 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.