선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 오디오 핑거프린팅 기술과 입체음향 기술을 결합한 오디오 핑거프린팅을 이용한 입체음향 재현 시스템을 제안했다. 제안된 시스템은 오디오 핑거 프린팅을 이용하여 녹음된 음원을 식별하고, 식별된 음원의 녹음환경에 대한 입체음향 메타데이터와 음원을 사용자에게 전송하고, 사용자의 단말에서는 전송받은 메타데이터를 사용하여 사용자의 출력환경에 적합한 형태의 스파셜 오디오를 재구성하여 사용자가 실재감 있는 오디오를 청취할 수 있도록 하였다.
- 본 논문에서는 지금까지 각각 독립적으로 적용 및 개발되고 있는 음악 식별 기술과 입체음향 재현기술을 결합하여 새로운 서비스를 제공할 수 있는 오디오 핑거프린팅 기반 입체음향 재현 시스템을 제안하고자 한다.
- 본 연구에서는 그림 1에서와 같이 오디오 핑거프린팅 기술과 스파셜 오디오 재현기술을 결합한 오디오 핑거프린팅 기반 입체음향 재현 시스템을 제안한다.
제안 방법
- 본 논문의 구성은 다음과 같다. Ⅱ장에서는 오디오 핑거프린팅 기술과 스파셜 오디오 재현 기술을 결합한 오디오 핑거프린팅 기반 입체음향 재현 시스템에 대해서 기술하고, 이와 함께 제안된 시스템의 오디오 핑거 프린팅 기술에 있어서 현재 개발된 Gracenote, Shazam, Google 등의 오디오 핑거프린팅 기술을 분석하고, Ⅲ장에서는 대표적인 세 가지 방식을 기반으로 최근에 개발된 다양한 오디오 핑거프린팅 기술들에 대한 검색 성능을 제안된 방식과 비교 평가하였다. 그리고 Ⅳ장에서는 결론 및 향후 연구 방향을 제시하였다.
- 생성된 변조 스펙트럼 계수에 로그스케일을 적용하고, 평균을 차감하는 방식을 통해서 로그스케일의 변조 스펙트럼을 정규화한다. 그리고 감쇄 왜곡에 민감한 고주파의 스펙트럼 성분을 강화하기 위해서 정규화된 로그 스케일의 변조 스펙트럼에 강화 필터를 적용한다. 강화 필터링된 변조 스펙트럼에서 대해 역동적인 문턱값이 적용된 순방향 및 역방향 필터링을 적용함으로써 잡음환경에 보다 강인한 정점들을 검출한다.
- 1채널 스피커로부터 5m 떨어진 지점에서 휴대용 단말로 녹음된 2, 3, 4, 5초 길이의 오디오 데이터를 사용했다. 다양한 잡음환경에서의 성능측정을 위해 무작위로 생성된 3000개 오디오 쿼리의 음악신호에 Babble, Moving Car, White, Street, Computer Pan 등의 5 종류의 잡음을 clean 쿼리 에서부터 0 dB, 6 dB, 12 dB의 신호 대 잡음비(SNR)로 구성하여 잡음환경에 대한 오디오 핑거프린트 검색 성능을 측정했다. 오디오 쿼리는 16 kHz 샘플링, 16bit로 양자화된 모노채널인 표준 PCM 형태로 구성되었다.
- 사용자 단말기의 오디오 재생부에서는 전송받은 압축된 음원의 데이터를 복원하고, 복원된 음원과 입체음향 메타 데이터를 이용하여 현재 사용자 단말기의 출력장치에 적합한 형태로 오디오 신호를 재구성하여 입체음향을 출력시킨다. 또한, 음원을 재생하는 동안 서버로부터 전달받은 음원의 정보를 사용자 단말기의 디스플레이 장치에 표시하여 사용자가 가시적으로 음원의 정보를 읽을 수 있도록 한다.
- 본 논문에서 제안한 시스템의 성능을 평가하기 위해서 먼저, 오디오 핑거프린팅의 검색 성능을 측정하였다. 또한, 제안된 오디오 핑거프린팅(MOD)의 성능을 측정하기 위해서 최근에 개발된 네 개의 오디오 핑거프린팅 방식과 성능을 비교하였다. 방식 1(MW)은 STFT기반 정점 추출을 통한 오디오 핑거프린팅 방식 [10] , 방식 2(MS)는 피치 추출을 기반으로 서브핑거프린트의 마스크를 사용하는 오디오 핑거프린팅 방식 [12] , 방식 3(MC) 은 마스크된 오디오 스펙트럼의 키포인트를 기반으로 오디오핑거프린트를 추출하는 방식 [13] , 그리고 방식 4(MX)는 적응적으로 스케일된 오디오 신호의 시간-크로마 표현방식으로부터 추출된 로컬 특징값 추출 방식 [14] 이다.
- 먼저, 사용자의 단말기에서는 음원소스로부터 몇 초간의 음악부분구간을 녹취하고, 녹취된 음악신호의 신호특징을 이용하여 오디오 핑거프린트를 추출하는 오디오 핑거프린트 생성부(Audio Fingerprint Generation), 생성된 오디오 핑거프린트를 압축하여 서버로 전송한 후에 서버로부터 전송받은 음원 정보(음악의 곡명, 사용자 리뷰 등), 그리고 음원 데이터와 입체음향 재현 메타데이터를 이용하여 사용자의 단말기에 맞게 최대한 입체음향을 재생하는 오디오 재생부(Audio Player)로 구성된다. 그리고 서버에서는 각 음원 데이터를 저장한 음원 데이터베이스(Audio Source Database), 곡명, 가수명 등의 각 음원의 정보와 함께, 인터넷 커뮤니티에 작성된 음원을 청취한 사용자의 청취 후기 등의 정보를 포함한 오디오 정보 데이터베이스(Audio Information Database), 음원 데이터베이스로부터 각 음원 데이터 전체의 오디오 핑거프린트를 추출하여 저장한 오디오 핑거프린트 데이터베이스(Audio Fingerprint Database), 오디오 핑거프린트 데이터베이스와 단말기로부터 전송받은 단구간 오디오 쿼리의 핑거프린트를 매칭하여 음원을 검색하는 오디오 핑거프린트 매칭부(Audio Fingerprint Matching), 음원 데이터로부터 녹음환경에 대한 정보가 담겨져 있는 메타데이터를 생성하는 스파셜 오디오 제작부(Spatial Audio Production)로 이루어져 있다.
- 생성된 스파셜 오디오 데이터와 메타데이터를 가상의 출력 시스템으로 구동하여 실재감 있는 오디오 효과가 제대로 구현되었는지를 판단한다. 모니터링 디코더를 통해서 얻어진 오디오 효과를 바탕으로 실시간으로 메타데이터 엔진에 적용하여 더 정확한 메타데이터를 생성하기 위해서 엔진을 제어한다. 이 피드백 과정을 통해 보다 실재감 있는 오디오 신호가 사용자의 단말기로 전송된다.
- 모든 오디오 데이터는 휴대폰과 같은 휴대용 단말을 고려한 실제 오디오 데이터로부터 16 kHz 샘플링레이트로 변환된 모노, 16 bit로 저장되어 오디오 핑거프린트 추출에 적용되었다. 오디오 쿼리는 TV에 연결된 2.
- 본 논문에서 제안한 시스템의 성능을 평가하기 위해서 먼저, 오디오 핑거프린팅의 검색 성능을 측정하였다. 또한, 제안된 오디오 핑거프린팅(MOD)의 성능을 측정하기 위해서 최근에 개발된 네 개의 오디오 핑거프린팅 방식과 성능을 비교하였다.
- 본 논문에서는 이러한 문제를 해결하고, 짧은 오디오 쿼리에서 잡음 및 에코 환경에 따른 오디오 신호의 왜곡에 강인한 오디오 핑거프린트를 추출하기 위해서 변조 스펙트럼 [11] 을 적용한다. 즉, Shazam의 방식을 기반으로 변조 스펙트럼으로부터 정점의 위치정보를 추출하여 오디오 핑거프린트를 추출하는 방식을 제안한다.
- 사용자 단말기의 오디오 재생기에서는, 서버로부터 전송받은 오디오 데이터와 스파셜 오디오 메타데이터를 통해서 사용자의 단말기 환경에 적합한 형태로 오디오 데이터를 재구성한다.
- 먼저, 오디오 핑거프린트를 추출하기 위해 입력된 오디오 신호의 변조 스펙트럼(Modulation Spectrum) 계수를 생성한다. 생성된 변조 스펙트럼 계수에 로그스케일을 적용하고, 평균을 차감하는 방식을 통해서 로그스케일의 변조 스펙트럼을 정규화한다. 그리고 감쇄 왜곡에 민감한 고주파의 스펙트럼 성분을 강화하기 위해서 정규화된 로그 스케일의 변조 스펙트럼에 강화 필터를 적용한다.
- 동시에, 결합된 데이터는 서버의 모니터링 디코더로 전송된다. 생성된 스파셜 오디오 데이터와 메타데이터를 가상의 출력 시스템으로 구동하여 실재감 있는 오디오 효과가 제대로 구현되었는지를 판단한다. 모니터링 디코더를 통해서 얻어진 오디오 효과를 바탕으로 실시간으로 메타데이터 엔진에 적용하여 더 정확한 메타데이터를 생성하기 위해서 엔진을 제어한다.
- 추출된 오디오 쿼리의 핑거프린트는 서버로 전송되어 서버의 음원 핑거프린트 데이터베이스에 저장되어 있는 오디오 핑거프린트와 매칭되어 사용자의 오디오 쿼리에 대한 음원 검색 결과 및 사용자의 음원에 대한 리뷰정보를 제공받는다. 이와 함께, 사용자가 검색된 음원을 듣고자 하면 음원 검색 결과에 해당하는 음원의 데이터를 음원 데이터베이스로부터 찾고, 스파셜 오디오 제작부에서 형성된 해당 음원의 입체음향 메타데이터를 압축된 음원과 함께 사용자의 단말기로 전송한다. 사용자 단말기의 오디오 재생부에서는 전송받은 압축된 음원의 데이터를 복원하고, 복원된 음원과 입체음향 메타 데이터를 이용하여 현재 사용자 단말기의 출력장치에 적합한 형태로 오디오 신호를 재구성하여 입체음향을 출력시킨다.
- 방식 1(MW)은 STFT기반 정점 추출을 통한 오디오 핑거프린팅 방식 [10] , 방식 2(MS)는 피치 추출을 기반으로 서브핑거프린트의 마스크를 사용하는 오디오 핑거프린팅 방식 [12] , 방식 3(MC) 은 마스크된 오디오 스펙트럼의 키포인트를 기반으로 오디오핑거프린트를 추출하는 방식 [13] , 그리고 방식 4(MX)는 적응적으로 스케일된 오디오 신호의 시간-크로마 표현방식으로부터 추출된 로컬 특징값 추출 방식 [14] 이다. 적용된 방식 1, 방식 2, 방식 3, 방식 4는 모두 논문의 내용을 기반으로 구현하여 실험에 적용하였다.
- 본 논문에서는 오디오 핑거프린팅 기술과 입체음향 기술을 결합한 오디오 핑거프린팅을 이용한 입체음향 재현 시스템을 제안했다. 제안된 시스템은 오디오 핑거 프린팅을 이용하여 녹음된 음원을 식별하고, 식별된 음원의 녹음환경에 대한 입체음향 메타데이터와 음원을 사용자에게 전송하고, 사용자의 단말에서는 전송받은 메타데이터를 사용하여 사용자의 출력환경에 적합한 형태의 스파셜 오디오를 재구성하여 사용자가 실재감 있는 오디오를 청취할 수 있도록 하였다. 제안된 시스템의 오디오 핑거프린트 방식은 기존의 방식들에 비해 우수한 성능을 보이며, 실제 휴대용 단말에 적용되어 사용되기 적합함을 보여준다.
- 을 적용한다. 즉, Shazam의 방식을 기반으로 변조 스펙트럼으로부터 정점의 위치정보를 추출하여 오디오 핑거프린트를 추출하는 방식을 제안한다. 사용자 단말기에서는 녹음된 부분구간 음원의 오디오 신호에서 변조 스펙트럼에서의 정점 위치정보를 기반으로 오디오 핑거프린트를 생성하고, 생성된 오디오 핑거프린트를 압축하여 서버로 전송한다.
- 녹음된 음원 쿼리의 신호특징을 이용하여 오디오 핑거프린트를 추출하고 오디오 쿼리 핑거프린트로 사용한다. 추출된 오디오 쿼리의 핑거프린트는 서버로 전송되어 서버의 음원 핑거프린트 데이터베이스에 저장되어 있는 오디오 핑거프린트와 매칭되어 사용자의 오디오 쿼리에 대한 음원 검색 결과 및 사용자의 음원에 대한 리뷰정보를 제공받는다. 이와 함께, 사용자가 검색된 음원을 듣고자 하면 음원 검색 결과에 해당하는 음원의 데이터를 음원 데이터베이스로부터 찾고, 스파셜 오디오 제작부에서 형성된 해당 음원의 입체음향 메타데이터를 압축된 음원과 함께 사용자의 단말기로 전송한다.
대상 데이터
- 그림 5는 녹음환경에서 획득된 메타데이터와 출력스피커의 형태에 따른 입체 오디오 효과를 시뮬레이션한 결과이다. 모든 오디오 데이터는 휴대폰과 같은 휴대용 단말을 고려한 실제 오디오 데이터로부터 16 kHz 샘플 링, 16 bit로 양자화된 PCM형태로 구성되었다. 그림 5(a)는 60개의 스피커를 원형으로 배치했을 때의 입체 오디오 효과를 시뮬레이션한 결과다.
- 실험을 위해 사용된 두 가지 테스트 데이터베이스 유형은 다음과 같다 : (1) 데이터베이스 1: 팝, 힙합, 재즈, 클래식 등 다양한 장르의 7000곡으로 구성했고, (2) 데이터베이스 2: 10～15분 길이의 740시간 길이의 4000개 TV 광고로 구성했다.
- 모든 오디오 데이터는 휴대폰과 같은 휴대용 단말을 고려한 실제 오디오 데이터로부터 16 kHz 샘플링레이트로 변환된 모노, 16 bit로 저장되어 오디오 핑거프린트 추출에 적용되었다. 오디오 쿼리는 TV에 연결된 2.1채널 스피커로부터 5m 떨어진 지점에서 휴대용 단말로 녹음된 2, 3, 4, 5초 길이의 오디오 데이터를 사용했다. 다양한 잡음환경에서의 성능측정을 위해 무작위로 생성된 3000개 오디오 쿼리의 음악신호에 Babble, Moving Car, White, Street, Computer Pan 등의 5 종류의 잡음을 clean 쿼리 에서부터 0 dB, 6 dB, 12 dB의 신호 대 잡음비(SNR)로 구성하여 잡음환경에 대한 오디오 핑거프린트 검색 성능을 측정했다.
성능/효과
- 광고 음원에 대한 인식 성능이 음악검색에 대한 인식 성능 보다는 약간 저하된 이유는 광고 내에 묵음구간이 존재하기 때문이다. 그러나 광고음원에 대한 인식성능 역시 제안된 방식이 비교된 네 가지 방식들의 인식 성능 보다 좋은 결과를 제시하고 있음을 알 수 있다.
- 은, 오디오 신호의 Short Time Fourier Transform(STFT)을 통한 주파수 스펙트럼에서 추출된 정점간의 위치정보인 Landmark(랜드마크)를 이용하여 오디오 핑거프린트로 추출하기 때문에 잡음환경에 강인한 성능을 보인다. 또한, 정점간의 위치정보를 이용한 해싱방식을 사용함으로써 효율적이고 빠른 검색 성능을 제공한다.
- 제안된 시스템을 통하여 사용자는 어디선가 들려오는 음악의 가수, 곡명 등의 음악정보와 이미 이 음악을 들은 다른 사용자들의 평가의견들도 제공받을 수 있을 뿐만 아니라, 검색된 음악을 듣기를 원할 때 사용자가 보유하고 있는 디바이스에 맞도록 입체음향을 제공받을 수가 있다.
- 제안된 시스템은 오디오 핑거 프린팅을 이용하여 녹음된 음원을 식별하고, 식별된 음원의 녹음환경에 대한 입체음향 메타데이터와 음원을 사용자에게 전송하고, 사용자의 단말에서는 전송받은 메타데이터를 사용하여 사용자의 출력환경에 적합한 형태의 스파셜 오디오를 재구성하여 사용자가 실재감 있는 오디오를 청취할 수 있도록 하였다. 제안된 시스템의 오디오 핑거프린트 방식은 기존의 방식들에 비해 우수한 성능을 보이며, 실제 휴대용 단말에 적용되어 사용되기 적합함을 보여준다. 또한, 출력 스피커의 형태에 따라 음장감 있는 음향효과를 보여줌으로써, 제안된 시스템은 향후, 실제 휴대용 단말기에 입체음향 어플리케이션의 형태로 적용되어 서비스되기에 적합한 시스템이라고 판단된다.
- 표 1에 의하면 제안된 방식이 clean 및 잡음환경에서 비교된 네 가지 방식보다 모두 우수한 성능을 보임을 알 수 있다.
- 표 3은 제안된 방식의 쿼리 길이에 따른 인식률 결과를 나타낸다. 표 3에 나타난 바와 같이 오디오 쿼리 길이가 길어지면 성능이 향상된다는 것을 알 수 있으며, 제안된 방식이 4, 5초 길이의 쿼리 및 SNR 6dB이상의 실험환경에서 모두 90% 이상의 우수한 인식률을 보임을 알 수 있다.
후속연구
- 특히, 코덱자체보다는 다양한 출력채널 환경과 스피커의 배치 환경에 적응적인 렌더러가 3차원 오디오 표준에서 중요한 부분을 차지할 것으로 예측된다. 또한, MPEG Surround [7] 나 Spatial Audio Object Coding [8] 에서 표준화된 방식들이 중요한 역할을 하리라 기대된다. 이와 함께, 최근에는 입체 비디오와 같이 현장감과 실재감 그리고 높은 몰입도를 제공하기 위한 스파셜 오디오 서비스(Spatial Audio Service)를 적용한 기술 개발이 진행 중이다.
- 제안된 시스템의 오디오 핑거프린트 방식은 기존의 방식들에 비해 우수한 성능을 보이며, 실제 휴대용 단말에 적용되어 사용되기 적합함을 보여준다. 또한, 출력 스피커의 형태에 따라 음장감 있는 음향효과를 보여줌으로써, 제안된 시스템은 향후, 실제 휴대용 단말기에 입체음향 어플리케이션의 형태로 적용되어 서비스되기에 적합한 시스템이라고 판단된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.