[논문]딥러닝을 이용한 오디오 콘텐츠 분석 기반의 자동 음량 제어 기술 개발

이영한; 조충상; 김제우

딥러닝을 이용한 오디오 콘텐츠 분석 기반의 자동 음량 제어 기술 개발
Development of Automative Loudness Control Technique based on Audio Contents Analysis using Deep Learning 원문보기

이영한 (전자부품연구원) , 조충상 (전자부품연구원) , 김제우 (전자부품연구원)

국내 디지털 방송 프로그램은 2016년 방송법 개정 이후, ITU-R / EBU에서 제안한 측정 방식을 활용하여 채널 및 프로그램 간의 음량을 맞추어 제공되고 있다. 일반적으로 뉴스나 중계와 같이 실시간으로 음량을 맞춰야 하는 분야를 제외하고는 평균 음량을 규정에 맞춰 송출하고 있다. 본 논문에서는 일괄적으로 평균 음량을 맞출 경우 발생하는 저음량의 명료도를 높이기 위한 기술을 제안한다. 즉, 방송 음량을 조절하는 기술 중의 하나로 오디오 콘텐츠를 분석하여 구간별 음량 조절 정도를 달리함으로써 저음량에서의 음성은 상대적으로 높은 음량을 가지고 배경음악 등을 상대적으로 낮음 음량을 가지도록 생성함으로써 명료도를 높이는 방식을 제안한다. 제안한 방식의 성능을 확인하기 위해 오디오 콘텐츠 분석 정확도 측정과 오디오 파형 분석을 실시하였으며 이를 통해 기존의 음량 제어 기술과 비교하여 음성 구간에 대해 음량을 증폭시키는 것을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 방송 프로그램의 음량 문제를 해결하기 위해서 오디오 콘텐츠를 분석하고 이 결과에 따라 적응적으로 오디오 음량을 제어하여 음성의 명료도를 높이는 자동 음량 제어 기법을 제안하였다. 제안된 기법은 분석 정확도 및 파형 비교를 통해 목적에 맞도록 음성 신호에 대해 음량을 증가시키는 것을 확인하였다.
본 논문에서는 이러한 시청자들의 불만을 해소하기 위해서 상대적으로 음성의 명료도를 강화할 수 있도록 오디오 콘텐츠를 분석하여 음성에는 상대적으로 높은 음량을 할당할 수 있는 알고리즘을 제안한다.

제안 방법

출력 결과는 무음, 음성, 음성/배경음악 혼합, 배경음악의 총 4개로 정의하였다. 구축에 사용한 음원은 방송 콘텐츠 중, 영화,뉴스, 스포츠 중계 장르에 대해서 진행하였으며 정답지 작업을 위해 음원을 청취 후 클래스 레이블 작업을 진행하였다. 총 약 50,000여개의 데이터를 수집하였으며, 훈련/검증/테스트 데이터셋의 비율을 7:2:1로 구성하였다.
먼저 방송 음량이 오디오 콘텐츠 분석 모듈 및 음량 측정 모듈로 입력된다. 본 연구에서는 음량 측정 모듈의 단위와 콘텐츠 분석 단위를 일치시키기 위해 400 ms 기준으로 sub-frame을 구성하였고 이는 48 kHz 기준으로 19,200샘플에 해당한다. 콘텐츠 분석 모듈에서는 각 400 ms 별 오디오 분석 결과를 자동 음량 제어 모듈로 제공하며, 자동 음량 제어 모듈은 분석된 결과와 음량 측정 결과를 이용하여 입력된 신호의 음량을 조절한다.
입력된 오디오 신호는 목표 오디오 음량과 컨트롤된 신호의 음량을 비교하여 전체적인 컨트롤을 위한 이득 연산과정을 수행하며, LKFS 단위의 목표 음량과 피드백된 음량의 비율을 선형적 이득 값으로 변환하여 오디오 프레임 단위의 정밀 오디오 음량컨트롤을 과정을 수행하게 된다. 분석된 오디오 콘텐츠 특성은 정밀 컨트롤 단계에서 적용되며, 이를 위해 분석 결과가 음성일 경우 정밀 컨트롤 이득을 정해진 범위 내에서 적응적으로 증가시키는 시키며 프레임간의 이득 스무딩 과정을 통해 컨트롤된 오디오 신호를 얻는다.
오디오 콘텐츠 분석 모듈을 개발하기 위해 Database를 구축하였다. 출력 결과는 무음, 음성, 음성/배경음악 혼합, 배경음악의 총 4개로 정의하였다.
제안한 방식에서는 Convolutional layer – Batch Normalization – ReLU (Rectified Linear Unit) - Pooling 으로 구성된 Conv.
Block을 정의하였으며 [3] 이를 4회 반복, 연결하였다. 최종적으로는 Fully-connected layer를 삽입한 후 4개의 음원 종류에 맞도록 결과를 도출하였다.
오디오 음량 자동 제어 모듈은 목표 음량, 딥러닝을 통해 얻어진 분석 결과와 오디오 신호를 입력으로 받으며 목표 음량에 맞추어 자동제어된 오디오 신호를 실시간 출력한다. 특히, 제안된 자동 제어 모듈은 컨트롤된 오디오 음량을 피드백 하여 적응적으로 오디오 음량을 컨트롤하는 구조를 갖는다. 입력된 오디오 신호는 목표 오디오 음량과 컨트롤된 신호의 음량을 비교하여 전체적인 컨트롤을 위한 이득 연산과정을 수행하며, LKFS 단위의 목표 음량과 피드백된 음량의 비율을 선형적 이득 값으로 변환하여 오디오 프레임 단위의 정밀 오디오 음량컨트롤을 과정을 수행하게 된다.
파형 분석을 위해 영화 콘텐츠에 대해서 기존의 방식과 제안한 방식으로 생성한 음원을 비교하였다. 그림 3에서와 같이 음성 구간에서는 제안한 방식이 음량을 높이고 상대적으로 혼합 구간 및 무음 구간은 음량을 줄이거나 유지함으로써 명료도를 향상시키는 것을 확인할 수 있다.

대상 데이터

구축에 사용한 음원은 방송 콘텐츠 중, 영화,뉴스, 스포츠 중계 장르에 대해서 진행하였으며 정답지 작업을 위해 음원을 청취 후 클래스 레이블 작업을 진행하였다. 총 약 50,000여개의 데이터를 수집하였으며, 훈련/검증/테스트 데이터셋의 비율을 7:2:1로 구성하였다.
0001로 하였다. 총 학습은 100 epochs로 설정하였으며 mini-batch 의 크기는 32 샘플로 정의하여 학습하였다.

이론/모형

딥러닝 프레임워크로는 PyTorch v0.4 [4]을 사용하였으며 오디오 전처리를 위해서는 librosa 라이브러리[5]를 활용하였다. 오디오 콘텐츠 분류기의 모델 학습을 위해 beta_1 0.

성능/효과

본 논문에서는 방송 프로그램의 음량 문제를 해결하기 위해서 오디오 콘텐츠를 분석하고 이 결과에 따라 적응적으로 오디오 음량을 제어하여 음성의 명료도를 높이는 자동 음량 제어 기법을 제안하였다. 제안된 기법은 분석 정확도 및 파형 비교를 통해 목적에 맞도록 음성 신호에 대해 음량을 증가시키는 것을 확인하였다. 향후에는 성능을 향상시키기 위한 방법으로 딥러닝 모델을 개선과 콘텐츠별 음량 제어 알고리즘을 조정하고 오디오 분석 통합 프로그램을 개발하고자 한다.
오디오 콘텐츠 분석 모듈의 입력 신호는 Mel-spectrogram 으로, 각 채널별 독립적으로 변환하며 차수는 128로 설정한다. 최종적으로 2x128x38의 3차원 tensor를 생성한 후 CNN 기반의 딥러닝 네트워크에 전달하여 분석 결과를 얻는다. 제안한 방식에서는 Convolutional layer – Batch Normalization – ReLU (Rectified Linear Unit) - Pooling 으로 구성된 Conv.
훈련 데이터 (녹색) 및 검증 데이터(주황색)가 87% 대로 수렴하는 것을 확인할 수 있다. 최종적으로 30-epoch를 통해 획득한 콘텐츠 분류 정확도는 86.1% 이다.
그림 2는 제안한 오디오 콘텐츠 분석 모델의 정확도 그래프이다. 훈련 데이터 (녹색) 및 검증 데이터(주황색)가 87% 대로 수렴하는 것을 확인할 수 있다. 최종적으로 30-epoch를 통해 획득한 콘텐츠 분류 정확도는 86.

후속연구

제안된 기법은 분석 정확도 및 파형 비교를 통해 목적에 맞도록 음성 신호에 대해 음량을 증가시키는 것을 확인하였다. 향후에는 성능을 향상시키기 위한 방법으로 딥러닝 모델을 개선과 콘텐츠별 음량 제어 알고리즘을 조정하고 오디오 분석 통합 프로그램을 개발하고자 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝을 이용한 오디오 콘텐츠 분석 기반의 자동 음량 제어 기술 개발
Development of Automative Loudness Control Technique based on Audio Contents Analysis using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝을 이용한 오디오 콘텐츠 분석 기반의 자동 음량 제어 기술 개발 Development of Automative Loudness Control Technique based on Audio Contents Analysis using Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝을 이용한 오디오 콘텐츠 분석 기반의 자동 음량 제어 기술 개발
Development of Automative Loudness Control Technique based on Audio Contents Analysis using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper