[논문]발화 음성을 기반으로 한 감정분석 시스템

정준혁; 박수덕; 김민승; 박소현; 한상곤; 조우현

문제 정의

그리고 비언어적 요소에서 추출된 감정과 문맥적 요소에서 추출된 감정들을 위 의사소통 연구자들이 주장하는 가중치 비율에 따라 조합함으로써 감정 분석 결과에 대한 정확도를 높여보고자 한다.
본 논문에서는 기계학습을 통해 음성 신호로부터 추출 된 특징을 Plutchik의 Wheel of Emotions을 기반으로 분류할 수 있는 시스템을 제안하였다. 비록 Over Fitting 문제가 발생하였으나, 실험 결과 중 샘플 데이터가 충분하였던 감정인 Rage의 경우 86.
본 연구에서는 발화 음성에서 추출 된 특징으로부터 감정을 추론할 수 있는 시스템을 개발했다. 먼저 국내의 드라마와 예능 프로그램으로부터 약 1600개 정도의 샘플 음성 데이터를 추출하였으며, 각 음성 데이터에 대한 감정 을 Plutchik의 Wheel of Emotions을 이용하여 분류한 후, 그 중 1200개를 학습시켰다.

제안 방법

그리고 MFCC 분석을 통해 특징 벡터를 추출하고 텐서플로우를 통해 해당 값과 앞의 감정단어로부터 추출된 가중치를 이용하여 감정을 분류한 후, 결과를 반환한다.
입력된 음성 데이터로부터 특징을 추출하기 위해서 NumPy, SciPy 라이브러리를 사용하였으며, 먼저 입력받은 데이터를 ffmpeg를 사용하여 wav파일로 변환한 후, SciPy를 통해 리샘플링 하였다. 그리고 앞의 3.2절에서 설계하였던 전처리기를 Scipy의 Butter worth filter를 사용하여 구현하였다.
본 연구에서는 발화 음성에서 추출 된 특징으로부터 감정을 추론할 수 있는 시스템을 개발했다. 먼저 국내의 드라마와 예능 프로그램으로부터 약 1600개 정도의 샘플 음성 데이터를 추출하였으며, 각 음성 데이터에 대한 감정 을 Plutchik의 Wheel of Emotions을 이용하여 분류한 후, 그 중 1200개를 학습시켰다.
먼저 음성의 녹음과 업로드 등의 유저가 직접 사용하는 Frontend 부분은 Django를 이용하여 구현되었으며, Django의 uWSGI를 사용하여, 웹 서버인 Nginx가 요청을 받아, Django로 전달 및 Django의 응답을 대신하도록 하였고, Nginx와 클라이언트의 연결에 HTTPS를 적용함으로서 보안을 더욱 향상시켰다.
본 연구에서는 Plutchik의 Wheel of Emotions를 기초로 하여 발화자의 비언어적 요소 중 톤에 대한 감정과 문맥 내 존재하는 감정단어에 대한 감정을 분류하는 시스템을 구성한다.
본 연구에서는 앞서 이뤄진 음성 신호의 주파수 구성 요소의 분석과 MFCC 분석 등을 통해 도출된 음향적 특징을 해당 음성에 대한 감정과 함께 미리 학습시킨 후, 이후 입력되는 음성 데이터를 분류한다.
본 연구에서는 음성 신호로부터 특징을 추출하고, 특징에 대한 감정을 추출하는 부분과 유저와 상호작용하는 부분을 서로 비동기적으로 처리하고, 추후 서버의 유연성 또한 높일 수 있도록 RabbitMQ 메시징 큐 브로커 서비스를 사용하였다.
앞의 2.3절에서 언급한 연구에 따라, 본 연구에서는 시끄러운 환경에서도 입력된 음성 신호로부터 더욱 정확한 감정을 추출하기 위해 먼저 신호를 사람의 음성 대역 (300~3400Hz)만을 통과시키도록 설계된 대역 필터 (Bandpass Filter)에 입력하고, 그 결과에서 미세한 잡음 또한 제거하기 위해, 전체 음량에서 지정된 Threshold 미만의 데이터를 제거하는 과정을 전처리 과정으로 설계하였다.
음성 데이터로부터 특징을 추출하는 프로그램은 먼저 말하기 속도를 분석하고, FFT(Fast-Fourier Transform) 과정을 통해 신호의 요소를 분리하여, 전체적인 성조와 변화량을 추출한다.
음성이 업로드 되고 처리하는 과정에서 사용자에게 처리과정을 실시간으로 보여주고, 상태 업데이트 함께 다른 작업 또한 함께 진행하기 위해 RabbitMQ 메시징 큐를 사용하여 비동기적으로 처리되도록 구현하였으며, 업로드된 음성과 분석 결과를 저장하기 위해 MongoDB를 사용하였다.
입력된 음성 데이터로부터 특징을 추출하기 위해서 NumPy, SciPy 라이브러리를 사용하였으며, 먼저 입력받은 데이터를 ffmpeg를 사용하여 wav파일로 변환한 후, SciPy를 통해 리샘플링 하였다. 그리고 앞의 3.
전체 시스템은 위의 그림 2와 같이 구성하였으며, 업로드 된 음성에 대해 먼저 전처리 과정을 거치고, 메시징 큐로 “감정 단어 분석 요청” 메시지와 “음성 특징 분석 요청” 메시지를 발행한다.
전체적인 시스템은 Apple의 Siri, Samsung의 Vixby등 을 모티브로 하여, 웹 사이트에서 음성을 녹음하여 전송하거나 파일을 업로드할 수 있도록 설계하였으며, 서비스는 Python 3 언어를 사용하여 작성되었다.
특히 위의 음성 인식 기술을 구현하기 위해서는 음성 신호로부터 특징을 추출 가능한 알고리즘을 사용하여야 하며, 과거부터 멜 캡스트럼, 루트 캡스트럼, HMM 등의 알고리즘이 제안되었다.[7][8]

데이터처리

또한 위 결과를 SciPy 내에서 음성 처리를 위한 함수만 선별해놓은 구현체인 librosa 라이브러리를 사용하여 음성의 특징을 추출하고, Mel-Frequency Ceptrum 분석을 진행하였다.

이론/모형

위의 알고리즘 통해 추출된 음성의 특징을 Plutchik의 Wheel of Emotions를 기반으로 분류하고, 이를 Google의 Tensorflow를 이용하여 지도학습 시켰으며, 이후 분석을 위해 입력되는 음성은 앞서 지도 학습한 데이터들을 기반으로 kNN(K-Nearest Neighbors) 알고리즘을 이용하여 분류하였다.

성능/효과

Rage, Grief, Loathing, Terror 등. 부정적인 감정에 관련된 감정 요소들의 정확도는 높게 나온 반면, Ecstasy, Admiration 등 긍정적인 감정과 관련된 감정 요소들의 정확도는 비교적 낮았다.
본 논문에서는 기계학습을 통해 음성 신호로부터 추출 된 특징을 Plutchik의 Wheel of Emotions을 기반으로 분류할 수 있는 시스템을 제안하였다. 비록 Over Fitting 문제가 발생하였으나, 실험 결과 중 샘플 데이터가 충분하였던 감정인 Rage의 경우 86.65%의 정확도를 보였으며, 이는 감정을 매우 정확하게 분류한다고 볼 수 있다.
해당 결과에 대해 그 원인을 면밀히 파악해본 결과, 학습을 위해 입력한 데이터의 1200개 중 약 38%는 Rage가 포함되어 있는 것으로 파악되었으며, 특히, Rage와 Loathing이 함께 나타나는 감정이 많이 존재하였다.

후속연구

또한, 본 연구에서 이용한 발화자의 톤뿐만 아니라 다른 비언어적 요소인 표정과 몸짓 등으로부터 감정을 추출하고 분석 및 분류할 수 있는 시스템에 대해 연구를 수행할 것이다.
향후 연구에서는 rNN 유전 알고리즘을 사용하여 적은 학습양이더라도 정확도가 더욱 향상된 감정 분석 결과를 도출해 내도록 시스템을 개선할 수 있겠다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

발화 음성을 기반으로 한 감정분석 시스템
Context sentiment analysis based on Speech Tone 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

발화 음성을 기반으로 한 감정분석 시스템 Context sentiment analysis based on Speech Tone 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

발화 음성을 기반으로 한 감정분석 시스템
Context sentiment analysis based on Speech Tone 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper