[논문]스마트폰환경에서 음성기반 감정인식 프레임워크

방재훈; 이승룡; 정태충

문제 정의

본 논문에서는 스마트폰 환경에서 음성기반 감정인식을 위한 최소한의 특징을 추출하고 연산량이 많은 기계학습 알고리즘을 서버로 분산하는 프레임워크를 제안한다. 제안하는 기법은 13차 MFCC (Mel Frequency Cpestral Coefficient)를 활용하여 5초마다 60개의 특징을 추출하고 기계학습 알고리즘인 SVM (Support Vector Machine) 탑재된 서버로 전송하여 감정을 추출한다.
본 논문에서는 컴퓨팅 파워에 제약이 있는 스마트폰 환경에서 효과적인 음성기반 감정인식 특징 추출 기법과 전체 프레임워크를 제안하였다. 제안한 프레임워크는 음성에서 특징 벡터를 최소화 하여 스마트폰에서 효율적인 감정인식이 가능한 프레임워크로 실험을 통하여 제안하는 특징벡터 최소화 기법이 기존의 기법이 높은 정확도가 보임을 입증하였다.

제안 방법

본 논문에서는 5초크기의 타임 윈도우를 사용하므로총 156개의 프레임이 생성되고 각 프레임마다 12개의 MFCC 값을 추출하여 총 1872개의 특징 벡터가 추출된다. 1872개의 특징은 스마트폰에서 서버로 전송하기 어려운 양이므로 31개의 프레임 단위로 각 프레임에서 추출된 13 MFCC값들의 평균을 특징으로 사용한다. 31개의 프레임은 음성데이터에서 1초의 데이터로 5초크기의 데이터를 1초마다 MFCC값의 평균을 추출하여 1초에 12개씩 총 60개의 특징 벡터를 추출한다.
5초단위로 분할된 음성은 감정인식에 적합한 특징을 추출하기 위해 데이터를 가공하는 필터뱅크 알고리즘을 통해 특징을 추출한다. 특징추출 과정에서는 필터뱅크 알고리즘으로 13차 MFCC를 사용하였다.
그 중 SVM(Support Vector Machine)은 최근 등장 하여 여러 가지 문제에 대하여 가장 우수한 해결 능력을 보여주는 알고리즘이다. 따라서 본 논문에서는 SVM을 사용하여 4가지 감정 기쁨, 화남, 보통, 슬픔을 인식한다. 또한 모든 상황에 높은 정확도를 가질 수 있도록 훈련용 데이터를 각 감정마다 모두 통합한 뒤 32ms 단위로 오버랩하여 훈련한다.
따라서 본 논문에서는 SVM을 사용하여 4가지 감정 기쁨, 화남, 보통, 슬픔을 인식한다. 또한 모든 상황에 높은 정확도를 가질 수 있도록 훈련용 데이터를 각 감정마다 모두 통합한 뒤 32ms 단위로 오버랩하여 훈련한다.
따라서 이러한 묵음을 제거하는 것은 긴 단위의 음성기반 감정인식에 있어서 꼭 필요한 기술이다. 본 논문에서 사용하는 음성 묵음 제거 방법으로 소리의 크기에 임계 값을 두어 제거한다. 임계값은 일반적으로 사람이 소곤대는 소리인 15데시벨(db)로 설정한다.
일반적으로 음성기반 감정인식은 3초에서 5초사이의 윈도우에서 높은 정확도를 갖는다. 본 논문에서는 감정 인식 및 음성 분할 주기를 5초 단위로 설정하고 분할한다.
실험은 기존의 수 백개의 특징을 사용하는 기법[2]과본 논문 에서 제안하는 기법을 비교 실험하였다. 정확도 측정은 10Fold-Cross Validation 기법을 사용하여 측정하였다.
제안하는 감정인식프레임 워크에서의 기술적인 부분에서는 감정인식을 위한 음성 특징 벡터 추출과정과 감정인식 과정으로 나뉜다. 다음 절에서는 이 두 가지 부분을 설명한다.
본 논문에서는 스마트폰 환경에서 음성기반 감정인식을 위한 최소한의 특징을 추출하고 연산량이 많은 기계학습 알고리즘을 서버로 분산하는 프레임워크를 제안한다. 제안하는 기법은 13차 MFCC (Mel Frequency Cpestral Coefficient)를 활용하여 5초마다 60개의 특징을 추출하고 기계학습 알고리즘인 SVM (Support Vector Machine) 탑재된 서버로 전송하여 감정을 추출한다. 화남, 행복, 평범, 슬픔의 4가지 감정을 고려한 실험을 통하여 제안하는 감정인식 기술이 기존의 감정인식 기술보다 더 높은 정확도를 보임을 증명하였다.
컴퓨팅 파워가 제한된 스마트폰에서 수백개의 특징을 사용하는 기존의 감정인식 기술을 적용하기에는 비효율적이다. 제안하는 스마트폰환경 음성기반 감정인식 프레임워크는 클라이언트가 되는 스마트폰에서는 감정인식을 위한 음성 특징 벡터 추출 부분을 처리하고 이를 서버로 전송하여 서버에서는 SVM을 사용하여 인식한다. 그림 1은 제안하는 스마트폰환경 음성기반 감정인식 프레임워크 전체 구조도 이다.

대상 데이터

음성은 샘플링 주파수 8000hz, 16비트, 모노 채널로 수집하였다. 데이터 수집 대상자는 남녀 2명씩 각 감정마다 5초식 25개를 녹음하여 훈련용 데이터를 수집하였다.
본 논문에서는 5초크기의 타임 윈도우를 사용하므로총 156개의 프레임이 생성되고 각 프레임마다 12개의 MFCC 값을 추출하여 총 1872개의 특징 벡터가 추출된다. 1872개의 특징은 스마트폰에서 서버로 전송하기 어려운 양이므로 31개의 프레임 단위로 각 프레임에서 추출된 13 MFCC값들의 평균을 특징으로 사용한다.
최근 스마트폰이 보급화 되면서 사용자 정보를 기반으로 다양한 개인화 서비스 연구가 활발히 진행 중이다. 사용자 정보로는 상황정보 및 감정정보 등이 있다. 특히 감정 정보는 사용자의 현재 감정 상태를 나타내는 정보로 감정 상태에 따라 달라지는 음악 추천과 같은 문화 콘텐츠 서비스 등에 사용되어지고 있다.
실험 환경은 안드로이드 스마트폰인 SHW-M250S에서 음성 데이터를 수집하였다. 음성은 샘플링 주파수 8000hz, 16비트, 모노 채널로 수집하였다.
실험 환경은 안드로이드 스마트폰인 SHW-M250S에서 음성 데이터를 수집하였다. 음성은 샘플링 주파수 8000hz, 16비트, 모노 채널로 수집하였다. 데이터 수집 대상자는 남녀 2명씩 각 감정마다 5초식 25개를 녹음하여 훈련용 데이터를 수집하였다.

이론/모형

MFCC는 인간의 청각 특성을 고려하는 필터뱅크 알고리즘으로 음성 인식 분야에서 널리 사용되고 있으며 인식 성능이 우수하다[4]. 13차 MFCC는 32ms를 프레임 단위로 윈도우를 분할하는 해밍윈도우 기법을 사용한다. 13차 MFCC의 첫 번째 특징은 전체 주파수의 음성의 세기를 나타내는 특징으로 이는 감정 음성에 대한 주파수별 특징이 아니므로 특징에서 제외한다.
실험은 기존의 수 백개의 특징을 사용하는 기법[2]과본 논문 에서 제안하는 기법을 비교 실험하였다. 정확도 측정은 10Fold-Cross Validation 기법을 사용하여 측정하였다. <표 1,2>는 인지 정확도를 비교한 Confusion Matrix 이다.
5초단위로 분할된 음성은 감정인식에 적합한 특징을 추출하기 위해 데이터를 가공하는 필터뱅크 알고리즘을 통해 특징을 추출한다. 특징추출 과정에서는 필터뱅크 알고리즘으로 13차 MFCC를 사용하였다. MFCC는 인간의 청각 특성을 고려하는 필터뱅크 알고리즘으로 음성 인식 분야에서 널리 사용되고 있으며 인식 성능이 우수하다[4].

성능/효과

그림 2는 통화음성데이터의 묵음을 제거하기 전 파형과 제거한 파형이다. 사용자가 말을 하지 않은 묵음이 효과적으로 제거되었음을 확인할 수 있다.
본 논문에서는 컴퓨팅 파워에 제약이 있는 스마트폰 환경에서 효과적인 음성기반 감정인식 특징 추출 기법과 전체 프레임워크를 제안하였다. 제안한 프레임워크는 음성에서 특징 벡터를 최소화 하여 스마트폰에서 효율적인 감정인식이 가능한 프레임워크로 실험을 통하여 제안하는 특징벡터 최소화 기법이 기존의 기법이 높은 정확도가 보임을 입증하였다.
제안하는 기법은 13차 MFCC (Mel Frequency Cpestral Coefficient)를 활용하여 5초마다 60개의 특징을 추출하고 기계학습 알고리즘인 SVM (Support Vector Machine) 탑재된 서버로 전송하여 감정을 추출한다. 화남, 행복, 평범, 슬픔의 4가지 감정을 고려한 실험을 통하여 제안하는 감정인식 기술이 기존의 감정인식 기술보다 더 높은 정확도를 보임을 증명하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

스마트폰환경에서 음성기반 감정인식 프레임워크
Speech Emotion Recognition Framework on Smartphone Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

스마트폰환경에서 음성기반 감정인식 프레임워크 Speech Emotion Recognition Framework on Smartphone Environment 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

스마트폰환경에서 음성기반 감정인식 프레임워크
Speech Emotion Recognition Framework on Smartphone Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper