[논문]관객 반응정보 수집을 위한 음성신호 기반 감정인식 시스템

강진아; 김홍국

문제 정의

본 논문에서는 연극공연을 관람하는 관객의 반응정보를 수집하기 위하여, 청각센서를 통해 관객의 음성을 획득하고, 이에 대한 감정을 예측하여 관객 반응정보 관리시스템에 전송하는 음성신호 기반 감정인식 시스템을 구현한다. 이를 위해, 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객음성을 획득하는 인터페이스를 구현하고, 음성신호의 MFCCs (mel-frequency cepstral coefficients) 성분을 추출하여 SVM (support vector machine) 분류기에 의해 감정을 예측하는 시스템을 구현한다.
본 논문에서는 연극공연을 관람하는 관객의 반응정보를 수집하기 위한 음성신호 기반 감정인식 시스템을 구현하였다. 구현된 시스템은 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객의 음성신호를 획득하고, 이에 대한 MFCCs 성분을 추출하여 SVM 분류기를 통해 감정을 예측하였다.

제안 방법

본 논문에서는 연극공연을 관람하는 관객의 반응정보를 수집하기 위한 음성신호 기반 감정인식 시스템을 구현하였다. 구현된 시스템은 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객의 음성신호를 획득하고, 이에 대한 MFCCs 성분을 추출하여 SVM 분류기를 통해 감정을 예측하였다. 실험을 통해, 구현된 시스템은 6가지 감정음성 데이터를 활용한 성능평가에서 62.
이를 위해, 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객음성을 획득하는 인터페이스를 구현하고, 음성신호의 MFCCs (mel-frequency cepstral coefficients) 성분을 추출하여 SVM (support vector machine) 분류기에 의해 감정을 예측하는 시스템을 구현한다. 또한 구현된 시스템을 관객 반응정보 수집 시스템에 적용하여, 관리자가 관객의 음성신호 및 그로부터 예측된 감정인식 결과를 확인할 수 있는 기능을 제공한다.
획득된 음성신호와 그에 대한 감정인식 결과는 SQL (structured query language)로 작성하여 TCP/IP 프로토콜을 통해 관객 반응정보관리 시스템에 전달하도록 하였다. 실험은 90분의 연극공연 시간 동안 관객 5명에 대한 정보를 수집하도록 하였다. 그 결과, 구현된 음성신호기반 감정인식 시스템은 정상적으로 동작하였으며, 그림 4(c)와 같이 관객 반응정보 수집 시스템의 관리자 인터페이스를 통해 특정 관객 및 특정 구간 설정에 따라 수집된 음성신호 및 감정인식 결과를 확인할 수 있었다.
음성신호 기반 감정인식 시스템의 구현을 위해서는 MFCCs 특징파라메터와 SVM 분류기를 이용하였다. 그림 3은 구현된 알고리즘의 흐름도를 나타낸 것이다.
본 논문에서는 연극공연을 관람하는 관객의 반응정보를 수집하기 위하여, 청각센서를 통해 관객의 음성을 획득하고, 이에 대한 감정을 예측하여 관객 반응정보 관리시스템에 전송하는 음성신호 기반 감정인식 시스템을 구현한다. 이를 위해, 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객음성을 획득하는 인터페이스를 구현하고, 음성신호의 MFCCs (mel-frequency cepstral coefficients) 성분을 추출하여 SVM (support vector machine) 분류기에 의해 감정을 예측하는 시스템을 구현한다. 또한 구현된 시스템을 관객 반응정보 수집 시스템에 적용하여, 관리자가 관객의 음성신호 및 그로부터 예측된 감정인식 결과를 확인할 수 있는 기능을 제공한다.
그림 3은 구현된 알고리즘의 흐름도를 나타낸 것이다. 즉, 입력 음성 파일로부터 20ms 단위로 읽어 들인 프레임 데이터에 대해 VAD (voice activity detection)를 수행한다. 만약 해당 프레임이 묵음으로 검출된 경우, 감정예측 결과를 묵음으로 분류한다.
실제 연극공연 환경에서의 동작검증을 위해서는 그림 4(a), (b)와같이 다채널 녹음장치를 이용한 관객음성 획득 인터페이스를 구현한후, 이를 앞서 구현한 음성신호 기반 감정인식 시스템에 연동되도록 하였다. 획득된 음성신호와 그에 대한 감정인식 결과는 SQL (structured query language)로 작성하여 TCP/IP 프로토콜을 통해 관객 반응정보관리 시스템에 전달하도록 하였다. 실험은 90분의 연극공연 시간 동안 관객 5명에 대한 정보를 수집하도록 하였다.

대상 데이터

구현된 시스템의 성능검증을 위해서는 6명의 남녀 배우가 10개의 문장을 6가지 감정으로 발성한 음성 DB[2]를 사용하였다. 총 360문장에서 SVM 학습과 인식률 평가를 위해 각각 240문장 (남녀 4명)과 120문장 (남녀 2명)을 할당한 후, 듣기에 감정이 모호하다고 판단되는 31개의 음원은 제외시켰다.
구현된 시스템의 성능검증을 위해서는 6명의 남녀 배우가 10개의 문장을 6가지 감정으로 발성한 음성 DB[2]를 사용하였다. 총 360문장에서 SVM 학습과 인식률 평가를 위해 각각 240문장 (남녀 4명)과 120문장 (남녀 2명)을 할당한 후, 듣기에 감정이 모호하다고 판단되는 31개의 음원은 제외시켰다. SVM 커널은 사전실험을 통해 polynomial kernel[3]과 RBF (radial basis function)[4] 중 RBF를 사용하였다.

이론/모형

총 360문장에서 SVM 학습과 인식률 평가를 위해 각각 240문장 (남녀 4명)과 120문장 (남녀 2명)을 할당한 후, 듣기에 감정이 모호하다고 판단되는 31개의 음원은 제외시켰다. SVM 커널은 사전실험을 통해 polynomial kernel[3]과 RBF (radial basis function)[4] 중 RBF를 사용하였다.

성능/효과

6%의 인식률을 보였다[2]. 또한 표 2는 구현된 시스템에 의해 분류된 결과로써, 평균 62.5%의 감정 인식률을 보였다.
구현된 시스템은 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객의 음성신호를 획득하고, 이에 대한 MFCCs 성분을 추출하여 SVM 분류기를 통해 감정을 예측하였다. 실험을 통해, 구현된 시스템은 6가지 감정음성 데이터를 활용한 성능평가에서 62.5%의 인식률을 보였고, 실제 연극 공연 환경에 적용되어 관객의 음성신호 획득 및 감정인식을 수행하여 관객 반응정보 수집 시스템에 전송함을 확인하였다.

후속연구

음성은 사람의 가장 기본적인 의사소통 수단으로써, 음성을 통해 감정을 표현하고 상대방의 감정 또한 예측할 수 있다. 특히 최근들어 음성인식 기능이 스마트폰을 비롯한 다양한 기기들에 성공적으로 탑재됨에 따라, 발화된 음성신호의 감정을 인식하는 기술은 음성 기반 사용자 인터페이스 기능을 더욱 향상시키는 역할을 할 것으로 기대된다. 뿐만 아니라, 인터렉티브 미디어아트 등의 문화기술 분야에서도 감정 인식은 관객반응을 인지하기 위한 중요한 기술로써 부각되고 있다[1].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

관객 반응정보 수집을 위한 음성신호 기반 감정인식 시스템
A Speech Emotion Recognition System for Audience Response Collection 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

관객 반응정보 수집을 위한 음성신호 기반 감정인식 시스템 A Speech Emotion Recognition System for Audience Response Collection 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

관객 반응정보 수집을 위한 음성신호 기반 감정인식 시스템
A Speech Emotion Recognition System for Audience Response Collection 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper