[논문]얼굴표정을 통한 감정 분류 및 음악재생 프로그램

윤경섭; 이상원

문제 정의

심리적으로 불안한 사람이나 우울증 등 정신적 질병을 앓고 있는 사람들에게 음악치료 또한 많이 이루어지고 있으며, 뿐만 아니라 보통의 사람들에게도 ‘힐링’의 명목으로 심리적 안정을 취하는데 음악이 빠지지 않고 사용된다. 본 연구에서는 사용자의 기분을 표정에 따라 판별하고 음악을 틀어 줌으로써 감정적 완화에 도움을 줄 수 있도록 음악과 인공지능을 접목한 얼굴표정 인식의 음악재생 프로그램을 개발해보고자 하였다.

제안 방법

따라서, 이미지에 대해 특징 학습을 위해 Convolution 계층과 Pool 계층이 들어가 있는 것이고 이 부분을 구성해야했다. CNN의 대표적인 예제인, mnist 글자인식[5]을 참조하여 2개층으로 구현하였으며, NN의 학습결과와 CNN의 학습결과를 비교하여 보았다.
이 과정에서, 어느정도의 필요없는 이미지는 제거되었으나, 여전히 관계없는 이미지들이 많았고 이미지를 전체적으로 눈으로 보며 필터링함으로써, 각 표정당 500개씩의 데이터를 생성하였다. 그 후, 생성된 데이터에 대해 학습하기에 알맞은 형태로 바꾸기 위해서 그림 3과 같이 32x32픽셀의 이미지로 Resize를 진행한 후, 회색조로 바꾸어 이미지의 전처리를 수행하였다.
기존의 공개된 데이터셋의 경우, 서양얼굴 위주의 데이터셋이거나 일본인 여자 또는 적은 표정 수의 특정 환경에서만 운용가능한 한정적인 데이터가 대부분이었다. 따라서, 국내에서 운용 가능한 표정인식 모델을 만들기 위해선 적합한 데이터셋 수집이 필요하다고 보았고 2단계에 걸쳐 Icrawler[1]와 OpenCV[2] 라이브러리를 이용하여 데이터셋 수집을 진행하였다. 1단계에서는, 각 표정마다 Icrawler라는 이미지크롤링 라이브러리를 이용하였으며, 검색 키워드를 다르게하여 Google[3]에서 이미지를수집하였고 수집된 이미지는 그림 1과 같다.
먼저, NN만으로 학습률, 에포크, 히든 노드수의 변화를 줘가면서 성능을 체크해 보았다. 그 결과, 학습률이 0.
머신러닝은 인공지능의 연구 분야 중 하나로, 인간의 학습 능력과 같은 기능을 컴퓨터에서 실현하고자 하는 기술 및 기법이다. 먼저, 본 보고서에서는 감정인식을 위한 머신러닝을 수행하고자 행복, 슬픔, 놀라움 3가지 표정의 데이터셋을 수집하였다. 기존의 공개된 데이터셋의 경우, 서양얼굴 위주의 데이터셋이거나 일본인 여자 또는 적은 표정 수의 특정 환경에서만 운용가능한 한정적인 데이터가 대부분이었다.
메뉴탭에서 음악을 지정하고 해당 곡의 분위기를 지정해줌으로써 그림9와 같이 음악이 추가되어지며, 얼굴인식 없이도 하나의 뮤직플레이어로써, 사용되어질 수 있도록 하였다.
본 연구에서 개발하고자하는 표정인식 음악프로그램은 그림4와 같이 왼쪽부분의 음악재생프로그램과 오른쪽부분의 웹캠을 통한 얼굴표정인식부분을 각각 나누어 얼굴표정인식 기능을 사용하지 않더라도 그자체로 뮤직플레이어로써의 기능을 수행할 수 있도록 따로 구현하고 합치도록 GUI를 설계하였다.
얼굴표정 기반 음악재생 프로그램을 구현하기 위해, 뮤직플레이어를 부분과 학습된 모델을 바탕으로한 얼굴인식 부분을 구현하였다. GUI는 Pyqt5[6]를 이용하고 Python을 기반으로 프로그램을 제작하였다.
얼굴표정 기반 음악재생 프로그램을 만들기 위해 수집한데이터를 기반으로 이미지 분류에 있어서 강점을 보이고 있는 CNN[4]을 이용하여 얼굴분류모델을 학습하였다.

대상 데이터

따라서, 국내에서 운용 가능한 표정인식 모델을 만들기 위해선 적합한 데이터셋 수집이 필요하다고 보았고 2단계에 걸쳐 Icrawler[1]와 OpenCV[2] 라이브러리를 이용하여 데이터셋 수집을 진행하였다. 1단계에서는, 각 표정마다 Icrawler라는 이미지크롤링 라이브러리를 이용하였으며, 검색 키워드를 다르게하여 Google[3]에서 이미지를수집하였고 수집된 이미지는 그림 1과 같다.
이 과정들을 통해 표정별 500개씩 데이터를 구축하였으며, 각 표정별 데이터 500개씩에 대해 후미의 50개를 테스트 데이터로 나머지 450개의 데이터를 트레이닝 데이터로 사용하였다.
이 과정에서, 어느정도의 필요없는 이미지는 제거되었으나, 여전히 관계없는 이미지들이 많았고 이미지를 전체적으로 눈으로 보며 필터링함으로써, 각 표정당 500개씩의 데이터를 생성하였다. 그 후, 생성된 데이터에 대해 학습하기에 알맞은 형태로 바꾸기 위해서 그림 3과 같이 32x32픽셀의 이미지로 Resize를 진행한 후, 회색조로 바꾸어 이미지의 전처리를 수행하였다.

성능/효과

CNN에서는 학습에 있어서 step을 10000으로 loss를 측정한 결과 0.11까지 떨어졌으며, 테스트 데이터셋을 가지고 표1과 같이 정확도를 10번 측정하여 평균 내본 결과 89.72%로 일반적이 NN를 사용할 때보다 약20%정도 성능이 향상된 것을 확인할 수 있었다.
먼저, NN만으로 학습률, 에포크, 히든 노드수의 변화를 줘가면서 성능을 체크해 보았다. 그 결과, 학습률이 0.01이고 에포크가 200, 히든 노드수가 300일 때에 정확도가 약 71%로 가장 높은 성능을 보임을 확인할 수 있었다.

후속연구

이 연구를 통해 사용자의 얼굴표정을 읽고 감정을 분류하여 해당감정에 따라 감정과 매칭되는 음악을 틀어줌으로써, 사용자의 감정이 완화되고 심리적으로 안정을 찾을 수 있도록 도와줄 수 있을 거라 생각한다. 향후 계획으로는 음악 추가 시 현재에는 사용자가 수동으로 해당 곡의 분위기를 지정하도록 되어있는데, 이 부분을 FFT[7](시간에 따른 신호의 변화, 주파수)알고리즘을 이용하여 각 분위기별 노래의 주파수 변화를 특징으로 활용하고, 머신러닝을 통해 학습시킴으로써 분위기를 자동 지정해줄 수 있도록 연구해볼 계획이다.
이 연구를 통해 사용자의 얼굴표정을 읽고 감정을 분류하여 해당감정에 따라 감정과 매칭되는 음악을 틀어줌으로써, 사용자의 감정이 완화되고 심리적으로 안정을 찾을 수 있도록 도와줄 수 있을 거라 생각한다. 향후 계획으로는 음악 추가 시 현재에는 사용자가 수동으로 해당 곡의 분위기를 지정하도록 되어있는데, 이 부분을 FFT[7](시간에 따른 신호의 변화, 주파수)알고리즘을 이용하여 각 분위기별 노래의 주파수 변화를 특징으로 활용하고, 머신러닝을 통해 학습시킴으로써 분위기를 자동 지정해줄 수 있도록 연구해볼 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴표정을 통한 감정 분류 및 음악재생 프로그램
Music player using emotion classification of facial expressions 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴표정을 통한 감정 분류 및 음악재생 프로그램 Music player using emotion classification of facial expressions 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴표정을 통한 감정 분류 및 음악재생 프로그램
Music player using emotion classification of facial expressions 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper