[논문]상반신 추적 기술 기반 감정 인식 시스템

오지훈; 유선진; 이민규; 임우택; 안충현; 이상윤

상반신 추적 기술 기반 감정 인식 시스템
Emotion Recognition System based on Upper Body Tracking 원문보기

오지훈 (연세대학교 전기전자공학과) , 유선진 (제주한라대학교 방송영상과) , 이민규 (연세대학교 전기전자공학과) , 임우택 (한국전자통신연구원) , 안충현 (한국전자통신연구원) , 이상윤 (연세대학교 전기전자공학과)

Kinect를 통해 Color영상과 Depth영상을 받아온 후, 사람과 사람의 스켈레톤이 검출되도록 했다. 스켈레톤이 검출되면 머리 위치를 중심으로 얼굴 유효영역을 만들고, 효율적인 얼굴 검출로 사용자 인식이 가능하도록 했다. 스켈레톤 검출 및 추적을 통해, 4가지 감정에 대해 제스쳐를 정의했으며, 각 감정에 따른 제스쳐를 취했을 때 정의한 감정이 인식되는지 실험했다. 실험 결과, 제스쳐를 통한 감정 인식 성공률이 86~88% 나왔으며, 이 제스쳐 인식이 다른 감정인식 방법과 융합될 필요가 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 상반신 부위들을 추적하여, 감정을 인식하는 방법을 제안하였다. 4가지 감정에 따른 제스쳐를 정의하여, 사용자가 그 정의된 제스쳐를 취하면 감정을 인식하는 시스템으로 구성하였다.
본 논문은 Kinect의 기능들을 융합하여 만들어진 Full body tracking 예제를 기반으로 하여, 사용자 인식과 제스쳐 인식을 통한 감정 인식을 설계하였다. 본 시스템은 아래와 같이 구성된다.

제안 방법

본 논문에서는 상반신 부위들을 추적하여, 감정을 인식하는 방법을 제안하였다. 4가지 감정에 따른 제스쳐를 정의하여, 사용자가 그 정의된 제스쳐를 취하면 감정을 인식하는 시스템으로 구성하였다. Kinect 센서를 통해 실시간으로 Color영상과 Depth영상을 취득하여, 상반신 부위들의 추적을 통한 실시간 감정인식이 되도록 했다.
Full body tracking 예제에서 사람 각 부위의 스켈레톤을 추적할 때, 사람 부위 중 머리 부분 좌표를 활용하여 얼굴을 검출하도록 했다. 얼굴 검출 알고리즘으로 AdaBoost를 활용하였고, 사람 머리 위치를 중심으로 좌우 여백영역을 적절하게 고려하여, 얼굴 검출 유효영역을 만들도록 했다.
4가지 감정에 따른 제스쳐를 정의하여, 사용자가 그 정의된 제스쳐를 취하면 감정을 인식하는 시스템으로 구성하였다. Kinect 센서를 통해 실시간으로 Color영상과 Depth영상을 취득하여, 상반신 부위들의 추적을 통한 실시간 감정인식이 되도록 했다. 이 제스쳐를 통한 감정인식은 표정 인식만을 사용한 감정인식의 미흡한 점을 보완하여 더 성능이 좋은 감정인식이 가능하게 할 수 있다.
Kinect를 통해 Color영상과 Depth영상을 받아온 후, 먼저 사람의 스켈레톤을 검출시켰다. 그 스켈레톤을 추적시켜 각 감정에 따른 제스쳐 인식을 하도록 구현하였다.
Kinect를 통해 Color영상과 Depth영상을 받아온 후, 먼저 사람의 스켈레톤을 검출시켰다. 그 스켈레톤을 추적시켜 각 감정에 따른 제스쳐 인식을 하도록 구현하였다. 실험 결과, 제스쳐를 통한 감정 인식 성공률이 86 ~ 88% 나왔다.
즉, 감정 인식을 위해 유동적인 사용자 얼굴을 인식하는 것이 오차가 있기 때문에, 한 프레임의 인식이 아닌 여러 프레임의 인식을 종합하여 인식결과를 영상에 표시한 것이다. 사람의 스켈레톤이 검출되어 각 스켈레톤이 추적되면, 각 스켈레톤의 좌표를 알아내어 스켈레톤 간 위치관계를 파악할 수 있도록 했다. 이 스켈레톤의 위치관계를 통해, 각 감정에 따른 제스쳐를 정의했다.
사람 5명에 대해서, 각 감정에 따른 정의된 제스쳐를 얼마나 잘 인식하는지 실험을 구성했다. 인식된 사용자가 4가지 감정에 맞는 각 제스쳐를 100번 취했을 때, 인식 성공률을 측정했다. 아래 표는 제스쳐를 통한 각 감정인식 성공률이다.
이 Projection matrix를 입력 영상에도 곱해서 특징들을 구한 후, 등록 영상들의 특징들과 비교를 시킨다. 입력 영상과 가장 가까운 거리를 갖는 등록 영상을 구해 인식을 확인한다.
얼굴 검출 알고리즘으로 AdaBoost를 활용하였고, 사람 머리 위치를 중심으로 좌우 여백영역을 적절하게 고려하여, 얼굴 검출 유효영역을 만들도록 했다. 즉, 전체 Scene에서 얼굴을 검출하지 않고, 머리 부분 스켈레톤을 고려한 얼굴 유효영역에서만 얼굴을 검출하도록 했다. 이는 Color map에서만 얼굴 검출을 하지 않고, 스켈레톤 추적을 위한 Depth map도 활용하여 얼굴 오검출을 감소시키게 했다.

대상 데이터

사람 5명에 대해서, 각 감정에 따른 정의된 제스쳐를 얼마나 잘 인식하는지 실험을 구성했다. 인식된 사용자가 4가지 감정에 맞는 각 제스쳐를 100번 취했을 때, 인식 성공률을 측정했다.

이론/모형

Full body tracking 예제에서 사람 각 부위의 스켈레톤을 추적할 때, 사람 부위 중 머리 부분 좌표를 활용하여 얼굴을 검출하도록 했다. 얼굴 검출 알고리즘으로 AdaBoost를 활용하였고, 사람 머리 위치를 중심으로 좌우 여백영역을 적절하게 고려하여, 얼굴 검출 유효영역을 만들도록 했다. 즉, 전체 Scene에서 얼굴을 검출하지 않고, 머리 부분 스켈레톤을 고려한 얼굴 유효영역에서만 얼굴을 검출하도록 했다.
그뿐만 아니라, 전체 Scene이 아닌 얼굴 유효영역만 찾기 때문에, Searching 영역을 감소시켜 속도를 개선시켰다. 이 효율적으로 검출된 얼굴 영상을 실시간으로 입력받아, SVM-DA(Support Vector Machine Discriminant Analysis) 알고리즘을 이용하여 얼굴을 인식시켰다. SVM-DA는 LDA의 약점을 보완한 것으로, 어떤 데이터 분포 형태에도 분류를 잘할 수 있도록 각 클래스 간에 Margin을 최대화하는 Hyperplane을 찾는 것이다.

성능/효과

감정인식 분야를 크게 인간의 얼굴표정이나 제스쳐가 담긴 영상 인식과 음성 인식을 통한 감정인식으로 나눌 수 있다. [2] 감정 인식 분야 중 표정 인식은 얼굴 인식에 비해 인식률이 낮으며, 다양한 표정을 인식하기가 쉽지 않다. 또 표정 인식만으로 감정인식을 하기에는 무리가 있으며, 복합적인 부분이 포함되어야 한다.
그 스켈레톤을 추적시켜 각 감정에 따른 제스쳐 인식을 하도록 구현하였다. 실험 결과, 제스쳐를 통한 감정 인식 성공률이 86 ~ 88% 나왔다. 다른 감정인식 방법인 표정 인식을 이 제스쳐 인식과 융합하면, 더욱더 효과적인 감정인식이 가능하다.
Kinect 센서를 통해 실시간으로 Color영상과 Depth영상을 취득하여, 상반신 부위들의 추적을 통한 실시간 감정인식이 되도록 했다. 이 제스쳐를 통한 감정인식은 표정 인식만을 사용한 감정인식의 미흡한 점을 보완하여 더 성능이 좋은 감정인식이 가능하게 할 수 있다.

후속연구

다른 감정인식 방법인 표정 인식을 이 제스쳐 인식과 융합하면, 더욱더 효과적인 감정인식이 가능하다. 표정인식을 감정인식에 적용해보는 연구를 앞으로 진행하겠다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

상반신 추적 기술 기반 감정 인식 시스템
Emotion Recognition System based on Upper Body Tracking 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

상반신 추적 기술 기반 감정 인식 시스템 Emotion Recognition System based on Upper Body Tracking 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

상반신 추적 기술 기반 감정 인식 시스템
Emotion Recognition System based on Upper Body Tracking 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper