초록 ▼

현재 지능형 로봇, 지능형 서비스의 중요성이 대두됨에 따라 이를 제공하기 위해서는 사용자와의 대화형 서비스가 필수적인 요소가 되었다. 이를 위해 먼저 사용자의 감정 상태를 파악하여 상황에 따른 적응적인 서비스 제공이 필요하다. 그러므로 본 과제를 통해 스테레오 비전 기반의 지능형 로봇 환경에서 얼굴의 깊이 정보(depth)를 활용하여 3D AAM (Active Appearance Model)을 구성하고, 이를 이용해 얼굴표정을 인식하는 기술을 개발하는 것을 최종 목표로 함으로써 감정 상태를 파악하여 적응적인 서비스를
제공할 수

현재 지능형 로봇, 지능형 서비스의 중요성이 대두됨에 따라 이를 제공하기 위해서는 사용자와의 대화형 서비스가 필수적인 요소가 되었다. 이를 위해 먼저 사용자의 감정 상태를 파악하여 상황에 따른 적응적인 서비스 제공이 필요하다. 그러므로 본 과제를 통해 스테레오 비전 기반의 지능형 로봇 환경에서 얼굴의 깊이 정보(depth)를 활용하여 3D AAM (Active Appearance Model)을 구성하고, 이를 이용해 얼굴표정을 인식하는 기술을 개발하는 것을 최종 목표로 함으로써 감정 상태를 파악하여 적응적인 서비스를
제공할 수 있는 기반을 마련하고자 하였다.
1차년도는 2,3차년도의 연구에 대한 기반 기술을 개발하는데 주력하였다. 먼저 스테레오 영상을 포함하는 다중 시점의 환경에서 자장 및 전송에 효율적인 영상 부호화 기술을 연구하여 카메라의 발달과 함께 점차 화소수가 증가하여 대용량 이미지 기반에서도 사용할 수 있도록 하였고, 얼굴 영역 추출 기법에 대한 연구를 진행하여 Adaboost 알고리즘을 이용한 얼굴 영역 추출기를 완성하였고, 이는 실시간 얼굴 추출이 가능하며 95% 이상의 정확도를 보였다.
2차년도는 1차년도에 개발된 내용을 바탕으로 얼굴 표정 인식 기술과 관련된 내용을 연구 개발하였다. 먼저 스테레오 영상에서 깊이 정보를 획득하기 위한 연구로 다중 시점 영상의 부호화에서 통계적인 분석과 GOP 내 움직임 특성의 결합에 대한 구체적인 활용 기법을 도출하였고, 그에 따라 적은 RD(Rate Distortion) 손실과 높은 부호화 속도를 얻을 수 있었다. 그리고 영상 획득시 환경에 따른 왜곡에 따른 강인성, 구조적 단순성을 유지하는 스테레오 정합 기술에 대해 연구하였다. 얼굴 표정 인식에 관한 기술로 1차년도에 개발된 얼굴 특징 추출기를 이용하여 FACS를 적용하였고 이는 얼굴 표정 인식 테스트용 데이터베이스에 대해 87.5%의 인식률을 보였으며, 실시간 표정 인식 테스트에서는 84.0%의 성공률을 보였다. 또한 신경회로망 학습 알고리즘 중 하나인 Backpropagation(BP) 알고리즘을 이용하여 JAFFE 데이터베이스에 대해서 90.0%의 표정 인식률을 얻었다. 그리고 파일 시스템에 대한 연구를 진행하여 리눅스 파일시스템에서 대량의 이미지 파일의 빠른 탐색 및 접근을 위한 메타데이터 저장, 관리 공간의 구현 및 설계를 하였다.
3차년도에서는 추가적으로 외부 변형 요소에 강인한 지역적 스테레오 정합 기술, 표정 인식에 대한 향상된 변이 정보 적용 기술에 대해 연구하여 성능 향상을 얻을 수 있었으며, 로봇 기반의 시스템에 적합한 플래시 메모리와 이미지 전용 파일 시스템에 대한 연구를 진행하여 플래시 메모리 파일 시스템의 인덱싱 기법과 이미지의 메타데이터의 구조를 변경함으로써 임계값에 따라 20~30%의 성능 향상을 얻을 수 있었다. 그리고 획득된 얼굴 깊이 정보를 이용하여 3D AAM을 완성하였고, 다수의 다른 특징을 가지는 AAM을 활용한 MAAM을 활용하여 얼굴 특징 추출에 있어 더 정확한 결과를 얻을 수 있었고, 2차년도에 개발된 FACS를 이용한 표정 인식 기법과 BP를 이용한 얼굴 표정 인식 기법의 장점을 통합하여 실시간 통합 얼굴 표정 인식 기법을 개발하였고, 이는 87.5%의 실시간 표정 인식 성공률을 보였다.
본 과제를 통해 개발된 얼굴 표정 인식기는 모든 기기의 사용자 인터페이스에 적용되어 인간 감정 상태에 따른 적응적인 서비스 제공이 가능하며 MAAM, 3D AAM의 경우 영상에서 특징 추출이 필요한 다양한 분야에서 활용 가능하다. 영상 부호화 기술은 규모가 커지는 영상 실감 응용 플랫폼(실감형 TV, 초고 해상도 UDTV)에서 영상 데이터의 저장 및 전송에 효율성을 제고시키는 데 활용될 수 있다. 또한 스테레오 정합 기술은 불안정한 외부환경에 노출되는 산업 및 비산업적 무인 비전 시스템에서 활용 가능하다. 또한 플래시 메모리 파일 시스템 및 이미지 전용 파일 시스템은 로봇 기반의 영상 처리에 있어서 보다 효율적인 이미지 데이터베이스 관리를 가능하게 할 것이다.

목차 Contents

• 일반연구자지원사업 최종(결과)보고서 ... 1
• 목차 ... 3
• Ⅰ. 연구결과 요약문 ... 4
• Ⅱ. 연구내용 및 결과 ... 5
• 1. 연구과제의 개요 ... 5
• 2. 국내외 기술개발 현황 ... 5
• 3. 연구수행 내용 및 결과 ... 6
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 7
• 5. 연구결과의 활용 계획 ... 8
• 6. 연구과정에서 수집한 해외 과학기술 정보 ... 8
• Ⅲ. 연구성과 ... 9