본 논문에서는 6개의 특징점을 이용하는 가버 웨이블릿 신경망 기반 적응 표정인식 시스템을 제안한다. 특징 추출부를 포함하는 초기 네트워크의 구성은 Levenberg-Marquardt 기반의 학습방법이 사용되며, 따라서 특징 추출부 결정에 있어서 경험적 요소를 배재시킬 수 있다. 또한 새로운 사용자에 대한 적응 네트워크를 구성하기 위해서 개선된 보상함수를 가지는 Q-학습과, 비지도 퍼지신경망 모델을 사용하였다. Q-학습을 통해서는 개인 사용자에 대해 분리도가 좋은 특징벡터를 얻을 수 있는 가버필터 세트를 얻을 수 있으며, 퍼지 신경망을 통해서는 사용자의 얼굴변화에 맞게 인식기를 변화시킬 수 있다. 따라서 제안된 시스템은 사용자의 얼굴변화를 따라갈 수 있는 좋은 적응 성능을 보이고 있다.
본 논문에서는 6개의 특징점을 이용하는 가버 웨이블릿 신경망 기반 적응 표정인식 시스템을 제안한다. 특징 추출부를 포함하는 초기 네트워크의 구성은 Levenberg-Marquardt 기반의 학습방법이 사용되며, 따라서 특징 추출부 결정에 있어서 경험적 요소를 배재시킬 수 있다. 또한 새로운 사용자에 대한 적응 네트워크를 구성하기 위해서 개선된 보상함수를 가지는 Q-학습과, 비지도 퍼지 신경망 모델을 사용하였다. Q-학습을 통해서는 개인 사용자에 대해 분리도가 좋은 특징벡터를 얻을 수 있는 가버필터 세트를 얻을 수 있으며, 퍼지 신경망을 통해서는 사용자의 얼굴변화에 맞게 인식기를 변화시킬 수 있다. 따라서 제안된 시스템은 사용자의 얼굴변화를 따라갈 수 있는 좋은 적응 성능을 보이고 있다.
In this paper, adaptive Facial Emotional Recognition system based on Gabor Wavelet Neural Network, considering six feature Points in face image to extract specific features of facial expression, is proposed. Levenberg-Marquardt-based training methodology is used to formulate initial network, includi...
In this paper, adaptive Facial Emotional Recognition system based on Gabor Wavelet Neural Network, considering six feature Points in face image to extract specific features of facial expression, is proposed. Levenberg-Marquardt-based training methodology is used to formulate initial network, including feature extraction stage. Therefore, heuristics in determining feature extraction process can be excluded. Moreover, to make an adaptive network for new user, Q-learning which has enhanced reward function and unsupervised fuzzy neural network model are used. Q-learning enables the system to ge optimal Gabor filters' sets which are capable of obtaining separable features, and Fuzzy Neural Network enables it to adapt to the user's change. Therefore, proposed system has a good on-line adaptation capability, meaning that it can trace the change of user's face continuously.
In this paper, adaptive Facial Emotional Recognition system based on Gabor Wavelet Neural Network, considering six feature Points in face image to extract specific features of facial expression, is proposed. Levenberg-Marquardt-based training methodology is used to formulate initial network, including feature extraction stage. Therefore, heuristics in determining feature extraction process can be excluded. Moreover, to make an adaptive network for new user, Q-learning which has enhanced reward function and unsupervised fuzzy neural network model are used. Q-learning enables the system to ge optimal Gabor filters' sets which are capable of obtaining separable features, and Fuzzy Neural Network enables it to adapt to the user's change. Therefore, proposed system has a good on-line adaptation capability, meaning that it can trace the change of user's face continuously.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 새로운 연산 과정과 Levenberg - Marquardt 학습 방법 기반의 가버 웨이블릿 신경망 기반의 표정 인식 시스템을 제안한다. 새로운 사용자를 위한 개인화 적응 네트워크 구성을 위해서는 특징 추출부의 학습 방법으로써 Q-학습기반의 방법[기을 이용함으로써 경험적인 방법에 의존하였던 특징 추출의 한계를 근본적으로 극복한다.
제안 방법
그러나 만일, 인식 시스템이 다양한 사용자에 대해 좋은 특징들을 잘 추출해 낼 수 있다면, 또한 새로운 개인 사용자에 적응하기 위해 자동적으로 사용자에 ;대한 학습이 가능하다면, 인식기의 불필요한 부분을 최대한 줄이면서 최적의 인식기 구현이 가능할 것이다. '실제로 더 :많은 특징점을 사용하면, 더 좋은 성능이 예상되지만 본 논문에서는 특징점 학습의 유용성을 보이기 위해 중요도 상위 6개의 특징점만을 선정하였다.
모델을 이용한 적응 방법이 제안되었다. 기존의 특징추출을 위한 가버 필터단의 파라미터까지 학습시킴으로써 특징 추출에 있어 사람의 주관성을 배제하고자 하는 목적에서 출발한 것으로서, 학습 과정을 통해 어떠한 특징을. 어떻게 뽑아낼 것인지가 모두 결정되는 자동화로서의 첫 단계라 할 수 있다.
다시 BSCL DB에 대해서 3절에서 소개하였던 적응 네트워크 구성방법을 적용하여 개인화 인식기를 구성하였다. 먼저 二z림 8과 같이 Q-학습을 통해 특징 추출부를 조정하고, 퍼지 신경망 모델의 초기 수렴과정을 통한 클러스터링 결과는 표2의 두 번째 열(Q학습+퍼지신경망 모델을 이용한 클러스더링)과 같다.
또한 그림 10과 그림 11에서 볼 수 있듯이, 개인화 단말기 (PDA)로도 제작하였다. 이 시스템은 제한된 매개 인터페이스에서도 표정인식이 수행될 수 있으며, 개인화라는 관점에서 바람직하다는 취지를 가진다.
그 후:, 인식결과를 내어주도록 아이콘을 클릭하면 퍼지 신경망 모델의 평가방법에 의해 인식 결과가 나오게 된다. 입력된 영상이 각 표정 클래스의 중심에 가까운 순서대로 진한 색으로 표시하도록 하였다. 동시에 연산 속도가 화면에 표시된다.
테스트는 행복, 슬프 분노의 3가지 표정에 대해 이루어졌다. 초기 학습을 위해서 42장의 EKMAN DB와 45장의 JAFFE DB를 사용하였다.
표정인식을 위한 얼굴추출은 adaboost 기반 얼굴 추출기를 이용하였다. 그림 9의 (가)에서는 입력된 얼굴 영상과 인식 결과 및, 6 차원 특징 백터의 선택된 두 축으로의 사영을 볼 수 있다.
학습된 표정인식기를 PC-CAM을 이용하여 PC에서 제작하였다. 표정인식을 위한 얼굴추출은 adaboost 기반 얼굴 추출기를 이용하였다.
대상 데이터
따라서 6일 동안 5명의 개인에 대해 PC-CAM을 이용하여 수집된 600장의 BSCL DB를 개인화 성능 테스트를 위해 사용하였다. 처음 3일간의 데이터는 개인화 인식기 구성을 위한 학습에 사용되었고, 이후 3일간의 데이터는 적응 인식기의 성능 테스트를 위해 사용되었다.
기본적으로 가버 노드와 가중치단으로 구성된 신경망 구조를 가지며, 모든 노드는 활성함수로 선형함수를 사용한다. 얼굴의 특징점은 MPEG-4에 규정된 특징점 중 ⑻에서 제시된 중요도 순서의 1-6번째까지의 점을 선정하였다. 적용되는 가버 웨이블릿 함수는 even과 odd를 모두 사용하며 함수는 다음과 같이 주어진다.
초기 학습을 위해서 42장의 EKMAN DB와 45장의 JAFFE DB를 사용하였다. 二1러나, 이 두 DB는 많은 사람들을 포괄하는 표정의 수집을 목적으로 만들어진 것이므로, 개인 사용자에 대한 데이터 개수가 부족하다.
이론/모형
/第)을 구하기 전에 먼저 필터의 최대값에 대한 주파수의 부분미분을 (4), (5)를 이용하여 구해야 한다. 二〔러나, 미분식의 전개가 어려우므로 실제 데이터를 바탕으로 미분 함수를 다음과 같이 Gradient de scent 방법으로 근사화하여 사용한다. 근사화를 위한 최대값데이터와 근사화 그래프는 그림3과 같고, 근사화 식은 아래와 같다.
본 논문에서는 미분 기반의 학습 중, 실제 상황에서 가장 좋은 성능을 보이는 것으로 알려진 Levenberg - Marquardt 방법을 사용한다. 최종 출력층의 j번째 노드의 출력을 , 그때의 올바른 출력을 d丿라 두면, 출력 노드의 에러는 다음과 같다.
성능/효과
가중치를 동시에 학습시킨다. 二L러나, 초기 학습된 인식기를 학습 데이터와는 다른 성향의 특정 사용자가 사용하게 되는 경우, 인식률이 떨어질 수 있다. 그 원인은 사용자의 얼굴 특징 자체가 달라지기 때문일 수도 있으며, 감정을 표현하기 위한 방법이 다르기 때문일 수도 있다.
두 번째로, 전체의 컨벌루션이 없는 간단한 신경망 구조를 가짐으로써, 연산에 따른 부담을 최소화시켰다. 세 번째로, 새 사용자 적응시 비지도 학습이 가능한 퍼지 신경망 모델의 구성이 가능해짐으로써, 개인 사용자에 대하여 자유롭게 적응할 수 있고 사용자의 계속된 성향 변화도 따라갈'수 있도록 하였다.
또한 실제로 PC뿐만 아니라, PDA상에서 시스템을 실어봄으로써 매개 인터페이스 상에서의 비전기반 인식시스템의 가능성을 확인하였다. 따라서 이러한 장점을 살려 차후 유비쿼터스 환경에서 개인 사용자가 휴대하게 되는 PDA와 같은 작은 장치나, 가정용 로봇 등에 적용할 수 있게 되었다.
첫째로 가버 웨이블릿신경망 구조에 기반하여 특징 추출부와인식기 부분을 학습에서 인식 단계까지 하나로 통합하였다. 또한 특징 추출부로써 가버 웨이블릿 필터를 사용함으로써 사물과 같이 정확한 모서리 정보를 뽑아내기 애매하고 복잡한 얼굴로부터 특징을 효율적으로 뽑아낼 수 있었다.
현재 기쁨, 슬픔, 놀람의 세 가지 감정에 대한 실험 결과를 보이고 있지만, 인식기의 구조상 적용되는 시스템의 특성과 필요에 따라 원하는 표정의 노드만 늘려주는 것으로 더 많은 감정에 대한 인식기를 구현할 수 있다. 세 가지 표정에 대해서는 EKMAN과 JAFFE DB에 대해 각각 74%와 89%의 일반화 성능을 얻었다. 개인 사용자에 대해서는 특징 추출부의 조정을 통하여 성공적인 인식률을 얻어낼]수 있었다.
연산에 따른 부담을 최소화시켰다. 세 번째로, 새 사용자 적응시 비지도 학습이 가능한 퍼지 신경망 모델의 구성이 가능해짐으로써, 개인 사용자에 대하여 자유롭게 적응할 수 있고 사용자의 계속된 성향 변화도 따라갈'수 있도록 하였다.
가진다. 첫째로 가버 웨이블릿신경망 구조에 기반하여 특징 추출부와인식기 부분을 학습에서 인식 단계까지 하나로 통합하였다. 또한 특징 추출부로써 가버 웨이블릿 필터를 사용함으로써 사물과 같이 정확한 모서리 정보를 뽑아내기 애매하고 복잡한 얼굴로부터 특징을 효율적으로 뽑아낼 수 있었다.
초기 일반적인 인식기 형성방법으로 EKMAN DB에 대해서는 74%, JAFFE DB에 대해서는 89%의 인식결과를 얻었다. 학습된 초기 인식기로 BSCL DB를 측정한 결과는 표 2 의 첫 번째 열과 같다(초기 인식기).
후속연구
n러나, 앞으로 추가적인 테스트 수행이 요구되며, 더 많은 개인 사용자의 DB에 대한 폭 넓은 적응성 검증이 필요하다. 현재는 특징 추출부에 BhattaCharyya거리 개념을 고려한 새로운 특징 분리도를 목적 함수로 두고 초기 학습 단계에서부터 비지도 표정 인식기를 구현하는 연구를 진행 중이다.
않았다. 그러나 만일, 인식 시스템이 다양한 사용자에 대해 좋은 특징들을 잘 추출해 낼 수 있다면, 또한 새로운 개인 사용자에 적응하기 위해 자동적으로 사용자에 ;대한 학습이 가능하다면, 인식기의 불필요한 부분을 최대한 줄이면서 최적의 인식기 구현이 가능할 것이다. '실제로 더 :많은 특징점을 사용하면, 더 좋은 성능이 예상되지만 본 논문에서는 특징점 학습의 유용성을 보이기 위해 중요도 상위 6개의 특징점만을 선정하였다.
참고문헌 (8)
Gyu-Tae Park, 'A Study on Extraction of Emotion from Facial Image using Soft Computing Techniques', Ph.D Thesis, Dept. of Electrical Engineering and Computer Science, KAIST.1998
S.B. Gokturk, et aI., 'Model-Based Face Tracking for View-Independent Facial Expression Recognition', Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp. 272 - 278.,1998
A. Kapoor, Q. Yuan, R.W. Picard, 'Fully Automatic Upper Facial Action Recognition,' IEEE International Analysis and Modeling of Faces and Gestures, pp. 195 - 202., 1998
L. Franco, A. Treves, 'A Neural Network Facial Expression Recognition System using Unsupervised Local Processing,' Proceedings of the 2nd International Symposium on Image and Signal Processing and Analysis (ISPA 2001), pp. 628 - 632. ,2001
B. Fasel, 'Multiscale Facial Expression Recognition using Convolutional Neural Networks.' Proceedings of the third Indian Conference on Computer Vision, Graphics and Image processin, 2002
B. Fasel, 'Robust Facial Analysis using Convolutional Neural Networks,' Proceedings of the International Conference on Pattern Recognition, 2002
Y. S. Kim, C. H. Ham and Y. S. Baek, 'A Fuzzy Neural Network Model Solving the Underutilization Problem' Journal of Korea Fuzzy Logic and Intelligent Systems Society, Vol. 11, pp. 354-3.58. 2001
Yonsei University et aI., Systems for Recognizing and Synthesizing facial Expressions and Gestures, The Report of the Project supported by Ministry of Science and Technology, G17-A-06
※ AI-Helper는 부적절한 답변을 할 수 있습니다.