본 논문에서는 인간의 중요한 감정표현 수단인 얼굴표정을 분석하는 방법을 제시하였다. 제안된 방법에서는 기준얼굴과 그의 혼합 비율의 관점에서 얼굴표정을 분석한다. 기준얼굴은 인간의 대표적인 얼굴표정인 놀람, 두려움, 분노, 혐오, 행복, 슬픔, 그리고 무표정으로 설정하였다. 얼굴 모델의 생성을 위해 일반 얼굴 모델이 얼굴영상으로 정합하는 방법을 사용하였다. 기준얼굴의 혼합 비율을 구하기 위해 유전자 알고리즘과 Simulated Annealing 방법을 사용하였고 탐색된 얼굴표정 정보를 이용한 얼굴표정 생성 실험을 통해 제안된 방법의 유용성을 입증하였다.
본 논문에서는 인간의 중요한 감정표현 수단인 얼굴표정을 분석하는 방법을 제시하였다. 제안된 방법에서는 기준얼굴과 그의 혼합 비율의 관점에서 얼굴표정을 분석한다. 기준얼굴은 인간의 대표적인 얼굴표정인 놀람, 두려움, 분노, 혐오, 행복, 슬픔, 그리고 무표정으로 설정하였다. 얼굴 모델의 생성을 위해 일반 얼굴 모델이 얼굴영상으로 정합하는 방법을 사용하였다. 기준얼굴의 혼합 비율을 구하기 위해 유전자 알고리즘과 Simulated Annealing 방법을 사용하였고 탐색된 얼굴표정 정보를 이용한 얼굴표정 생성 실험을 통해 제안된 방법의 유용성을 입증하였다.
Facial expression is an effective tool to express human emotion. In this paper, a facial expression analysis method based on the base faces and their blending ratio is proposed. The seven base faces were chosen as axes describing and analyzing arbitrary facial expression. We set up seven facial expr...
Facial expression is an effective tool to express human emotion. In this paper, a facial expression analysis method based on the base faces and their blending ratio is proposed. The seven base faces were chosen as axes describing and analyzing arbitrary facial expression. We set up seven facial expressions such as, surprise, fear, anger, disgust, happiness, sadness, and expressionless as base faces. Facial expression was built by fitting generic 3D facial model to facial image. Two comparable methods, Genetic Algorithms and Simulated Annealing were used to search the blending ratio of base faces. The usefulness of the proposed method for facial expression analysis was proved by the facial expression synthesis results.
Facial expression is an effective tool to express human emotion. In this paper, a facial expression analysis method based on the base faces and their blending ratio is proposed. The seven base faces were chosen as axes describing and analyzing arbitrary facial expression. We set up seven facial expressions such as, surprise, fear, anger, disgust, happiness, sadness, and expressionless as base faces. Facial expression was built by fitting generic 3D facial model to facial image. Two comparable methods, Genetic Algorithms and Simulated Annealing were used to search the blending ratio of base faces. The usefulness of the proposed method for facial expression analysis was proved by the facial expression synthesis results.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
문화적으로 중요한 역할을 하고 있으며, 다양한 분야에 응용 가능하다. 본 논문에서는 얼굴 영상을 이용하여 표정을 분석하였다. 얼굴표정을 기준얼굴의 관점에서 분석하기 위해, 유전자 알고리즘과 Simulated Annealing 방법을 사용하여 효율적으로 기준얼굴의 혼합 비율을 추출하였고 두 방법 모두 얼굴표정 분석에 사용될 수 있었다.
따라서 얼굴표정을 미리 정해진 범주 가운데 하나로 결정하는 것은 어려운 문제이다. 본 논문에서는 얼굴표정을 기준얼굴과 그 함유 비율의 관점에서 기술하는 방법을 사용하며, 임의의 얼굴표정으로부터 기준얼굴에대한 혼합 정도를 인식하는 연구를 하였다. 또한 얼굴표정의 분석에 사용된 기준 얼굴과 얻어진 흔합 비율을얼굴표정의 합성에 적용하였다.
본 논문에서는 인간의 얼굴표정기준 얼굴얼굴 (Base Face)과 기준얼굴의 혼합 비율(Blending Ratio)의 관점에서 얼굴표정을 분석하였다. 얼굴표정 분석을 위해 유전자 알고리즘(Genetic Algorithms)과 Simulated Annealing 방법을 사용하였고, 얼굴표정 분석 결과를 얼굴표정 합성에 적용하여 표정을 생성하였다.
제안 방법
Essa는 얼굴구조를 기술하는 기하학적인 정보와 물리적인 역학모델과 결합된 Optical Flow를 이용하여 웃음 (smile), 놀람(surprise), 분노(an壇氏), 혐오(disgust), 눈썹올림 (raise brow) 등의 얼굴표정을 분석하였다[8]. Lamtis는다단계 해상도를 가지는 탐색 알고리즘을 사용하여 얼굴모델을 얼굴 영상에 정합하여 얼굴표정을 분석하였다[9]. Kimura는 K9변환을 이용하여 얼굴표정을 분석하고 정도 (de隽e)를 인식하는 연구를 하였다 出)].
얼굴의 표정을생성하거나 인식하기 위해서는 얼굴에 대한 3D 모델링 작업이 필요하다. 논문에서는 '98 EXPO 3차원 얼굴데이터H기를 사용하여 CCD 카메라로 입력받은 얼굴영상에서 마우스를 사용, 38개의 특징점(feature point) 을 지정하는 방법으로 얼굴을 모델링하였다. 지정된특징점의 위치에 따라 특징점 사이의 거리를 알 수 있고, 일반 얼굴 모델(Gemeric Face Model)과 비교하여 비 (rati。)를 계산한 후 수직과 수평 방향의 선형 보간 정합을 하였다.
진화가 진행됨에 따라, 가장 우수한 개체에 대한 평가함수의 분포와 평가함수의 평균 분포를 그래프로 표시하였다. 동시에 SA의 수렴과정을 유전자 알고리즘과 비교하여 표시하였다. 일반적으로 본 연구의 얼굴 영상에 대한 실험에서는, 그림6에서 나타난 바와 같이 SA 보다 유전자 알고리즘의 evaluation 값이 전체적으로낮은 결과를 보였다.
본 논문에서는 얼굴표정을 기준얼굴과 그 함유 비율의 관점에서 기술하는 방법을 사용하며, 임의의 얼굴표정으로부터 기준얼굴에대한 혼합 정도를 인식하는 연구를 하였다. 또한 얼굴표정의 분석에 사용된 기준 얼굴과 얻어진 흔합 비율을얼굴표정의 합성에 적용하였다.
인간의 얼굴표정은 개인의 습관과 개성에 따라 여러 가지가 있을 수 있고, 경우에 따라서는 명확하게 구분하기 어려운 표정도 있으나 일반적으로 분류되는 대표적인 인간의 얼굴표정으로는 놀람(surprise), 두려움(fear), 노여움(anger), 혐오 (disgust), 행복(happiness), 슬픔(sadness) 등의 여섯 가지이다[15M16]. 본 논문에서눈 이 여섯 가지 얼굴표정과 무표정한 얼굴을 기준 얼굴로 설정하여 얼굴표정을분석하는 기준으로 삼았다.
본 논문에서는 수학적 계산이나 다차원 함수의 최적값을 구하는 경우에 많이 사용되는 실수 배열을 이용하여 유전자 알고리즘을 구현하였다[19]. 좋은 해를얻기 위해서는 다양성(diversity)과 수렴성(convergence) 의 조화가 팔요하다.
본 논문에서는 유전자 알고리즘과 함께 최적화 문제에 많이 사용되고 있는 SA 방법을 이용하여 얼굴표정을 분석하였다. SA는 열역학(Thermodynamics)에서 금속이나 액체가 냉각되면서 결정화되는 과정에서 유추된 것이다.
알고리즘이다. 본 연구에서는 유전자 알고리즘을 사용하여 임의의 얼굴표정을 구성하는 기준 얼굴의 함유비율을 알아내는탐색 과정을 수행한다. 그림2에서는 유전자 알고리즘을 이용하여 얼굴표정을 분석하는 과정을 보여준다.
본 논문에서는 얼굴 영상을 이용하여 표정을 분석하였다. 얼굴표정을 기준얼굴의 관점에서 분석하기 위해, 유전자 알고리즘과 Simulated Annealing 방법을 사용하여 효율적으로 기준얼굴의 혼합 비율을 추출하였고 두 방법 모두 얼굴표정 분석에 사용될 수 있었다. 제안된 방법으로 얻어진 얼굴표정분석결과를 얼굴표정 합성에 적용하여 캐릭터의 얼굴표정 생성에 유용하게 사용될 수 있음을 확인하였다.
제안된 방법으로 얻어진 얼굴표정분석결과를 얼굴표정 합성에 적용하여 캐릭터의 얼굴표정 생성에 유용하게 사용될 수 있음을 확인하였다. 즉, 얼굴 모델 변형을 위한 방법으로 기준얼굴의 포함 정도를 얼굴영상에서 분석하고 분석된 정보를 이용하여 얼굴영상에 해당되는 얼굴의 변형을 효율적으로 구하였다. 향후 연구과제로는, 정확하고 신속하게 얼굴표정을 탐색하기 위한 탐색전략의 수립과 얼굴표정 공간의 확장 및 얼굴 특징점의 자동 추출에 대한 연구를 수행하여야 한다.
논문에서는 '98 EXPO 3차원 얼굴데이터H기를 사용하여 CCD 카메라로 입력받은 얼굴영상에서 마우스를 사용, 38개의 특징점(feature point) 을 지정하는 방법으로 얼굴을 모델링하였다. 지정된특징점의 위치에 따라 특징점 사이의 거리를 알 수 있고, 일반 얼굴 모델(Gemeric Face Model)과 비교하여 비 (rati。)를 계산한 후 수직과 수평 방향의 선형 보간 정합을 하였다. 얼굴 정합을 위하여 지정된 특징점은 그림 1과 같다.
데이터처리
그림6에서는 그림 5(a)의 첫 번째 얼굴의 진화과정을 보여주고 있다. 진화가 진행됨에 따라, 가장 우수한 개체에 대한 평가함수의 분포와 평가함수의 평균 분포를 그래프로 표시하였다. 동시에 SA의 수렴과정을 유전자 알고리즘과 비교하여 표시하였다.
이론/모형
각 염색체의 내용에 따라 얼굴표정이 결정되고, 목표로 하는 얼굴표정과의 비교를 통해 개체의 우열을 가리게 된다. 개체가 나타내는 좌표 값과 목표로 하는 얼굴표정의좌표 값과의 차이를 유전자 알고리즘의 평가함수로 사용한다. 그림4는 유전자 알고리즘을 이용하여 구현된 시스템의 전체적인 처리 과정을 나타낸다.
이를 위해 유전자 알고리즘의 특성을 결정짓는 파라미터의 설정이 매우 중요하다. 구현된 유전자 알고리즘은 집단의 개체 수를 100개로 하였고, 선택(selection) 기법으로 룰렛 휠(roulet比 wheel)을사용하였다. 임의의 염색체& 과 A? 로부터 식(15)의 산술적 교잡(arithmatic crossover) 과정을 거쳐 새로운 염색체 A「과 血'를 생성하였다.
셋째, 미분계수나 다른 보조적인 정보를 사용하지 않고, 평가함수만을 사용한다. 넷째, 결정규칙 (deterministic rule)을 사용하지 않고 확률적 천이 규칙을 사용한다.
돌연변이는 임의의 유전인자에 대하여 식(16)의 두 가지 경우를 임의로 선택하는 non-uniform 돌연변이 방법을 사용하였다.
얼굴표정을 분석하였다. 얼굴표정 분석을 위해 유전자 알고리즘(Genetic Algorithms)과 Simulated Annealing 방법을 사용하였고, 얼굴표정 분석 결과를 얼굴표정 합성에 적용하여 표정을 생성하였다..
성능/효과
둘째, 하나의 포인트가 아닌 집단으로 탐색하기 때문에 지역적 최소치(local minima)에 삐■질 위험이 적다. 셋째, 미분계수나 다른 보조적인 정보를 사용하지 않고, 평가함수만을 사용한다. 넷째, 결정규칙 (deterministic rule)을 사용하지 않고 확률적 천이 규칙을 사용한다.
또한 GA가 SA보다 더 빠른 수렴속도를 보였다. 이것은 유전자 알고리즘의 탐색 방법이 본 연구에서 해결하려는 문제에 대하여 SA보다 더좋은 해를 얻을 수 있음을 보여주고 있다.
얼굴표정을 기준얼굴의 관점에서 분석하기 위해, 유전자 알고리즘과 Simulated Annealing 방법을 사용하여 효율적으로 기준얼굴의 혼합 비율을 추출하였고 두 방법 모두 얼굴표정 분석에 사용될 수 있었다. 제안된 방법으로 얻어진 얼굴표정분석결과를 얼굴표정 합성에 적용하여 캐릭터의 얼굴표정 생성에 유용하게 사용될 수 있음을 확인하였다. 즉, 얼굴 모델 변형을 위한 방법으로 기준얼굴의 포함 정도를 얼굴영상에서 분석하고 분석된 정보를 이용하여 얼굴영상에 해당되는 얼굴의 변형을 효율적으로 구하였다.
제안된 시스템은 얼굴표정 생성을 위해 필요한 기준 얼굴의 혼합 비율에 대한 정보로 구성된 염색체 집단을 진화시켜 나감으로써, 전체적인 탐색영역에서 목표로 하는 얼굴표정을 생성하기 위해 필요한 기준 얼굴의 혼합 비율을 효율적으로 구해 낼 수 있다. 각 염색체의 내용에 따라 얼굴표정이 결정되고, 목표로 하는 얼굴표정과의 비교를 통해 개체의 우열을 가리게 된다.
후속연구
즉, 얼굴 모델 변형을 위한 방법으로 기준얼굴의 포함 정도를 얼굴영상에서 분석하고 분석된 정보를 이용하여 얼굴영상에 해당되는 얼굴의 변형을 효율적으로 구하였다. 향후 연구과제로는, 정확하고 신속하게 얼굴표정을 탐색하기 위한 탐색전략의 수립과 얼굴표정 공간의 확장 및 얼굴 특징점의 자동 추출에 대한 연구를 수행하여야 한다.
참고문헌 (22)
P. Gosselin, G. Kirouac and F. Y. Dore, Components and Recognition of Facial Expression in the Communication of Emotion by Actors, Journal of Personality and Social Psychology, Vol.68, pp.83-96, 1995
Darrel, T., and Pentland, A., 'Attention-driven Expression and Gesture Analysis in an Interactive Environment,' Proc. of International Workshop on Automatic Face and Gesture Recognition, pp.135-140, Zurich, Switzerland, 1995
Li, H., Roivainen, P., and Forchheimer, R., '3-D Motion Estimation in Model-Based Facial Image Coding,' IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.15, No.6, pp.545-555, 1993
Choi, C. S., Aizawa, K., Harashima, H., and Takebe, T., 'Analysis and Synthesis of Facial Image Sequences in Model-Based Image Coding,' IEEE Trans. Circuits and Systems for Video Technology, Vol.4, No.3, pp.257-275, 1994
Reinders, M. J. T., van Beek, P. J. L., Sankur, B., and van der Lubbe, J. C. A., 'Facial feature localization and adaptation of a generic face model for model-based coding,' Signal Processing: Image Communication, Vol.7, pp.57-74, 1995
Ko, H. and Kim, J. H., 'Searching for Facial Expression by Genetic Algorithm,' Proc. of the 2nd Eurographics Workshop on Virtual Environments, Monte Carlo, Monaco, 1995
Yacoob, Y., and Davis, L. S., 'Recognizing Human Facial Expressions From Long Image Sequences Using Optical Flow,' IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.18, No.6, pp.636-642, 1996
Essa, I., and Pentland, A., 'Coding, Analysis, Interpretation, and Recognition of Facial Expressions,' IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.19, pp.757-763, 1997
Lanitis, A., Taylor, C. J., and Cootes, T. F., 'Automatic Interpretation and Coding of Face Images Using Flexible Models,' IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.19, pp.743-756, 1997
Kimura, S., and Yachida, M., 'Facial Expression Recognition and Its Degree Estimation,' Proc. of CVPR'97, pp.295-300, San Juan, Puerto Rico, June 1997
Parke, F. I., 'Parameterized Model for Facial Animation,' IEEE Computer Graphics and Applications, Vol.2, No.9, pp.61-68, 1982
Williams, L., 'Performance-based Facial Animation,' Proc. of ACM SIGGRAPH, pp.235-242
Waters, K., 'A Muscle Model for Animating Three-Dimensional Facial Expression,' Proc. of ACM SIGGRAPH, pp.17-24, 1987
Lee, Y., Terzopoulos, D., and Waters, K., 'Realistic Modeling for Facial Animation,' Proc. of ACM SIGGRAPH, pp.55-62, 1995
Ekman, P., and Friesen, W. V., Unmasking the Face, A Guide to Recognizing Emotions from Facial Clues, England Cliffs, Prentice-Hall, New Jersey, 1975
Ekman, P., and Friesen, W. V., Facial Action Coding System, A Technique for the measurement of facial movement, Palo Alto, Calif.: Consulting Psychologists Press, 1978
Ko, H., Kim, M. S., Park, H. G., and Kim, S. W., 'Face sculpturing robot with recognition capability,' CAD, Vol.26, No.11, pp.814-821, 1994
Goldberg, D. E., Genetic Algorithms in search, optimization & Machine Learning, Addison-Wesley, 1989
Davis, L., Handbook of Genetic Algorithms, Van Nostrand Reinhold, 1991
Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. N. and Teller, E., 1953, 'Equation of State Calculation by Fast Computing Machine,' J. of Chem. Phys, Vol. 21, pp. 299-322
※ AI-Helper는 부적절한 답변을 할 수 있습니다.