최근들어 문화산업이 발전함에 따라 애니메이션 콘텐츠가 급속히 보급되고 있다. 본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터의 얼굴을 추출한 후, 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안한다. 제안된 시스템은 처음으로 입력되는 애니메이션 캐릭터 얼굴을 받아들여 얼굴과 얼굴의 주요 구성요소들의 주요 색상을 학습하고, 이를 주색상 모델로 생성한다. 그런 다음, 생성된 주색상 모델을 이용하여 새롭게 입력되는 애니메이션 캐릭터의 얼굴영역과 눈영역을 추출한 후, 추출된 영역으로부터 기준 좌표계와 대상 좌표계를 설정한다. 그리고 이 두 좌표계의 기하학적인 관계를 이용하여 애니메이션 캐릭터 얼굴이 3차원적으로 회전한 정보를 추출한다. 마지막으로, 추출된 3차원 회전정보를 시각적으로 용이하게 확인하기 위해서 3차원의 얼굴 모델에 회전정보를 반영하여 화면에 표현한다. 본 논문의 실험에서는 제안된 애니메이션 캐릭터 얼굴의 3차원 회전 정보 추출 방법의 성능을 평가하기 위한 실험결과를 보인다.
최근들어 문화산업이 발전함에 따라 애니메이션 콘텐츠가 급속히 보급되고 있다. 본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터의 얼굴을 추출한 후, 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안한다. 제안된 시스템은 처음으로 입력되는 애니메이션 캐릭터 얼굴을 받아들여 얼굴과 얼굴의 주요 구성요소들의 주요 색상을 학습하고, 이를 주색상 모델로 생성한다. 그런 다음, 생성된 주색상 모델을 이용하여 새롭게 입력되는 애니메이션 캐릭터의 얼굴영역과 눈영역을 추출한 후, 추출된 영역으로부터 기준 좌표계와 대상 좌표계를 설정한다. 그리고 이 두 좌표계의 기하학적인 관계를 이용하여 애니메이션 캐릭터 얼굴이 3차원적으로 회전한 정보를 추출한다. 마지막으로, 추출된 3차원 회전정보를 시각적으로 용이하게 확인하기 위해서 3차원의 얼굴 모델에 회전정보를 반영하여 화면에 표현한다. 본 논문의 실험에서는 제안된 애니메이션 캐릭터 얼굴의 3차원 회전 정보 추출 방법의 성능을 평가하기 위한 실험결과를 보인다.
Recently, animation contents has become extensively available along with the development of cultural industry. In this paper, we propose a method to analyze a face of animation character and extract 3D rotational information of the face. The suggested method first generates a dominant color model of...
Recently, animation contents has become extensively available along with the development of cultural industry. In this paper, we propose a method to analyze a face of animation character and extract 3D rotational information of the face. The suggested method first generates a dominant color model of a face by learning the face image of animation character. Our system then detects the face and its components with the model, and establishes two coordinate systems: base coordinate system and target coordinate system. Our system estimates three dimensional rotational information of the animation character face using the geometric relationship of the two coordinate systems. Finally, in order to visually represent the extracted 3D information, a 3D face model in which the rotation information is reflected is displayed. In experiments, we show that our method can extract 3D rotation information of a character face reasonably.
Recently, animation contents has become extensively available along with the development of cultural industry. In this paper, we propose a method to analyze a face of animation character and extract 3D rotational information of the face. The suggested method first generates a dominant color model of a face by learning the face image of animation character. Our system then detects the face and its components with the model, and establishes two coordinate systems: base coordinate system and target coordinate system. Our system estimates three dimensional rotational information of the animation character face using the geometric relationship of the two coordinate systems. Finally, in order to visually represent the extracted 3D information, a 3D face model in which the rotation information is reflected is displayed. In experiments, we show that our method can extract 3D rotation information of a character face reasonably.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 2차원인 애니메이션 캐릭터 얼굴의 기하학적인 정보를 효과적으로 분석하여 3차원상의 회전 정도를 측정하였다. 애니메이션 캐릭터 얼굴로부터 측정한 3차원의 회전정보가 정확한지를 정량적으로 검증하기가 현실적으로 어렵기 때문에 판정인 50인을 임의로 선정하여 회전정보 측정의 결과를 매우 좋음, 좋음, 보통, 나쁨, 매우 나쁨의 다섯 단계로 구분하여 정성적으로 정확도를 평가하였다.
가설 설정
본 논문에서는 얼굴이 원형체라고 가정하고, 애니메이션 캐릭터로부터 3가지 영역, 즉 머리카락 영역, 눈 영역, 그리고 입, 코 등 얼굴 구성요소를 제외한 나머지 얼굴 영역을 추출한다. 본 논문에서는 각 영역을 추출하기 전에 먼저 수동으로 그림 3과 같이 각 영역의 색상을 학습한다.
본 논문에서는 애니메이션 캐릭터 얼굴의 3차원의 회전정보를 추출하기 위해서 얼굴이 원형체라고 가정하고, 눈을 기준으로 얼굴의 상하좌우 및 기울어진 정도를 측정한다. 이를 위해 본 논문에서는 먼저 2개의 좌표계를 설정한다.
제안 방법
그리고 이 두 좌표계의 기하학적인 관계를 이용하여 애니메이션 캐릭터 얼굴이 x축, y축, z축 방향으로 3차원적으로 회전한 정보를 추출한다. 마지막으로, 추출된 3차원 회전정보를 시각적으로 용이하게 확인하기 위해서 3차원의 얼굴 모델에 회전정보를 반영하여 화면에 표현한다.
본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터 얼굴을 추출한 후 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안하였다. 제안된 시스템은 처음으로 입력되는 애니메이션 캐릭터 얼굴을 받아들여 얼굴과 얼굴의 주요 구성요소들의 주요 색상을 학습하고, 이를 주색상 모델로 생성한다. 그런 다음, 생성된 주색상 모델을 이용하여 새롭게 입력되는 애니메이션 캐릭터의 얼굴 영역과 눈 영역을 추출한 후, 추출된 영역으로부터 기준 좌표계와 대상 좌표계를 설정한다.
[5]에서는 2 장의 2차원 얼굴 영상을 입력받아 얼굴과 구성요소를 검출하고, 검출된 얼굴 구성요소의 두드러진 부분을 특징점으로 추출한다. 그런 다음, 특징점에 맞게 3차원의 표준 얼굴모델을 변형시킴으로써 2차원의 얼굴 영상을 최적으로 반영하는 3D 얼굴 모델을 생성하였다. 그리고 이 외에도 다른 방법들이 다수 존재한다[6,7].
본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터 얼굴을 추출한 후 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안한다. 그림 1은 본 논문에서 제안된 애니메이션 캐릭터 얼굴의 회전정보 추출 알고리즘의 전체적인 개요도를 보여준다.
그림 1에서와 같이 제안된 시스템은 먼저 처음으로 입력되는 애니메이션 캐릭터 얼굴을 받아들여 얼굴과 얼굴의 주요 구성요소들의 주요 색상을 학습하고, 이를 주색상 모델로 생성한다.
그런 다음, 생성된 주색상 모델을 이용하여 새롭게 입력되는 애니메이션 캐릭터의 얼굴 영역과 눈 영역을 추출한 후, 추출된 영역으로부터 기준 좌표계와 대상 좌표계를 설정한다. 그리고 이 두 좌표계의 기하학적인 관계를 이용하여 애니메이션 캐릭터 얼굴이 x축, y축, z축 방향으로 3차원적으로 회전한 정보를 추출한다. 마지막으로, 추출된 3차원 회전정보를 시각적으로 용이하게 확인하기 위해서 3차원의 얼굴 모델에 회전정보를 반영하여 화면에 표현한다.
본 논문에서는 얼굴이 원형체라고 가정하고, 애니메이션 캐릭터로부터 3가지 영역, 즉 머리카락 영역, 눈 영역, 그리고 입, 코 등 얼굴 구성요소를 제외한 나머지 얼굴 영역을 추출한다. 본 논문에서는 각 영역을 추출하기 전에 먼저 수동으로 그림 3과 같이 각 영역의 색상을 학습한다. 즉, 해당되는 영역에서 사각형을 그리고, 그려진 사각형 안에 포함된 RGB 칼라값을 추출한다.
Chair는 머리카락에 대한 주요 색상값들을 나타내고, Ceye는 눈 영역에 대한 주요 색상 값들을 나타내며, Cface는 얼굴의 구성요소를 제외한 나머지 얼굴 영역에 대한 주요 색상 값들을 나타낸다. 제안된 방법에서는 각 영역별로 색상을 클러스터링한 후 가장 분포가 놓은 색상 값을 사용한다. 식 (1)에서 i, j, k 값은 각 영역의 주요 색상의 개수를 의미하며, 보통 5가지 이하의 색상을 사용한다.
상하로 이동한 정도를 이용하여 얼굴의 상하회전 정도를 측정한다. 그리고 대상 좌표계의 세로축이 기울어져 있는 정도로 얼굴의 기울어진 정도를 측정한다.
상하로 이동한 정도를 이용하여 얼굴의 상하회전 정도를 측정한다. 그리고 대상 좌표계의 세로축이 기울어져 있는 정도로 얼굴의 기울어진 정도를 측정한다. 식 (2), (3), (4)는 얼굴의 회전정보를 추출하는 식을 나타낸다.
본 논문에서는 2차원인 애니메이션 캐릭터 얼굴의 기하학적인 정보를 효과적으로 분석하여 3차원상의 회전 정도를 측정하였다. 애니메이션 캐릭터 얼굴로부터 측정한 3차원의 회전정보가 정확한지를 정량적으로 검증하기가 현실적으로 어렵기 때문에 판정인 50인을 임의로 선정하여 회전정보 측정의 결과를 매우 좋음, 좋음, 보통, 나쁨, 매우 나쁨의 다섯 단계로 구분하여 정성적으로 정확도를 평가하였다.
본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터 얼굴을 추출한 후 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안하였다. 제안된 시스템은 처음으로 입력되는 애니메이션 캐릭터 얼굴을 받아들여 얼굴과 얼굴의 주요 구성요소들의 주요 색상을 학습하고, 이를 주색상 모델로 생성한다.
대상 데이터
또한, 입력으로 사용된 실험영상으로는 해상도가 640×480이고, 초당 프레임 수가 23.976이며, 편당 24분짜리 애니메이션 영상 3편을 사용하였다.
본 논문의 실험을 위하여 사용한 컴퓨터는 인텔 Pentium-4의 3.0GHz CPU와 1GB의 메모리를 사용하였고, 운영체제로는 마이크로소프트사의 Windows XP Professional을 사용하였다. 그리고 소프트웨어 구현을 위한 컴파일러로는 마이크로소프트사의 Visual Studio C++ 6.
후속연구
향후 연구로는 애니메이션 캐릭터 얼굴의 3차원 회전정보 추출의 정확도를 한층 개선할 수 있는 방안을 강구하고, 이를 보다 효과적으로 화면에 표현하기 위한 실감형 3차원 얼굴 모델을 생성할 계획이다. 또한, 애니메이션 캐릭터 얼굴의 표정을 인식할 수 있는 방법도 연구할 예정이다.
향후 연구로는 애니메이션 캐릭터 얼굴의 3차원 회전정보 추출의 정확도를 한층 개선할 수 있는 방안을 강구하고, 이를 보다 효과적으로 화면에 표현하기 위한 실감형 3차원 얼굴 모델을 생성할 계획이다. 또한, 애니메이션 캐릭터 얼굴의 표정을 인식할 수 있는 방법도 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
애니메이션 콘텐츠가 급속히 보급되고 있는 이유는 무엇인가?
최근들어 문화산업이 발전함에 따라 애니메이션 콘텐츠가 급속히 보급되고 있다. 본 논문에서는 사람의 얼굴 영상 대신 2차원의 애니메이션 캐릭터 영상을 효과적으로 분석하여 캐릭터의 얼굴을 추출한 후, 3차원적인 얼굴의 회전정보를 측정하고, 이를 3차원 얼굴 모델로 표현하는 방법을 제안한다.
사람의 얼굴 영역을 검출하고 그 위치를 찾기 위한 방법으로서 어떤 방법이 가장 많이 연구되는가?
이런 기존의 얼굴영역이나 특징을 추출하는 많은 방법들은 대부분 사람을 대상으로 하였으며, 이 방법들을 캐릭터에 그대로 적용하여 연구하기에는 많은 무리가 있다. 예를 들어, 사람의 얼굴 영역을 검출하고, 그 위치를 찾기 위한 방법으로서 피부색상 모델을 이용하는 방법이 가장 많이 연구된다. 그러나 애니메이션 캐릭터는 사람의 얼굴과 달리 모든 캐릭터가 어떠한 범위 내에서 공통적으로 색상분포를 가지지 못하므로, 애니메이션 캐릭터 얼굴을 표현하는 공통의 피부영역 모델을 정의할 수 있는 일정한 범위를 추출하기 어렵다.
본 논문에서 애니메이션 캐릭터 얼굴의 3차원의 회전정보를 추출하기 위하여 어떤 좌표계를 설정하는가?
이를 위해 본 논문에서는 먼저 2개의 좌표계를 설정한다. 첫째, 이전 단계에서 추출한 애니메이션 캐릭터의 얼굴 영역을 포함하는 최소 포함 사각형의 중심을 기준으로 가로 및 세로 방향으로 서로 직교하는 직선을 그리고, 이를 회전정보 추출을 위한 기준 좌표계로 설정한다. 둘째, 애니메이션 캐릭터의 두 눈의 중심을 연결하는 직선과 이 직선을 수직 이등분하는 직선을 그리고, 이를 3차원 회전정보 추출의 대상 좌표계로 설정한다. 이와 같이 설정한 2개의 좌표계를 이용하여 얼굴의 3차원적인 회전정보를 측정한다.
참고문헌 (9)
J.-H. Kim, "A Study on the Key Elements for Facial Expression in Animation Character," In Proceedings of the Spring Conference of the Korea Institute of Design, pp. 268-269, 2006.
T. C. Chang, T. S. Huang, and C. Novak, "Facial Fe ature Extraction from Color Images," In Proceedings of the IEEE International Conference on Pattern Recognition, Vol. 2, pp. 39-43, 1994.
S. Mallick and M. Trivedi, "Parametric Face M deling and Affect Synthesis," In Proceedings of the International Conference onMultimedia and Expo, Vol. 1, pp. 225-228, July 2003.
Y. Wang, H. Ai, B. Wu, and C. Huang, "Real Time Facial Expression Recognition with Adaboost," In Proceedings of the IEEE International Conference on Pattern Recognition, Vol. 3, pp. 926-929, 2004.
A.-N. Ansari and M. Abdel-Mottaleb, "Automatic Facial Feature Extraction and 3D Face Modeling Using Two Orthogonal Views with Application to 3D Face Recognition," Pattern Recognition, Vol. 38, No. 12, pp. 2549-2563, 2005.
S. Karunaratne and H. Yan, "Modelling and Com bining Emotions, Visual Speech and Gestures in Virtual Head Models," Pattern Recognition, Vol. 21, No. 5, pp. 429-449, 2006.
X. Zhang and Y. Gao, "Face Recognition Across Pose," Pattern Recognition, Vol. 42, No. 11, pp. 2876-2896, November 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.