최근 급속한 HCI(Human-Computer Interaction) 및 감시 기술의 발달로, 얼굴영상을 처리하는 다양한 시스템들에 대한 관심이 높아지고 있다. 그러나 이런 얼굴영상을 처리하는 시스템들에 대한 연구는 주로 얼굴인식이나 얼굴 표정분석과 같은 분야에 집중되었고, 얼굴의 방향성 검출과 같은 분야에는 많은 연구가 수행되지 못하였다. 본 논문은 두 눈썹과 아래 입술로 구성된 얼굴삼각형(Facial Triangle)이라는 특징을 이용하여 얼굴의 방향성을 쉽게 측정하는 방법을 제안한다. 특히, 하나의 이미지만을 사용하여 얼굴의 수평 회전각과 수직 회전각을 구하는 간단한 공식을 소개한다. 수평회전각은 좌 우 얼굴삼각형간의 면적비율을 이용하여 계산하고, 수직회전각은 얼굴삼각형의 밑변과 높이 비율을 이용하여 계산한다. 실험을 통해, 제안하는 방법은 오차범위 ${\pm}1.68^{\circ}$ 내에서 수평회전각을 구할 수 있었고, 수직회전각은 회전각이 증가할수록 오류가 줄어드는 경향을 보여주었다.
최근 급속한 HCI(Human-Computer Interaction) 및 감시 기술의 발달로, 얼굴영상을 처리하는 다양한 시스템들에 대한 관심이 높아지고 있다. 그러나 이런 얼굴영상을 처리하는 시스템들에 대한 연구는 주로 얼굴인식이나 얼굴 표정분석과 같은 분야에 집중되었고, 얼굴의 방향성 검출과 같은 분야에는 많은 연구가 수행되지 못하였다. 본 논문은 두 눈썹과 아래 입술로 구성된 얼굴삼각형(Facial Triangle)이라는 특징을 이용하여 얼굴의 방향성을 쉽게 측정하는 방법을 제안한다. 특히, 하나의 이미지만을 사용하여 얼굴의 수평 회전각과 수직 회전각을 구하는 간단한 공식을 소개한다. 수평회전각은 좌 우 얼굴삼각형간의 면적비율을 이용하여 계산하고, 수직회전각은 얼굴삼각형의 밑변과 높이 비율을 이용하여 계산한다. 실험을 통해, 제안하는 방법은 오차범위 ${\pm}1.68^{\circ}$ 내에서 수평회전각을 구할 수 있었고, 수직회전각은 회전각이 증가할수록 오류가 줄어드는 경향을 보여주었다.
The recent rapid development of HCI and surveillance technologies has brought great interests in application systems to process faces. Much of research efforts in these systems has been primarily focused on such areas as face recognition, facial expression analysis and facial feature extraction. How...
The recent rapid development of HCI and surveillance technologies has brought great interests in application systems to process faces. Much of research efforts in these systems has been primarily focused on such areas as face recognition, facial expression analysis and facial feature extraction. However, not many approaches have been reported toward face direction detection. This paper proposes a method to detect the direction of a face using a facial feature called facial triangle, which is formed by two eyebrows and the lower lip. Specifically, based on the single monocular view of the face, the proposed method introduces very simple formulas to estimate the horizontal or vertical rotation angle of the face. The horizontal rotation angle can be calculated by using a ratio between the areas of left and right facial triangles, while the vertical angle can be obtained from a ratio between the base and height of facial triangle. Experimental results showed that our method makes it possible to obtain the horizontal angle within an error tolerance of ${\pm}1.68^{\circ}$, and that it performs better as the magnitude of the vertical rotation angle increases.
The recent rapid development of HCI and surveillance technologies has brought great interests in application systems to process faces. Much of research efforts in these systems has been primarily focused on such areas as face recognition, facial expression analysis and facial feature extraction. However, not many approaches have been reported toward face direction detection. This paper proposes a method to detect the direction of a face using a facial feature called facial triangle, which is formed by two eyebrows and the lower lip. Specifically, based on the single monocular view of the face, the proposed method introduces very simple formulas to estimate the horizontal or vertical rotation angle of the face. The horizontal rotation angle can be calculated by using a ratio between the areas of left and right facial triangles, while the vertical angle can be obtained from a ratio between the base and height of facial triangle. Experimental results showed that our method makes it possible to obtain the horizontal angle within an error tolerance of ${\pm}1.68^{\circ}$, and that it performs better as the magnitude of the vertical rotation angle increases.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 컴퓨터 비전 및 이미지 처리 기술에 기반하여, 하나의 이미지만을 사용하여 간단하게 얼굴 방향성을 측정하는 방법을 제안한다. 특히, 두 개의 눈썹과 아래 입술로 이루어진 얼굴 삼각형이라는 특징을 이용하여, 얼굴의 수평 회전각과 수직 회전각을 쉽게 검출할 수 있는 계산식을 소개한다.
본 절에서는 위에서 구한 얼굴 삼각형에 기반하여 얼굴 회전각을 측정하는 방법을 기술한다. [그림 5(a)]는 얼굴의 수평 회전 각을 검출하기 위한 기하학적 모델이고, [그림 5(b)]는 수직 회전각을 검출하기 위한 기하학적 모델이다.
본 논문에서는 얼굴 삼각형이라는 특징에 기반하여, 하나의 입력 영상만을 사용하여 얼굴의 방향성을 측정하는 간단한 방법을 제안하였다. 얼굴 삼각형 구축을 위해 두 개의 눈썹과 아래 입술을 주요 특징점으로 사용하였고, 위 특징점 들을 사용하여 가상의 3개의 얼굴 축을 또한 구축하였다.
가설 설정
문제점을 간략하게 기술한다. 먼저 국외에서 발표된 연구논문들 중, Gee 방법은 얼굴을 나타내는 3개의 모델 비율(model ratio)을 사용함으로써 얼굴에 대한 특수한 모델을 가정하였다[6]. Gee가 사용한 3개의 모델 비율은 구체적으로 Rm=Lm/Lf, Rn=Ln/Lf, Re=Le/Lf 이었는데, 여기서 Lf는 두 눈을 연결하는 수평축과 입을 통과하는 수평축간의 거리, 是는 코밑에서 코끝까지의 높이, I* 는 두 눈 사이의 수평 거리, Lm는 입과 코밑까지指 거리를 각각 나타낸다.
여기서, 얼굴 이미지는 아래쪽에서 시작하여 위쪽으로 스캐닝 된다고 가정한다. 그러면 Z[은 각 라인을 왼쪽에서 오른쪽으로 스캐닝 할 때, 처음으로 만나는 백색점의 위치를 나타내고, A는 라인의 스캐닝 방향이 오른쪽에서 왼쪽으로 반대로 바뀌었을 때, 만나게 되는 첫 번째 백색 점의 위치를 나타낸다.
위치를 나타낸다. 또한 위 세 점이 카메라 이미지 평면에 각각 &, 瓦, 1% 로 매핑(mapping) 된다고 가정흐]■자. 그러면, 머리가 수평 방향으로 임의의 각 九 만큼 회전 하였을 때, 4), Bo, N。는 각각 새로운 위치인 &, 耳, N、로 이동하게 된다.
제안 방법
방향성을 측정하는 방법을 제안한다. 특히, 두 개의 눈썹과 아래 입술로 이루어진 얼굴 삼각형이라는 특징을 이용하여, 얼굴의 수평 회전각과 수직 회전각을 쉽게 검출할 수 있는 계산식을 소개한다. 본 논문에서 제안하는 방법은 사람의 얼굴 구조에 대한 특별한 가정이 없을 뿐만 아니라, 실험을 통해 매우 정확하게 얼굴 회전각을 측정할 수 있음을 알 수 있었다.
같은 방법으로 오른쪽 카메라의 스테레오 이미지에서도 두 눈과 입을 검출하고, 각각의 2D 평면상의 좌표값을 구하였다. 이렇게 좌우 카메라의 서로 대응하는 특징점들의 2D 평면상의 좌표 값을 알고, 카메라의 초점거리와 좌 .
된다. 이런 작업을 수행하는 다양한 영역 분할 알고리즘들이 이미 많이 개발되어 있지만, 본 논문에서는 Fleck〔16, l기이 사용했던 스킨필터를 적용하여 입력 이미지로부터 얼굴영상을 추출한다. 이후 추출된 얼굴 영상에 Sobel 연산자와 같은 미분 연산자(gradient operatorX 적용하여 에지 (edge)를 검출하고, 검출된 에지를 담고 있는 에지맵(edge map)을 이진영상 (binary image)으로 만든 후, 최종적으로 잡음 (noise) 제거 방법을 사용하여 이진영상에 존재하는 잡음을 제거한다.
이런 작업을 수행하는 다양한 영역 분할 알고리즘들이 이미 많이 개발되어 있지만, 본 논문에서는 Fleck〔16, l기이 사용했던 스킨필터를 적용하여 입력 이미지로부터 얼굴영상을 추출한다. 이후 추출된 얼굴 영상에 Sobel 연산자와 같은 미분 연산자(gradient operatorX 적용하여 에지 (edge)를 검출하고, 검출된 에지를 담고 있는 에지맵(edge map)을 이진영상 (binary image)으로 만든 후, 최종적으로 잡음 (noise) 제거 방법을 사용하여 이진영상에 존재하는 잡음을 제거한다.
마지막으로 얼굴 회전각 측정 단계에서는, 전 단계에서 구축한 얼굴 삼각형을 실측하여 필요한 데이터를 구하고, 실측 데이터를 본 논문에서 제안하는 얼굴 회전각 측정 공식의 입력으로 사용하여, 최종적으로 얼굴의 회전각을 계산하게 된다.
즉, 미분값의 크기가 특정 임계값보다 크면 백색 화소로 처리하고, 그러지 않으면 검정색 화소로 처리한다. 그러나 영상의 히스토그램 분석을 통해서는 정확한 임계값 설정이 어렵기 때문에, 본 논문에서는 경험론적 임계치인 150 전후 값을 사용하여 이진화를 수행한다.
측정하는 간단한 방법을 제안하였다. 얼굴 삼각형 구축을 위해 두 개의 눈썹과 아래 입술을 주요 특징점으로 사용하였고, 위 특징점 들을 사용하여 가상의 3개의 얼굴 축을 또한 구축하였다. 여기서, 3개의 얼굴 축은 두 눈썹을 연결하는 수평축, 아래 입술의 중앙을 직각으로 관통하는 두 개의 수평축과 수직축으로 이루어진다.
구축된 얼굴 삼각형에 기반하여, 얼굴의 수평 회전 각과 수직 회전각을 계산하는 간단한 공식을 유도하였다. 논문에서 제안하는 방법은 사람의 얼굴 구조에 대한 특별한 가정이 없을 뿐만 아니라, 실험을 통해 상당히 정확하게 얼굴 회 전각을 측정할 수 있음을 알게 되었다.
대상 데이터
그러나 이 방법은 포즈를 정면 포즈, 좌회전 포즈, 우회전 포즈의 3가지 경우로만 추정하여 판별하였고, 수직 방향 얼굴회전과 관련한 포즈는 판별하지 못하였다. 게다가, 이 방법은 포즈 추정을 위해서 3000개(각 포즈별로 1000개씩) 이상의 포즈 학습 데이터를 필요로 하였다. 마지막으로, 논문 [15]에서는 몇 명의실험자 얼굴을 통계적 방법으로 처리하여, 수평 방향의 얼굴 회전각을 검출하는 식을 유도하고 있다(수직 방향의 얼굴 회전각은 검출하지 못하고 있다).
실험을 위한 얼굴 영상은 캐논 IXUS 400 디지털 카메라를 사용하여 획득하였다. 10 명의 실험자 얼굴을 사용하였고, 각 실험자마다 13개의 수평 회전(0, ±15, ±30, ±45, ±60, ±75, ±90) 이미지와 10개의 수직 회전(0, ±10, +20, ±30, ±40, 50) 이미지를 획득하였다.
사용하여 획득하였다. 10 명의 실험자 얼굴을 사용하였고, 각 실험자마다 13개의 수평 회전(0, ±15, ±30, ±45, ±60, ±75, ±90) 이미지와 10개의 수직 회전(0, ±10, +20, ±30, ±40, 50) 이미지를 획득하였다. [표 2]는 실험에 사용된 10명의 실험자 얼굴과 수평 및 수직회전 측정을 위한 샘플 입력영상을 보여주고 있다.
이론/모형
본 논문에서는 Fleck의 스킨필테16, 17]를 사용하여 입력영상으로부터 얼굴 영역을 검출한다. 이 방법은 먼저 영상의 R, G, B 값을 로그-보색 칼라표현 (log-opponent color representation) 값인 I, Rg, By으로 변환시킨다.
"는 상수로서 2/3을 사용하였다. 위 식에서 우리는 d = ckeck 관계식을 사용하였다. 왜냐하면, 수평 선분인 而는 수직 회전각에 상관없이 일정한 길이를 유지하기 때문이다 (즉, c = E).
성능/효과
특히, 두 개의 눈썹과 아래 입술로 이루어진 얼굴 삼각형이라는 특징을 이용하여, 얼굴의 수평 회전각과 수직 회전각을 쉽게 검출할 수 있는 계산식을 소개한다. 본 논문에서 제안하는 방법은 사람의 얼굴 구조에 대한 특별한 가정이 없을 뿐만 아니라, 실험을 통해 매우 정확하게 얼굴 회전각을 측정할 수 있음을 알 수 있었다.
수 있을 것으로 생각된다. 본 논문에서 새롭게 제안하는 얼굴 방향성 측정 방법과 기존 방법 간의 비교는 (표 1)에 잘 나타나 있다. 그리고 기존 방법에 관한 자세한 설명은 다음 절에 잘 나타나 있다.
이런 사인 곡선 관계는 식 (1)에서 제시 한식이 얼굴의 수평 회전 각도를 측정하는데, 충분히 신뢰할 수 있는 수식임을 뒷받침하고 있다. 좀더 자세한 오류 분석과 실험 결과에 따르면, 본 논문에서 제안한 방법을 사용하여 R代"는 오차 범위 ±0.086% 범위 내에서 구할 수 있었으며, 수평 회전각은 오차 범위 ±1.68° 범위 내에서 구할 수 있었다.
눈썹이 분명하게 보이는 경우에 비교하여, 눈썹이 부분적으로 가려지는 경우는 실제로 얼굴의 회전각 측정에 미소한 오류가 발생하였다. 실험결과에 의하면, 안경을 낀 경우에는 을 ±0.098% 오차범위 내에서 구할 수 있었으며, 긴 머리를 가진 경우에는 을 ±0.19% 오차범위 내에서 구할 수 있었다 (이전 문단에서 언급한 것처럼, 정상적인 실험자의 경우에는 凡, 財을 ±0.086% 오차범위 내에서 구할 수 있었다). 하지만, 이런 정도의 오류는 얼굴의 회전각을 측정하는데 큰 영향을 주지는 못하였다.
논문에서 제안하는 방법은 사람의 얼굴 구조에 대한 특별한 가정이 없을 뿐만 아니라, 실험을 통해 상당히 정확하게 얼굴 회 전각을 측정할 수 있음을 알게 되었다. 제안된 얼굴 방향성 측정 기술은 인물 사진 자동 정렬, 유사한 방향성을 가진 얼굴 찾기, 헤드 제스처 인식 등과 같은 다양한 HCI 응용 분야에서 널리 유용하게 사용될 수 있으리라고 생각한다.
후속연구
제안된 얼굴 방향성 측정 기술은 인물 사진 자동 정렬, 유사한 방향성을 가진 얼굴 찾기, 사람이 머리를 좌우 또는 상하로 의도적으로 움직이는 상황을 자동으로 인식하는 헤드 제스처 (head gesture) 인식기술 등과 같은 다양한 HCI 응용 분야에서 유용하게 사용될 수 있을 것으로 생각된다. 본 논문에서 새롭게 제안하는 얼굴 방향성 측정 방법과 기존 방법 간의 비교는 (표 1)에 잘 나타나 있다.
그러나 머리를 좌우로움직 이는 제스처는 head shake 라고 부르는데 반대나 부정을 표시할 때 많이 사용된다. 본 논문에서 제안하는 얼굴의 수직/수평 방향성을 측정하는 방법은 이와 같은 head nod 또는 head shake를 인식하는데도 유용하게 사용될 수 있다. 또한, 제안된 방법은 인물 사진 자동 정렬이나 유사한 방향성을 가진 얼굴 찾기 등과 같은 다양한 응용 분야에서도 편리하게 사용될 수 있다.
본 논문에서 제안하는 얼굴의 수직/수평 방향성을 측정하는 방법은 이와 같은 head nod 또는 head shake를 인식하는데도 유용하게 사용될 수 있다. 또한, 제안된 방법은 인물 사진 자동 정렬이나 유사한 방향성을 가진 얼굴 찾기 등과 같은 다양한 응용 분야에서도 편리하게 사용될 수 있다. 여기서, 인물 사진 자동 정렬이란 사진에 찍힌 얼굴의 방향성에 따라 사진의 죄우/상하 마진을 자동으로 설정하는 기능을 말한다.
논문에서 제안하는 방법은 사람의 얼굴 구조에 대한 특별한 가정이 없을 뿐만 아니라, 실험을 통해 상당히 정확하게 얼굴 회 전각을 측정할 수 있음을 알게 되었다. 제안된 얼굴 방향성 측정 기술은 인물 사진 자동 정렬, 유사한 방향성을 가진 얼굴 찾기, 헤드 제스처 인식 등과 같은 다양한 HCI 응용 분야에서 널리 유용하게 사용될 수 있으리라고 생각한다.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.