본 논문에서는 입력영상에서 적응적으로 피부색상 모델을 생성하여 얼굴을 탐지하는 방법을 제안한다. 제안하는 방법의 기본적인 절차는 먼저 눈의 특징을 인공신경망에 적용하여 눈 후보를 찾은 후, 그 주변의 색상을 이용하여 피부영역의 색상값 분포를 찾는다. 그 다음은 피부영역으로 검출된 색상값 분포를 이용하여 얼굴영역을 산출하고, 해당 얼굴영역 내에서 입 후보를 찾아 눈 후보와 입 후보의 구조적인 관계가 얼굴 구조와의 일치여부를 판단하여 얼굴영역을 검증하는 과정을 거친다. 이 방법은 눈을 찾아서 피부영역을 적응적으로 검출하기 때문에 기존의 얼굴탐지 방법들의 문제인 피부색상의 왜곡으로 인한 오검출을 해결하였다. 실험은 눈 탐지와, 피부 탐지, 입 탐지, 얼굴탐지에 대해 각각 수행하였다. 실험을 통하여 기존의 주요 방법들 보다 우수한 결과를 보였다.
본 논문에서는 입력영상에서 적응적으로 피부색상 모델을 생성하여 얼굴을 탐지하는 방법을 제안한다. 제안하는 방법의 기본적인 절차는 먼저 눈의 특징을 인공신경망에 적용하여 눈 후보를 찾은 후, 그 주변의 색상을 이용하여 피부영역의 색상값 분포를 찾는다. 그 다음은 피부영역으로 검출된 색상값 분포를 이용하여 얼굴영역을 산출하고, 해당 얼굴영역 내에서 입 후보를 찾아 눈 후보와 입 후보의 구조적인 관계가 얼굴 구조와의 일치여부를 판단하여 얼굴영역을 검증하는 과정을 거친다. 이 방법은 눈을 찾아서 피부영역을 적응적으로 검출하기 때문에 기존의 얼굴탐지 방법들의 문제인 피부색상의 왜곡으로 인한 오검출을 해결하였다. 실험은 눈 탐지와, 피부 탐지, 입 탐지, 얼굴탐지에 대해 각각 수행하였다. 실험을 통하여 기존의 주요 방법들 보다 우수한 결과를 보였다.
In this paper, we propose a method about producing skin color model adaptively in input image and face detection. The principle process which we proposed is finding eyes candidates by applying the eye features to neural network, and then using the around color to find the distribution of color value...
In this paper, we propose a method about producing skin color model adaptively in input image and face detection. The principle process which we proposed is finding eyes candidates by applying the eye features to neural network, and then using the around color to find the distribution of color value. There will be a verification process that producing face region by using color value distribution which is detected as skin region and find mouth candidate in corresponding face region; if eye candidate and mouth candidate's connection structure is similar with face structure, then it can be judged as a face. Because this method can detect skin region adaptively by finding eyes, we solve the rate of false positive about the distorted skin color which is used by existing face detection methods. The experiment was performed about detecting the eye, the skin, the mouth and the face individually. The results revealed that the proposed technique is better than the traditional techniques.
In this paper, we propose a method about producing skin color model adaptively in input image and face detection. The principle process which we proposed is finding eyes candidates by applying the eye features to neural network, and then using the around color to find the distribution of color value. There will be a verification process that producing face region by using color value distribution which is detected as skin region and find mouth candidate in corresponding face region; if eye candidate and mouth candidate's connection structure is similar with face structure, then it can be judged as a face. Because this method can detect skin region adaptively by finding eyes, we solve the rate of false positive about the distorted skin color which is used by existing face detection methods. The experiment was performed about detecting the eye, the skin, the mouth and the face individually. The results revealed that the proposed technique is better than the traditional techniques.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 범위를 모두 수렴하기 위해 피부색의 탐지 분포를 크게 하면 나무, 돌, 동물의 가죽 등 배경영역의 잡음이 피부영역으로 검출되는 경우가 발생하며, 탐지 범위를 좁히면 피부 영역이 검출되지 않는 경우가 발생한다. 따라서 본 논문에서는 눈 주변영역의 피부색 분포를 이용하여 얼굴의 피부색을 탐지하는 적응적 피부영역 검출방법을 사용하여 얼굴 영역 후보로 사용될 피부영역을 검출한다.
본 논문에서는 눈과 함께 입을 이용하여 얼굴 후보영역이 얼굴임을 검증한다. 입을 검출하기 위한 방법으로는 耳su[기가 제안한 LipMap을 사용한다.
본 논문에서는 눈을 탐지하고 해당 눈 주변영역에서 피부색 샘플을 추출하여 추출된 샘플과 유사한 색상특징을 갖는 영역을 피부영역으로 사용하고 해당 영역에서 입을 찾아 얼굴을 검증하는 방식으로 기존의 구성요소 기반 얼굴탐지 방법의 문제점인 피부색의 왜곡에 의한 오 탐지율 증가 문제를 해결한 강건한 탐지 방법을 제안한다.
대입하여 학습과 최종 눈 후보 탐지를 수행한다. 본논문에서는 잡음의 효과적인 제거를 위하여 잡음영역에 대해서도 동일한 방법으로 학습데이터를 산출하였다. 인공신경망의 구조는 입력노드 4개, 은닉노드 12개, 출력 노드 1개로 그림 5와 같이 구성되어 있다.
하지만 기존의 방법은 피부 영역 이잘 추출되지 않는 저해상도 영상 및 다양한 색의 조명에서 촬영한 영상에서는 좋은 결과를 얻기 힘들어 구성요소 기반 얼굴탐지 방법의 여러 장점에도 불구하고 다른 얼굴탐지 방법에 비해 응용되는 경우가 적었다. 본연구는 적응적 펴부영역 검출 방법을 이용하여 피부색이 잘 추출되지 않는 영상에서도 강건하게 얼굴을 탐지하는 방법을 목표로 하였으며, 따라서 기존의 피부검출 방법인 단순히 색샹에 임계값을 적용하여 피부영역 탐지하는 방법을 탈피하고, 눈을 이용하여 해당 인물의 피부색을 추출’ 추출된 피부색을 바탕으로 얼굴 후보영역을 생성하고 얼굴을 탐지하는 방법을 제안하였다. 실험 결과 기존의 방법과는 다르게 조명, 개인차로 인해 피부 영역이 제대로 검출되지 않는 영상과 피부색과 유사한 배경을 가지고 있는 영상에서도 우수한 성능을 보여주었다.
제안 방법
인공신경망의 구조는 입력노드 4개, 은닉노드 12개, 출력 노드 1개로 그림 5와 같이 구성되어 있다. 눈 영역의 특징 데이터는 목표값을 1, 잡음영역의 특징 데이터는 목표값을 0으로 설정하여 탐지과정 결과 1개의 출력층에서 0~1 사이의 값을 출력함으로써 정확도를 백분율로 산출할 수 있도록 하였다. 따라서 학습 과정을 거쳐 가중치가 눈 영역 탐지에 적합하게 변경된 인공신경망을 생성한 후, 식 (5)〜(8)을.
할 수 있다. 따라서 눈의 특징을 이용하여 1차적으로 후보를 선별한 후, 오탐지율을 낮추기 위하여 인공신경망을 이용한 검증 단계를 추가하였다.
이러한 경우 얼굴로 검증되었다고 볼 수 있지만, 정확하게 눈과 입을 가리키는 삼각형을 제외한 다른 삼각형들은 눈 후보 대신 눈썹이나, 모발의 일부를 가리키고 있으며, 눈이나 입의 정보가 추가적으로 필요한 프로그램에 응용 시 문제점이 발생한다. 따라서 본 논문에서는 식 (16)을 이용하여 하나만 선택하는 방법을 제안한다. tc는 삼각형의 무게중심, sc는 얼굴 후보영역의 무게중심을 의미한다.
하지만 실제로 측정해본 결과 눈과 입을 연결한 구조는 정확한 정삼각형으로 볼 수 없으며, 개인차, 표정, 얼굴의 회전 등으로 인해 조금씩 다른 모습을 보인다. 때문에 본 논문에서는 직선 瓦瓦의 길이에 상수 a 와 Q를 곱하여 삼각형 구조의 범위를 설정하였다. 본 논문에서는 a =1.
하지만 기존의 방법은 얼굴이 아닌 배경영역에서 오탐지 하는 경우, 예를 들면 염색한 모발영역에서 에지가 강한 부분을 눈으로 인식하거나, 배경의 광고판에서 검은 글씨를 눈, 빨간 글씨를 입으로 탐지하는 경우가 발생하였다. 반면에 제안한방법은 인공신경망에서 눈의 특징을 이용하여 후보를 상당수 단축하고, 적응적 피부영역 검출방법을 사용하여 피부 영역이 비교적 정확하게 검출되었기 때문에 이러한 문제점들을 상당수 해결하였다.
본 논문에서는 얼굴영역을 탐지하기 위해 피부 영역을 검출하여 사용한다. 이러한 피부영역을 검출하는 기존의 방법은 대부분이 색상을 이용하는 방법이다.
본 논문에서는 얼굴탐지에 대한 실험 뿐만 아니라 기존의 방법과 제안한 방법의 차이를 자세히 알 수 있도록 눈 후보 탐지 성능평가와 피부영역 탐지 성능평가, 입 후보 탐지 성능평가를 각각 수행하였다.
바탕으로 얼굴탐지방법을 제안하였다. 본 논문에서는 이러한 삼각형 구조 기반 특징을 개선한 방법을 이용하여 얼굴을 검증하는 방법을 사용한다.
결과이다. 실험영상은 얼굴이 존재하는 영상 과오탐지율을 측정하기 위해 얼굴이 존재하지 않는 자연 영상 두 개로 나누어 실험하였다. 기존의 방법, 제안한 방법 모두 높은 탐지율을 보였다.
우선 1차 눈 후보를 선별하기 위하여 눈과 그 주변의 명암 대비를 이용한 방법과 눈의 색상 특징을 이용한 방법을 사용한다. 이러한 특징을 이용하여 눈을 찾는 방법으로는 Hsu[기가 제안한 EyeMap이 있다.
이렇게 추출된 ESM, BSM, CLR, SSR을 인공신경망에 대입하여 학습과 최종 눈 후보 탐지를 수행한다. 본논문에서는 잡음의 효과적인 제거를 위하여 잡음영역에 대해서도 동일한 방법으로 학습데이터를 산출하였다.
신경망을 특정한 목적으로 사용하기 위해서는 가중치를 목적에 맞게 변경해 주어야 하며, 신경망의 입력값에 실제 출력값을 유도하는 목표값을 적용하여, 실제 출력값과 목표값의 오차를 최소화하기 위해 가중치를 수정하는 일련의 과정을 학습이라 한다. 학습 및 인식을 위해 인공신경망에 입력되는 눈 후보영역의 특징은 총 4개이며 그림 3 과 같은 눈 후보영역의 최소경계사각형과 최소경계 사각형의 3배에 해당하는 주변영역에서의 명암값과 에지 개수를 이용하여 산출한다. 특징은 식 (5)를 이용하여 눈 후보영역 내부의 에지의 개수를 눈 후보영역 외부, 즉 피부 영역의 에지의 개수와 나누어 정규화한 값 ESM과식 (6)을 이용하여 눈 후보영역 최소경계사각형 내부의 최대 명암값을 최소 명암값으로 나누어 정규화한 값 BSM, 식 (7)을 이용하여 눈 후보영역의 장축과 단축의 비율 CLR, 식 (8)을 이용하여 눈 후보영역 외부의 에지를 팽창연산시킨 후, 에지영역이 아닌 영역의 Cr값의 평균과 Cb값의 평균을 차연산한 값 SSR을 각각 산출하여 사용한다.
대상 데이터
인공신경망의 학습에 사용된 데이터는 눈 영역에서 추출한 데이터 200개와 잡음영역에서 추출한 데이터. 50 개를 5000회 반복 학습시켜 사용하였다.
본 논문은 전체 7장으로 구성되어 있다. 1장에서는 연구 배경 및 목적, 관련된 연구와 제안하는 방법에 대해서 설명하고, 2장에서는 눈의 특징과 인공신경망을 이용하여 눈 후보영역을 찾는 방법에 대해 설명한다.
6을 사용하였다. 실험영상으로는 인터넷을 이용하여 수집한 인물영상 337장과 인물이 없는 자연영상 81장, 자체적으로 촬영한 인물영상 124장으로 구성하였다. 인공신경망의 학습에 사용된 데이터는 눈 영역에서 추출한 데이터 200개와 잡음영역에서 추출한 데이터.
실험영상으로는 인터넷을 이용하여 수집한 인물영상 337장과 인물이 없는 자연영상 81장, 자체적으로 촬영한 인물영상 124장으로 구성하였다. 인공신경망의 학습에 사용된 데이터는 눈 영역에서 추출한 데이터 200개와 잡음영역에서 추출한 데이터. 50 개를 5000회 반복 학습시켜 사용하였다.
이론/모형
색상 특징을 이용하여 눈을 찾는 방법은 Hsu [7] 가 제안한 EyeMapC를 사용한다. EyeMapC는 식 ⑶을 이용하여 구할 수 있다.
얼굴임을 검증한다. 입을 검출하기 위한 방법으로는 耳su[기가 제안한 LipMap을 사용한다. LipMap은 입술의' 색상 특징을 이용하여 검출하는 방법으로, 식 (12) 와 같이 산출한다.
성능/효과
실험영상은 얼굴이 존재하는 영상 과오탐지율을 측정하기 위해 얼굴이 존재하지 않는 자연 영상 두 개로 나누어 실험하였다. 기존의 방법, 제안한 방법 모두 높은 탐지율을 보였다. 하지만 기존의 방법은 얼굴이 아닌 배경영역에서 오탐지 하는 경우, 예를 들면 염색한 모발영역에서 에지가 강한 부분을 눈으로 인식하거나, 배경의 광고판에서 검은 글씨를 눈, 빨간 글씨를 입으로 탐지하는 경우가 발생하였다.
기존의 방법과 제안한 방법 모두 Hsu가 제안한 Lip Map을 이용하여 입을 탐지하기 때문에 유사한 탐지율과 오탐지율을 보이지만, LipMap은 피부영역의 탐지율에 영향을 받는 〃값을 포함하기 때문에 그림 12(b)와 같이 입의 범위를 벗어나거나 미탐지한 경우가 발생하기도 하였으며 제안한 방법이 대부분의 영상에서 우수한 성능을 보인다.
얼굴영역으로 탐지된 부분은 눈과 입을 꼭지점으로 하는 삼각형이 표기되도록 하였다. 기존의 방법은 피부영역의 범위가 모발까지 포함하는 현상이 발생하여, 눈을 잘 못찾는 문제점이 발생하였으며, EyeMap 적용 시, 산출한 영역이 원래의 눈 영역을 벗어나 모발에 붙어버려 눈 영역으로 탐지하지 못하거나 모발 영역을 눈으로 인식하는 예상치 못한 결과가 나타났다. 또 한 사람의 얼굴임에도 불구하고 피부영역이 탐지되지 않아 찾지 못하거나 배경영역에서 얼굴이 탐지된 오탐지 현상도 일부 발생하였다.
따라서 식 (15)와 같이 눈과 눈을 잇는 직선 瓦瓦와 각 눈과 입을 잇는 직선 虱의 각을 산출한 후 차연산하여 나온 값이 임계각도 %in과 膈X 안에 존재하지 않으면 제거하였다. 본 논문에서는 임계각도 0min=55\ 歸x= 83, 를 사용하였다 %in 은 인종과 성별, 개인차에 의해 직선 再瓦와 직선 页爾의각도가 정확히 60 ° 가 되지 않고 ±5° 정도 차이가 존재하는 사실을 감안하여 산출하였다. % ax 는 촬영 장비 가정지해 있다는 가정하에 얼굴이 목을 기준으로 회전될 때마다 상대적으로 직선 瓦瓦와 직선 瓦瓦의 각도가 변하며 최대 835° 까지 커진다는 관찰에 근거하였다.
본연구는 적응적 펴부영역 검출 방법을 이용하여 피부색이 잘 추출되지 않는 영상에서도 강건하게 얼굴을 탐지하는 방법을 목표로 하였으며, 따라서 기존의 피부검출 방법인 단순히 색샹에 임계값을 적용하여 피부영역 탐지하는 방법을 탈피하고, 눈을 이용하여 해당 인물의 피부색을 추출’ 추출된 피부색을 바탕으로 얼굴 후보영역을 생성하고 얼굴을 탐지하는 방법을 제안하였다. 실험 결과 기존의 방법과는 다르게 조명, 개인차로 인해 피부 영역이 제대로 검출되지 않는 영상과 피부색과 유사한 배경을 가지고 있는 영상에서도 우수한 성능을 보여주었다.
수작업으로 추출한 피부영역과 탐지된 피부영역이 95% 이상 일치할 경우의 오차율을 0%로 하였다. 제안한 방법은 18.22%로 나온 반면에 제안한 방법은 오차율이 상당히 감소한 4.35%로 나온것을 볼 수 있다. 특히 조명 또는 영상처리 프로그램의 후보정으로 인해 피부가 탐지되지 않는 경우나 배경색이 피부색과 유사한 영상 등 기존 방법의 검출율이 0%에 가까운 영싱■에서도 10()% 에 가까운 우수한 탐지율을 보인다.
보여준다. 탐지율은 영상에서 눈만 탐지되었을 경우의 확률을 100%로 보고, 오탐지는 잡음 개수의 평균을 산출하였다’ 기존의 방법은 잡음을 피부영역만을 이용해서 제거하기 때문에, EyeMap만을 수행하였을 경우 상당히 많은 잡음이 나타나는 것을 볼 수 있다. 또한 그림 10(f) 와 같이 팽창연산에 의해 모발의 일부에 붙어버리는 경우 눈이라고 볼 수 없기에 탐지율이 제안한 방법에 비해 저조하였다.
35%로 나온것을 볼 수 있다. 특히 조명 또는 영상처리 프로그램의 후보정으로 인해 피부가 탐지되지 않는 경우나 배경색이 피부색과 유사한 영상 등 기존 방법의 검출율이 0%에 가까운 영싱■에서도 10()% 에 가까운 우수한 탐지율을 보인다. 이는 기존의 방법이 이미 실험과 관찰로 산출된 고정된 임계값으로 피부를 탐지하기 때문에 그림 11(b)와 같이 해당 임계값을 벗어난 피부색을 탐지하지 못하거나, 그림 11(e)와 같이 임계 값에 포함되는 배경색을 걸러낼 수 없는 반면에, 제안한 방법은 눈 주변의 피부색을 이용하여 임계값을 수정하기 때문에 피부영역을 강건히 찾으며.
후속연구
따라서 본 논문에서 제시한 방법 뿐만 아니라 다른 방법으로 특징을 산출하여 탐지하는 연구가 지속되어야 하며, EyeMap, LipMap과 같은 얼굴 구성요소 후보 영역의 산출 방법을 개선하여 녀.다 빠르고 잡음이 없이 정확하게 산출하는 방법에 대한 연구도 병행한다면, 좋은 결과가 있을 것이라 판단한다.
학습 데이터의 양을 증강시키는 것으로 어느정도 해결할 수 있지만, 보다 우수한 특징을 찾아내어 사용하는 것이 근본적인 문제 해결 방안으로 보인다. 따라서 본 논문에서 제시한 방법 뿐만 아니라 다른 방법으로 특징을 산출하여 탐지하는 연구가 지속되어야 하며, EyeMap, LipMap과 같은 얼굴 구성요소 후보 영역의 산출 방법을 개선하여 녀.다 빠르고 잡음이 없이 정확하게 산출하는 방법에 대한 연구도 병행한다면, 좋은 결과가 있을 것이라 판단한다.
참고문헌 (21)
T. Kawaguchi, and M. Rizon, "Iris detection using intensity and edge information," Pattern Recognition, vol.36, no.22, pp.549-562, 2003.
J. Song, Z. Chi, and J. Liu, "A robust eye detection method using combined binary edge and intensity information," Pattern Recognition, vol.39, no.6, pp.1110-1125, 2006.
R. Brunelli, and T. Poggio, "Face recognition: features versus templates," IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.15, no.10, pp.1042-1052, 1993.
A. Pentland, B. Moghaddam, and Thad Starner, "View-based and modular eigenspaces for face recognition," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.84-91, 1994.
P. Viola, and M. Jones, "Rapid object detection using a boosted cascade of simple features," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.511-518, 2001.
B. Froba, and A. Ernst, "Face-Detection with the Modified Census Transform," In Proceedings of the IEEE Conference on Automatic Face and Gesture Recognition, pp.91-96, 2004.
R.L. Hsu, M. Abdel-Mottaleb, "Face Detection in Color Images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.5, pp.696-706, 2002.
P. T. Jackway, "Scale-Space Properties of the Multiscale Morphological Dilation-Erosion," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.18, no.1, pp.38-51, 1996.
B. Heisele, T. Serre, M. Pontil, T. Poggio, "Component-based face detection," IEEE Conf. on Computer Vision and Pattern Recognition, vol.1, pp.657-662, 2001.
M. Abdel-Mottaleb, A. Elgammal, "Face Detection in Complex Environments from Color Images," IEEE Conf. Image Processing, pp.622-626, 1999.
J. Shih, C. Lee, and C. Yang, "An Adult Image Identification System Employing Image Retrieval Technique," Pattern Recognition Letters, vol.28, pp.2367-2374, 2007.
C. Lin, "Face Detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network," Pattern Recognition Letters, vol.28, pp.2190-2200, 2007.
S. Liapis, G. Tziritas, "Color and texture image retrival using chromaticity histogram and wavelet frames," IEEE Trans. Multimedia 6, vol.5, pp.676-686, 2004.
J. S. Lee, Y. M. Kuo, P. C. Chung, E. L. Chen, "Naked image detection based on adaptive and extensible skin color model," Pattern Recognition Society, vol.40, pp.2261-2270, 2007.
J. Song, Z Chi, J. Liu, "A robust eye detection method using combined binary edge and intensity information," Pattern Recongnition, vol.39, no.6, pp.1110-1125, 2006.
Y. J. Park, S. W. Jang, G. Y. Kim, "A Study on Extraction of Skin Region and Lip Using Skin Color of Eye Zone," Journal of KSCI, vol.14, no.4, pp.19-30, 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.