피부색 영역의 검출을 위한 기존 연구들은 영상의 각 픽셀을 피부에 속하는 픽셀(피부픽셀)과 속하지 않는 픽셀(비피부픽셀)로 나누게 된다. 이때 정확한 피부색 영역을 검출하는 작업은 영상의 조명효과 및 화장에 의한 피부색 변형 등으로 매우 어려운 작업이다. 본 논문에서는 피부 영역 검출을 어렵게 하는 여러 가지 요인을 포함한 영상들로부터 효율적으로 피부영역을 검출하기 위해 계층화된 피부 모델과 컨텍스트 정보를 통합하여 피부 영역 검출의 성능을 향상시키는 방법을 제안한다. 먼저, 획득된 영상들로부터 뽑아낸 피부색 색깔 값들의 확률분포를 YCbCr칼라 공간에 만들고, 그 확률 값에 따라 피부(Skin), 피부후보(Skinness), 비피부(Non-skin)의 3계층으로 분류한 3차원 피부색 모델을 만든다. 계층화된 피부색 모델을 이용하여 각 픽셀의 피부색 여부를 결정하고, 피부후보(Skinness)색에 해당하는 경우에는 이웃 화소의 정보를 고려하여 피부색 또는 비 피부색으로 정하게 된다. 제안 방법의 사용으로 피부색이 왜곡 되었거나 피부색과 유사한 객체가 포함된 다양한 영상들에서도 효율적으로 피부 영역을 분할할 수 있었다.
피부색 영역의 검출을 위한 기존 연구들은 영상의 각 픽셀을 피부에 속하는 픽셀(피부픽셀)과 속하지 않는 픽셀(비피부픽셀)로 나누게 된다. 이때 정확한 피부색 영역을 검출하는 작업은 영상의 조명효과 및 화장에 의한 피부색 변형 등으로 매우 어려운 작업이다. 본 논문에서는 피부 영역 검출을 어렵게 하는 여러 가지 요인을 포함한 영상들로부터 효율적으로 피부영역을 검출하기 위해 계층화된 피부 모델과 컨텍스트 정보를 통합하여 피부 영역 검출의 성능을 향상시키는 방법을 제안한다. 먼저, 획득된 영상들로부터 뽑아낸 피부색 색깔 값들의 확률분포를 YCbCr칼라 공간에 만들고, 그 확률 값에 따라 피부(Skin), 피부후보(Skinness), 비피부(Non-skin)의 3계층으로 분류한 3차원 피부색 모델을 만든다. 계층화된 피부색 모델을 이용하여 각 픽셀의 피부색 여부를 결정하고, 피부후보(Skinness)색에 해당하는 경우에는 이웃 화소의 정보를 고려하여 피부색 또는 비 피부색으로 정하게 된다. 제안 방법의 사용으로 피부색이 왜곡 되었거나 피부색과 유사한 객체가 포함된 다양한 영상들에서도 효율적으로 피부 영역을 분할할 수 있었다.
In order to detect the skin color area from input images, many prior researches have divided an image into the pixels having a skin color and the other pixels. In a still image or videos, it is very difficult to exactly extract the skin pixels because lighting condition and makeup generate a various...
In order to detect the skin color area from input images, many prior researches have divided an image into the pixels having a skin color and the other pixels. In a still image or videos, it is very difficult to exactly extract the skin pixels because lighting condition and makeup generate a various variations of skin color. In this thesis, we propose a method that improves its performance using hierarchical merging of 3D skin color model and context informations for the images having various difficulties. We first make 3D color histogram distributions using skin color pixels from many YCbCr color images and then divide the color space into 3 layers including skin color region(Skin), non-skin color region(Non-skin), skin color candidate region (Skinness). When we segment the skin color region from an image, skin color pixel and non-skin color pixels are determined to skin region and non-skin region respectively. If a pixel is belong to Skinness color region, the pixels are divided into skin region or non-skin region according to the context information of its neighbors. Our proposed method can help to efficiently segment the skin color regions from images having many distorted skin colors and similar skin colors.
In order to detect the skin color area from input images, many prior researches have divided an image into the pixels having a skin color and the other pixels. In a still image or videos, it is very difficult to exactly extract the skin pixels because lighting condition and makeup generate a various variations of skin color. In this thesis, we propose a method that improves its performance using hierarchical merging of 3D skin color model and context informations for the images having various difficulties. We first make 3D color histogram distributions using skin color pixels from many YCbCr color images and then divide the color space into 3 layers including skin color region(Skin), non-skin color region(Non-skin), skin color candidate region (Skinness). When we segment the skin color region from an image, skin color pixel and non-skin color pixels are determined to skin region and non-skin region respectively. If a pixel is belong to Skinness color region, the pixels are divided into skin region or non-skin region according to the context information of its neighbors. Our proposed method can help to efficiently segment the skin color regions from images having many distorted skin colors and similar skin colors.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존의 연구들은 조명효과를 제거하는 방법을 사용하여 피부색 범위를 검출하였으나 본 연구에서는 조명과 같은 주변 환경의 변화를 함께 고려한 피부색 검출 방법을 제안하고자 한다. 피부색 범위를 정하기 위해 조명조건이 포함된 해당 피부색에 대해 확률분포 값을 활용하여 칼라 공간을 피부색과 비피부색으로 분류하는 3D 피부색 모델을 제시한다.
본 논문에서 다양한 조명 조건의 변화와 피부색과 유사한 배경이 포함된 영상에서 3차원 피부색 모델 모델과 컨텍스 정보 활용한 정확한 피부색 화소 검출 방법을 제안하였다. 제안된 방법은 YCbCr 칼라 공간을 사용한 3차원 피부색 모델을 생성하여 조명의 효과를 많이 제거할 수 있었다.
제안 방법
두번째는 선택된 피부색 색깔 값을 YCbCr 칼라 공간에서의 색깔 값으로 변환하는 것이다. YCbCr 칼라 공간은 다른 칼라 공간에 비해 피부 색깔 값의 범위가 좁은 칼라 공간에 밀집되어 분포되는 특성을 가지고 있어 선택하였다.
그리하여 다양한 입력 영상을 통해 획득한 피부색 확률 값 p(x|Skin)에 따라 모든 색깔값을 3개 계층으로 분류하였다. 계층화된 각각의 영역은 높은 피부색 확률 값을 갖는 피부색(Skin) 영역, Skin과 Non-skin 사이의 확률 값을 갖는 피부색 후보 영역(Skinness), 그리고 아주 낮은 피부색 확률 값을 가진 비피부색(Non-skin) 영역으로 구분하였다. 아래의 그림 3의 (a)는 그림 2의 3차원 피부색 공간에서 밝기(Y)값이 90(위쪽 행), 128(중간행), 180(아래쪽 행)일 때의 단면도 모습이다.
생성된 3차원 피부색 모델로부터 피부색과 비피부색 영역에 대한 경계를 정확하게 분류하는 것은 거의 불가능 하다. 그리하여 다양한 입력 영상을 통해 획득한 피부색 확률 값 p(x|Skin)에 따라 모든 색깔값을 3개 계층으로 분류하였다. 계층화된 각각의 영역은 높은 피부색 확률 값을 갖는 피부색(Skin) 영역, Skin과 Non-skin 사이의 확률 값을 갖는 피부색 후보 영역(Skinness), 그리고 아주 낮은 피부색 확률 값을 가진 비피부색(Non-skin) 영역으로 구분하였다.
즉, 실검출율/오검출율이 높은 값을 보여야 피부색 검출 시스템의 성능이 매우 높게 된다. 그리하여 오검출율이 10%에서 20%, 30%로 변해 감에 따라 실 검출율이 어떻게 되는가를 비교․분석해 보았다. 표 4는 FDR 값을 10%, 15%, 20%로 할 경우 제안 방법과 베이지언 방법에 의한 TDR 의 비율을 나타낸 것이다.
검출 효율에서는 오검출율이 적게 나오는 것이 좋은 방법이라고 할 수 있다. 따라서 기존 방법과의 비교를 위해 같은 오검출율을 보일 경우 어떤 방법이 더 실 검출율을 높게 유지하는가를 비교하기로 하였다. 즉, 실검출율/오검출율이 높은 값을 보여야 피부색 검출 시스템의 성능이 매우 높게 된다.
또한 계층화된 피부색 모델과 영상의 이웃 화소의 정보를 통합하여 피부색 검출 알고리즘을 제안하였다. 영상에서 피부영역을 분할할 때, Skinness 영역에 해당하는 부분은 컨텍스트 정보(이웃 화소의 값)를 이용한 필터링을 통해 피부색 여부를 결정 하였다.
본 논문에서 제안한 알고리즘의 전체적인 흐름은 그림 1과 같이 구성된다. 먼저 입력 영상을 YCbCr 칼라공간으로 변환하고, 미리 만들어진 계층화된 3차원 피부색 모델을 이용하여 칼라 영상의 각 픽셀을 피부색과 비피부색으로 분할하는 과정으로 구성하였다.
본 논문에서 사용한 계층화된 3차원 피부색 모델은 이전의 연구[11][12]에서 소개한 방법을 바탕으로 YCbCr 칼라 공간에서의 피부색 모델을 생성하였다. 피부색 모델 생성 과정은 다인종 영상 550 장의 훈련 데이터를 사용하여 만들어지며 크게 3단계로 구성이 된다.
또한 계층화된 피부색 모델과 영상의 이웃 화소의 정보를 통합하여 피부색 검출 알고리즘을 제안하였다. 영상에서 피부영역을 분할할 때, Skinness 영역에 해당하는 부분은 컨텍스트 정보(이웃 화소의 값)를 이용한 필터링을 통해 피부색 여부를 결정 하였다. 이 필터링을 통해 피부색 일부가 왜곡되어 검출되지 못하는 미검출률및 피부색과 유사한 배경이 피부색으로 검출되는 오검출률을 낮출 수 있었다.
제안된 모델을 이용하여 피부색을 분류한 시스템의 성능을 분석하기 위한 다양한 실험을 하였다. 기존 시스템과의 비교를 위해서는 통계적 접근 방법으로 유사한 흐름을 갖는 베이지언 방법과 비교를 하게 된다.
기존의 연구들은 조명효과를 제거하는 방법을 사용하여 피부색 범위를 검출하였으나 본 연구에서는 조명과 같은 주변 환경의 변화를 함께 고려한 피부색 검출 방법을 제안하고자 한다. 피부색 범위를 정하기 위해 조명조건이 포함된 해당 피부색에 대해 확률분포 값을 활용하여 칼라 공간을 피부색과 비피부색으로 분류하는 3D 피부색 모델을 제시한다. 경계 지역에 해당하는 부분에 대해서는 주변의 컨텍스트 정보를 활용하여 피부색 여부를 결정할 수 있도록 피부색 공간을 3개의 구역(Skin, Skinness, Non-skin)으로 계층화하는 방법을 사용한다.
대상 데이터
영상들은 디지털 카메라로 촬영된 600장과 인터넷으로부터 획득한 400장의 영상들로 그 해상도는 240×320에서 640×768이다. 대부분의 영상들은 정면과 약 45도 이내의 각을 갖는 측면 얼굴을 포함한 칼라 영상이고, 이 영상들로부터 약 26,122,231개 화소를 반자동으로 추출하여 모델 구현을 위한 학습 데이터로 사용하였다. 본 논문의 제안 방법과 성능을 비교할 베이지언 방법도 같은 영상을 대상으로 하였으며, Skin 화소 훈련을 위해 32,442,338 pixel을, Non-skin 화소 훈련을 위해 41,712,898 화소를 사용하였다.
제안 방법을 기존의 대표적인 시스템인 베이지언 방법과 시간적인 측면과 검출효율 측면에서 비교하여 보 았다. 먼저, 실행 시간을 비교하기 위해 약 100여 장의 영상을 인터넷이나 직접촬영을 통해 획득 하였다. 그 사진의 일부가 그림 7에 주어져 있다.
대부분의 영상들은 정면과 약 45도 이내의 각을 갖는 측면 얼굴을 포함한 칼라 영상이고, 이 영상들로부터 약 26,122,231개 화소를 반자동으로 추출하여 모델 구현을 위한 학습 데이터로 사용하였다. 본 논문의 제안 방법과 성능을 비교할 베이지언 방법도 같은 영상을 대상으로 하였으며, Skin 화소 훈련을 위해 32,442,338 pixel을, Non-skin 화소 훈련을 위해 41,712,898 화소를 사용하였다.
영상들은 디지털 카메라로 촬영된 600장과 인터넷으로부터 획득한 400장의 영상들로 그 해상도는 240×320에서 640×768이다.
그림 5는 표1의 훈련데이터를 사용하여 생성한 피부색 모델을 기준으로 제안방법에 따른 피부색 픽셀을 검출한 결과들을 보여준다. 원본 영상은 기존 방법으로도 오류를 많이 발생하는 배경과 얼굴피부색이 많이 유사한 영상을 대상으로 한 실험이다.
이때 사용된 제안 방법과 베이지언 방법을 위해 사용된 테스트 샘플 영상은 표 1에 주어진 것과 같이 약 1000장의 일반 영상을 사용하였다. 영상들은 디지털 카메라로 촬영된 600장과 인터넷으로부터 획득한 400장의 영상들로 그 해상도는 240×320에서 640×768이다.
데이터처리
기존 시스템과의 성능을 비교 분석하기 위해서는 본 시스템과 유사한 통계적 접근 방법을 사용하고 있는 베이지언 방법과 비교하였다. 이때 베이지언 방법에서 Skin 화소 분류 조건 확률밀도함수는 다음의 식 (5)를 사용한다.
제안 방법을 기존의 대표적인 시스템인 베이지언 방법과 시간적인 측면과 검출효율 측면에서 비교하여 보 았다. 먼저, 실행 시간을 비교하기 위해 약 100여 장의 영상을 인터넷이나 직접촬영을 통해 획득 하였다.
이론/모형
통계적 모델 방법들에서는 GMM과 히스토그램 모델이 가장 우수하다. 이 방법들은 피부/비피부 확률 계산에서 GMM은 파라메타를 사용하고, 히스토그램 모델은 LUTs를 사용한다. 히스토그램 모델 방법은 Chang와 Jones and Rehg 등이 제안한 것으로 RGB 또는 YCbCr 칼라 공간에서 히스토그램 기술을 사용한 베이지언(Bayesian) 분류 기법이다[3][4][5].
성능/효과
그러나 피부색이 아닌 화소가 피부색으로 검출되는 오검출률(False Skin Detection Rate: FDR)은 제안 방법보다 베이지언 방법이 더 높았다. 결과적으로 제안 방법이 피부검출율/오 검출율(TR/FR)에서 우수함을 보여주기 때문에 피부색을 더 정확하게 검출함을 알 수 있다.
단지, 맨 아래쪽 사진에서는 얼굴색과 유사한 옷에 붙은 금장색으로 인해 오검출율이 크게 떨어지지 못하고 두 방법의 결과가 유사함을 확인할 수 있다. 그러나 전반적으로 제안된 방법에 의한 실험 결과에서는 피부색과 유사한 색을 배경에 포함하고 있거나 4번째 행의 그림에서 보듯이 조명 조건의 변화에 따른 피부색 영역의 일부가 왜곡된 경우들에 대해 컨텍스트 정보를 활용한 방법으로 좋은 결과를 얻을 수가 있었다.
25%, 제안방법 93%로 유사한 검출율 갖는다. 그러나 피부색이 아닌 화소가 피부색으로 검출되는 오검출률(False Skin Detection Rate: FDR)은 제안 방법보다 베이지언 방법이 더 높았다. 결과적으로 제안 방법이 피부검출율/오 검출율(TR/FR)에서 우수함을 보여주기 때문에 피부색을 더 정확하게 검출함을 알 수 있다.
대부분의 실험 영상에서는 제안 방법이 베이지언 기법에 의한 방법보다 오검출율과 미검출율이 낮은 좋은 결과를 보여주고 있다는 사실을 확인할 수 있었다. 단지, 맨 아래쪽 사진에서는 얼굴색과 유사한 옷에 붙은 금장색으로 인해 오검출율이 크게 떨어지지 못하고 두 방법의 결과가 유사함을 확인할 수 있다.
두 방법 모두 실제 피부색이 검출되는 피부색 검출률 (True Skin Detection Rate:TDR)은 베이지언 방법 93.25%, 제안방법 93%로 유사한 검출율 갖는다. 그러나 피부색이 아닌 화소가 피부색으로 검출되는 오검출률(False Skin Detection Rate: FDR)은 제안 방법보다 베이지언 방법이 더 높았다.
위의 3차원 피부색 영역을 살펴보면 중간 밝기에서는 영역이 크게 나타나고 양쪽으로 갈수록 피부색에 해당하는 영역이 계속적으로 줄어듦을 확인할 수 있다. 따라서 기존의 논문과 같이 밝기 값을 무시하는 것이 아니라 본 논문에서 제시한 것과 같이 밝기 값을 고려하여야 피부색 영역의 검출에서 높은 검출 정확성을 얻을 수 있다는 사실을 확인할 수 있다.
여러 영상의 실험을 통해 제안 방법이 피부색 픽셀을 많이 검출하면서 동시에 오검출율을 낮출 수 있다는 것을 TDR/FDR 비율 값의 변화를 통해 확인하였다. 또한 피부 영역에 대한 검출을 위해 필요한 실행 시간에서는 기존의 방법인 베이지언 방법과 거의 차이가 없음을 확인하였다.
그림 5의 (b)에서 회색으로 표시된 영역을 살펴보면 실제 피부색으로 포함되어야 할 부분과 배경에 포함될 부분이 함께 공존함을 알 수 있다. 또한 회색 부분 중 Skin 영역과 인접한 위치에 있는 화소들은 실제 피부색에 해당하는 영역이 되고, 피부색과 일정거리 이상 떨어진 영역에 존재하는 회색 영역은 배경에 해당한다는 사실을 확인할 수 있다.
여러 영상의 실험을 통해 제안 방법이 피부색 픽셀을 많이 검출하면서 동시에 오검출율을 낮출 수 있다는 것을 TDR/FDR 비율 값의 변화를 통해 확인하였다. 또한 피부 영역에 대한 검출을 위해 필요한 실행 시간에서는 기존의 방법인 베이지언 방법과 거의 차이가 없음을 확인하였다.
이 방법에 의하면 제안 방법이 오검출을 낮게 유지하여도 TDR이 베이지언 방법보다 높음을 알 수 있다.
영상에서 피부영역을 분할할 때, Skinness 영역에 해당하는 부분은 컨텍스트 정보(이웃 화소의 값)를 이용한 필터링을 통해 피부색 여부를 결정 하였다. 이 필터링을 통해 피부색 일부가 왜곡되어 검출되지 못하는 미검출률및 피부색과 유사한 배경이 피부색으로 검출되는 오검출률을 낮출 수 있었다.
그림 5에서 (f)는 (c)의 결과에서 검은색이 아닌 부분을 원래의 칼라로 표시한 것이며, (d)와 (e)는 각각 그림 4의 패턴 (a)와 (b)를 사용한 결과이다. 제안 방법은 배경화면이 피부색과 유사한 넓은 부분(기둥및 배경)을 가지고 있음에도 불구하고 좋은 결과를 보여 주고 있다.
본 논문에서 다양한 조명 조건의 변화와 피부색과 유사한 배경이 포함된 영상에서 3차원 피부색 모델 모델과 컨텍스 정보 활용한 정확한 피부색 화소 검출 방법을 제안하였다. 제안된 방법은 YCbCr 칼라 공간을 사용한 3차원 피부색 모델을 생성하여 조명의 효과를 많이 제거할 수 있었다.
질의응답
핵심어
질문
논문에서 추출한 답변
일반적인 피부 영역 분할 방법에는 무엇이 있는가?
일반적인 피부 영역 분할 방법으로는 칼라 영상에서 각각의 단일 화소의 색상정보를 조사하여 피부색화소 와 비피부색화소로 분류하는 저수준 처리방법이 사용되고 있다. 이 방법은 사람의 피부색은 다른 물체와 구분이 되는 일정 범위 내의 칼라로 구성된다는 특성에 기인한 것이다.
본 논문에서는 피부 영역 검출을 어렵게 하는 여러 가지 요인을 포함한 영상들로부터 효율적으로 피부영역을 검출하기 위해 계층화된 피부 모델과 컨텍스트 정보를 통합하여 피부 영역 검출의 성능을 향상시키는 방법을 제안하는데, 어떻게 진행되는 방법인가?
본 논문에서는 피부 영역 검출을 어렵게 하는 여러 가지 요인을 포함한 영상들로부터 효율적으로 피부영역을 검출하기 위해 계층화된 피부 모델과 컨텍스트 정보를 통합하여 피부 영역 검출의 성능을 향상시키는 방법을 제안한다. 먼저, 획득된 영상들로부터 뽑아낸 피부색 색깔 값들의 확률분포를 YCbCr칼라 공간에 만들고, 그 확률 값에 따라 피부(Skin), 피부후보(Skinness), 비피부(Non-skin)의 3계층으로 분류한 3차원 피부색 모델을 만든다. 계층화된 피부색 모델을 이용하여 각 픽셀의 피부색 여부를 결정하고, 피부후보(Skinness)색에 해당하는 경우에는 이웃 화소의 정보를 고려하여 피부색 또는 비 피부색으로 정하게 된다. 제안 방법의 사용으로 피부색이 왜곡 되었거나 피부색과 유사한 객체가 포함된 다양한 영상들에서도 효율적으로 피부 영역을 분할할 수 있었다.
피부색 영역의 검출을 위한 기존 연구들은 무엇과 무엇으로 나뉘는가?
피부색 영역의 검출을 위한 기존 연구들은 영상의 각 픽셀을 피부에 속하는 픽셀(피부픽셀)과 속하지 않는 픽셀(비피부픽셀)로 나누게 된다. 이때 정확한 피부색 영역을 검출하는 작업은 영상의 조명효과 및 화장에 의한 피부색 변형 등으로 매우 어려운 작업이다.
참고문헌 (12)
K. Sobottka and I. Pitas, "A Novel Method for Automatic Face Segmentation, Facial Feature Extraction and Tracking," Signal Processing:ImageComm., vol. 12, no.3, pp.263-281, 1998.
D. Chai and A. Bouzerdoum, "A Bayesian approach to skin color classification in YCbCr color space," IEEE TENCON00, vol. 2, pp.421-424, 2000.
M.C. Shin, K.I. Chang, and L.V. Tsap, "Does Colorspace Transformation Make Any Difference on Skin Detection?," Proc. IEEE Workshop Applications of Computer Vision, pp. 275-279, 2002.
H. Wang and S. F. Chang, "A Highly Efficient System for Automatic Face Detection in Mpeg Video," IEEE Trans. Circuits and Systems for VideoTechnology, vol. 7, no.4, pp.615-628, 1997.
M.J. Jones and J.M. Rehg, "Statistical Color Models with Application to Skin Detection," Int'l J. Computer Vision, vol. 46, no.1, pp.81-96, Jan. 2002.
J.-C. Terrillon, M.N. Shirazi, H. Fukamachi and S. Akamatsu, "Comparative Performance of Different Skin Chrominance Models and Chrominance Spaces for the Automatic Detection of Human Faces in Color Images," Proc. IEEE Int'l Conf. Automatic Face and Gesture Recognition, pp.54-61, Mar. 2000.
J. Yang and A. Waibel, "A Real-Time Face Tracker," Proc. IEEE Workshop Applications of Computer Vision, pp.142-147, Dec. 1996.
B. Menser and M. Wien, "Segmentation and Tracking of Facial Regions in Color Image Sequences," SPIE Visual Comm. and Image Processing 2000, Vol.4067, pp.731-740, 2000(6).
H. Greenspan, J. Goldberger, and I. Eshet, "Mixture Model for Face Color Modeling and Segmentation," Pattern Recognition Letters, Vol.22, pp.1525-1536, 2001(9).
M.-H. Yang and N. Ahuja, "Gaussian Mixture Model for Human Skin Color and Its Applications in Image and Video Databases," SPIE Storage and Retrieval for Image and Video Databases, Vol.3656, pp.45-466, 1999(1).
G. M. Park and Y. B. Kim, "3D Skin Color Model for Asian Skin Color Segmentation," MITA 2008, Track 4A-04, 2007.
GyeongMi Park, Youngbong Kim, "강건한 다인종 얼굴 검출을 위한 통합 3D 피부색 모델," 한국콘텐츠학회논문지, 제9권, 제5호, pp.1-12, 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.