[논문]Kinect 디바이스에서 피부색과 깊이 정보를 융합한 여러 명의 얼굴 검출 알고리즘

윤영지; 진성일

doi:10.5392/jkca.2017.17.01.137

Kinect 디바이스에서 피부색과 깊이 정보를 융합한 여러 명의 얼굴 검출 알고리즘
Face Detection Algorithm using Kinect-based Skin Color and Depth Information for Multiple Faces Detection 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.17 no.1, 2017년, pp.137 - 144

윤영지 (경북대학교 전자공학부) , 진성일 (경북대학교 전자공학부)

초록
AI-Helper

얼굴 검출은 복잡한 배경 내에서 다양한 얼굴의 자세로 인해 여전히 어려운 문제에 직면하고 있다. 본 논문은 피부색과 깊이 정보를 기반으로 한 한명 또는 여러 명의 얼굴을 검출하는 효과적인 알고리즘을 제안한다. 먼저 우리는 컬러 영상에서 가우시안 혼합 모델을 이용한 피부색 검출 방법에 대해 소개한다. 그리고 Kinect V2의 깊이 센서를 이용하여 획득한 3차원의 깊이 정보는 배경으로부터 사람의 몸을 분할할 때 유용하다. 그리고 레이블링 과정에서 여러 개의 특징을 이용하여 얼굴이 아닌 영역은 성공적으로 제거된다. 실험 결과를 통해 제안한 얼굴 검출 알고리즘은 다양한 조건과 복잡한 배경에서 얼굴이 효과적으로 검출되는 것을 확인할 수 있다.

Abstract ▼ AI-Helper

Face detection is still a challenging task under severe face pose variations in complex background. This paper proposes an effective algorithm which can detect single or multiple faces based on skin color detection and depth information. We introduce Gaussian mixture model(GMM) for skin color detection in a color image. The depth information is from three dimensional depth sensor of Kinect V2 device, and is useful in segmenting a human body from the background. Then, a labeling process successfully removes non-face region using several features. Experimental results show that the proposed face detection algorithm can provide robust detection performance even under variable conditions and complex background.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

2D와 3D 환경에서 얼굴을 검출하는 기존에 제안된 방법들은 정면의 얼굴 검출에는 강건하지만, 사람의 자세가 변할 경우, 얼굴의 각도가 회전되었을 경우, 복잡한 배경 등에서 얼굴이 검출되지 않거나 오검출이 발생하는 문제점이 있다. 따라서 본 논문에서는 크기와 각도의 영향을 받지 않는 컬러 정보와 배경 제거에 효과적인 깊이 정보를 융합한 효과적인 얼굴 검출 알고리즘을 제안한다. 먼저 피부색을 검출하기 위해 Cheddad[10]의 에러 신호 E와 채도 정보 S를 결합한 ES 공간에서 가우시안 혼합 모델을 이용하여 피부색을 검출하고, 이진화를 이용하여 사람의 몸 부분을 검출한다.
영상 내에서 여러 명의 사람이 있을 때, 영상 내에서 가까이 있는 사람은 멀리 있는 사람보다 상대적으로 큰 얼굴 영역을 갖고, 영상 아래쪽에 존재한다. 따라서 우리는 기하학적 제한을 통한 최종 얼굴 검출 방법을 제안한다. y 값에 따라 영역을 분류하여 상단 클래스와 하단 클래스로 나눈다.
보다 안정적인 얼굴 검출을 위해 본 논문에서는 MBR(minimum bounding rectangle)의 제한을 이용한 얼굴 후보 영역 검출 방법을 제안한다. MBR은 물체의 최소 외접 사각형을 뜻한다.
깊이 정보는 카메라로부터 물체 또는 배경에 대한 거리를 표현할 수 있다. 본 논문에서는 Kinect V2 디바이스를 이용하여 다양한 거리에서의 깊이 정보를 촬영하였다. 촬영한 예는 [그림 3(a)]에 나타내었다.
하지만 색의 선명도를 나타내는 채도를 고려하지 않았기 때문에 채도가 높은 비피부색 영역을 피부색으로 검출하는 단점이 있다. 본 논문에서는 에러 신호 E에 채도 신호 S를 결합한 ES 공간에서의 피부색 검출 방법을 제안한다. RGB 공간에서 ES 공간으로의 변환식은 다음과 같다.
깊이의 관점에서 물체의 거리는 배경의 거리보다 짧은 특징이 있다. 본 논문에서는 이진화 기술을 이용하여 영상 내의 배경과 전경을 분할하는 방법을 제안한다. 홀을 제외한 깊이의 평균 값을 임계 값으로 하여 배경을 제거한다.
특징점을 이용한 얼굴 검출은 정면의 얼굴을 검출하기 위한 좋은 방법이지만, 사람의 자세가 변하거나 얼굴이 기울어지는 경우 특징점이 검출되지 않아 얼굴을 검출할 수 없다. 이러한 문제를 개선하기 위해 본 논문에서는 피부색과 깊이 정보를 이용한 얼굴 검출 방법을 제안하였다. 피부색은 크기와 기울기의 변화에 강건하고, 깊이 정보를 통한 안정적인 배경 제거 기술을 통해 얼굴을 검출할 수 있다.

제안 방법

검출된 후보 영역을 레이블링을 통해 얼굴 후보영역을 각각의 영역으로 나누고 영역의 깊이 값과 크기를 특징으로 하여 얼굴이 아닌 영역을 제외한다. 그리고 MBR의 비율과 기하학적 제한을 통해 최종 얼굴을 검출한다.
따라서 본 논문에서는 크기와 각도의 영향을 받지 않는 컬러 정보와 배경 제거에 효과적인 깊이 정보를 융합한 효과적인 얼굴 검출 알고리즘을 제안한다. 먼저 피부색을 검출하기 위해 Cheddad[10]의 에러 신호 E와 채도 정보 S를 결합한 ES 공간에서 가우시안 혼합 모델을 이용하여 피부색을 검출하고, 이진화를 이용하여 사람의 몸 부분을 검출한다. 검출된 두 개의 정보를 결합하여 1차로 얼굴 후보 영역을 검출한다.
얼굴 영역이 검출되었지만, 손 영역과 배경부분이 오검출 되었다. 본 논문에서는 레이블링을 통해 영역을 분할하고, 각각의 특징을 기반으로 4단계의 과정을 통해 얼굴이 아닌 영역을 제거한다.
제안한 얼굴 검출 알고리즘의 성능 평가를 위해 우리는 Kinect V2를 이용하여 컬러와 깊이 영상 결과를 획득하고, 원 영상의 얼굴 검출의 성능을 비교 분석한다. 비교 방법으로는 2D 영상에서 얼굴을 검출하는 Viola의 방법과 3D 영상에서 얼굴을 검출하는 Kinect SDK와 비교한다[13].
8GHz CPU와 4GB RAM을 사용하였다. 알고리즘은 Visual studio 2013과 Open CV 3.0을 사용하여 시스템을 개발하였다. 제안한 얼굴 검출 알고리즘의 성능 평가를 위해 우리는 Kinect V2를 이용하여 컬러와 깊이 영상 결과를 획득하고, 원 영상의 얼굴 검출의 성능을 비교 분석한다.
사람의 얼굴은 타원의 형태를 가지고 있기 때문에 사람의 얼굴 영역에 MBR을 그렸을 경우 얼굴 영역의 넓이는 MBR 내의 일정 부분 이상을 차지하는 특징과 사람의 얼굴은 가로 세로비율이 일정 범위 내에 있는 특징이 있다. 이러한 특징을 이용하여 MBR의 가로, 세로의 비와 MBR의 크기, 얼굴 후보 영역 크기의 비를 각각 계산한다. 계산된 결과가 각각의 임계 값에서 벗어날 경우 이는 얼굴 후보 영역에서 제외한다.

대상 데이터

1명의 데이터 베이스는 1∼3m 거리에서 1m 간격으로 정면, 몸이 좌우로 각각 45도와 90도로 회전된 경우, 얼굴을 좌우로 각각 약 45도와 90도로 회전하였을 때로 구성되어 있다.
먼저 자세에 따른 얼굴 검출 결과는 [그림 7], [그림8]과 [표 2-4]과 같다. 데이터베이스는 정면의 174개, 회전된 몸에 대한 139개, 회전된 얼굴에 대한 159개의 얼굴로 구성되어 있다. [그림 7]은 정면의 얼굴에 대한 검출 결과로 모든 방법이 얼굴을 검출하였다.
가우시안 혼합 모델은 피부색을 보다 정확하게 모델링할 수 있는 장점이 있다. 본 논문에서는 피부색의 샘플 데이터를 모으기 위해 140개의 코카시안과 아시안의 피부색 영상을 학습 과정에 사용하였다. 피부색 픽셀이 많은 한 영상이 모델링에 주는 영향을 줄이기 위해 영상 당 약 10,000개의 픽셀을 사용하여 총1,400,000개의 피부색 픽셀을 사용하였다.
본 논문의 경우 1∼2m의 얼굴의 크기가 약 3,000∼20,000개의 픽셀의 임계 값을 사용하였다.
제안한 방법을 구현하기 위해서는 임계 값의 선택이 필요하다. 임계 값을 선택하기 위해 Kinect V2를 이용하여 깊이 영상과 컬러 영상을 동시에 획득하고, 약 30장의 영상을 이용하여 실험을 통해 선택하였다. 본 논문은 피부색을 검출하기 위한 임계 값은 2.
테스트 데이터 베이스는 1명을 촬영한 232장의 영상과 2명 이상을 촬영한 104개의 영상, 총 336장의 영상을 사용하였고 얼굴의 개수는 472개이다. 1명의 데이터 베이스는 1∼3m 거리에서 1m 간격으로 정면, 몸이 좌우로 각각 45도와 90도로 회전된 경우, 얼굴을 좌우로 각각 약 45도와 90도로 회전하였을 때로 구성되어 있다.
본 논문에서는 피부색의 샘플 데이터를 모으기 위해 140개의 코카시안과 아시안의 피부색 영상을 학습 과정에 사용하였다. 피부색 픽셀이 많은 한 영상이 모델링에 주는 영향을 줄이기 위해 영상 당 약 10,000개의 픽셀을 사용하여 총1,400,000개의 피부색 픽셀을 사용하였다. 실험적으로 2개의 군집을 사용하여 가우시안 모델을 생성한 결과는 [그림1]과 같다.

데이터처리

0을 사용하여 시스템을 개발하였다. 제안한 얼굴 검출 알고리즘의 성능 평가를 위해 우리는 Kinect V2를 이용하여 컬러와 깊이 영상 결과를 획득하고, 원 영상의 얼굴 검출의 성능을 비교 분석한다. 비교 방법으로는 2D 영상에서 얼굴을 검출하는 Viola의 방법과 3D 영상에서 얼굴을 검출하는 Kinect SDK와 비교한다[13].

이론/모형

또한, 거리에 따른 얼굴 후보영역의 크기에 대한 LUT는 [표 1]과 같다. 비교 방법에 사용된 Viola 알고리즘은 영상처리 라이브러리 Open CV의 detectMultiScale 함수를 이용하여 구현하였다[14].

성능/효과

그리고 [그림 9]의 (a)는 다리 부분이 얼굴로 검출되었다. 그러나 제안한 방법은 얼굴이 정확하게 검출되었다. 본 논문의 경우 1∼2m의 얼굴의 크기가 약 3,000∼20,000개의 픽셀의 임계 값을 사용하였다.
[그림 7]은 정면의 얼굴에 대한 검출 결과로 모든 방법이 얼굴을 검출하였다. 그리고 [표2]의 결과에서 Viola가 제안한 검출 방법이 100%로 검출 결과가 가장 우수하다. [그림 8]의 기울어진 얼굴과 회전된 몸에 대한 검출 결과는 Viola가 제안한 방법은 Harr-like 특징점의 경우 회전에 대한 특징을 고려하지 않기 때문에 얼굴이 기울어지거나 회전된 몸의 경우 얼굴이 제대로 검출되지 않는다.
13%로 가장 우수하다. 따라서 [표 7]의 전체 검출율에서 제안한 방법이 84.75%로 가장 우수한 것을 확인할 수 있다.
이는 Kinect SDK가 하드웨어에 최적화되어 빠른 처리에 적합하게 설계되었기 때문이다. 반면 Viola의 얼굴 검출 방법과 제안하는 알고리즘은 각각 1.175, 0.962초로 Kinect SDK에 비해 동작 시간이 오래 걸리는 것을 확인할 수 있다.
실험 결과를 통하여 제안하는 방법은 컬러 영상과 깊이 영상에 대한 알고리즘을 순차적으로 처리하기 때문에 기존의 알고리즘보다 속도가 느린 문제점이 있지만, 얼굴을 검출율에 있어서는 강인한 장점이 있다. 이는 측면, 기울어진 얼굴에 대해 기존의 방법보다 높은 검출율을 보임으로써 자세나 얼굴의 각도에 영향을 받지 않고, 얼굴을 검출한 것을 확인하였다.
실험 결과를 통하여 제안하는 방법은 컬러 영상과 깊이 영상에 대한 알고리즘을 순차적으로 처리하기 때문에 기존의 알고리즘보다 속도가 느린 문제점이 있지만, 얼굴을 검출율에 있어서는 강인한 장점이 있다. 이는 측면, 기울어진 얼굴에 대해 기존의 방법보다 높은 검출율을 보임으로써 자세나 얼굴의 각도에 영향을 받지 않고, 얼굴을 검출한 것을 확인하였다.
이는 Kinect SDK에서 몸을 검출할 때, 3명의 이상의 경우 불안정한 문제점이 있기 때문이다. 제안한 방법은 안정적으로 얼굴을 검출하였다. [표 6]의 얼굴 검출 결과율에서 제안한 방법이 78.

질의응답

핵심어	질문	논문에서 추출한 답변
	Harr-like 특징을 사용한 얼굴 검출 방법의 문제점은 무엇인가?	먼저, Viola와 Jones는2D 영상에서 Harr-like 특징을 사용한 얼굴 검출 방법을 제안하였다[4]. 이는 정면의 얼굴에서는 검출 성능이 우수한 장점이 있지만, 복잡한 환경에서 오검출이 발생하고, 얼굴의 각도와 사람의 자세에 따라 얼굴이 검출되지 않는 문제가 있다
	가우시안 혼합 모델의 장점은 무엇인가?	가우시안 혼합 모델은 피부색을 보다 정확하게 모델링할 수 있는 장점이 있다. 본 논문에서는 피부색의샘플 데이터를 모으기 위해 140개의 코카시안과 아시안의 피부색 영상을 학습 과정에 사용하였다.
	에러신호 E의 장점은 무엇인가?	Cheddad 등은 에러 신호(error signal, E)를 정의하여 피부색 검출 방법에 대해 제안하였다[10]. E는 피부색이 붉은 성분을 많이 포함하고 있는 특징을 이용하여 붉은 색의 신호를 확장한 것으로 1차원의 신호이기 때문에 계산식이 간단하고 연산속도가 빠른 장점이 있다. 하지만 색의 선명도를 나타내는 채도를 고려하지 않았기 때문에 채도가 높은 비피부색 영역을 피부색으로 검출하는 단점이 있다.

참고문헌 (14)

K. V. Arya and A. Adarsh, "An Efficient Face Detection and Recognition Method for Surveillance," In Proceedings of the International Conference on Computational Intelligence and Communication Networks, 2015.
F. Comaschi, S. Stuijk, T. Basten, and H. Corporaal, "Robust online face tracking-by-detection," In Proceedings of the IEEE International Conference on Multimedia and Expo, 2016.
F. Dornaika and F. Davoine, "Simultaneous Facial Action Tracking and Expression Recognition in the Presence of Head Motion," J. of Computer Vision, Vol.76, No.3, pp.257-281, 2008.

상세보기
P. Viola and B. J. Jones, "Robust Real-Time Face Detection," J. of Computer Vision, Vol.57, No.2, pp.137-154, 2004.

상세보기
K. Sandeep and A. Rajagopalan, "Human Face Detection in Cluttered Color Images using Skin Color and Edge Information," In Proceedings of the India Conference on Computer Vision, Graphic, and Image Processing, 2002.
R. Mohanty and M. V. Raghunadh, "Skin Color Segmentation based Face Detection using Multi-Color Space," J. of Advanced Research in Computer and Communcation Enginerring, Vol.5, Issue.5, pp.470-475, 2016.
D. Xu, Y. L. Chen, X. Wu, Y. Ou, and Y. Xu, Integrated Approach of Skin-color Detection and Depth Information for Hand and Face Localization," In Proceedings of the IEEE International Conference on Robotics and Biomimetics, 2011.
J. Paduano, M. Romero, and R. M. Valdovinos, "Face Detection in 3D Images with More Than One Person," In Proceedings of the International Conference on Image Processing, Computer Vision, and Pattern Recognition, 2016.
https://msdn.microsoft.com/en-us/library/microsoft.kinect.face.aspx.
A. Cheddad, J. Condell, K. Curran, and P. M. Kevitt, "A Skin Tone Detection Algorithm for An Adaptive Approach To Steganography," J. of Signal Processing, Vol.89, No.1, pp.2465-2478, 2009.

상세보기
C. Poynton, Digital Video and HDTV : Algorithms and Interface, Morgan Kaufmann, 2003.
R. C. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, John Wiley & Sons, 2001.
V. D. My, A. Masselli, and Z. Zell, "Real Time Face Detection using Geometric Constraints, Navigation and Depth-based Skin Segmentation on Mobile Robots," In Proceedings of the IEEE International Symposium on Robotic and Sensors Environments, 2012.
http://docs.opencv.org/trunk/d7/d8b/tutorial_py _face_detection.html

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증