[논문]색상 군집화를 이용한 입술탐지 알고리즘

정종면

doi:10.9708/jksci.2014.19.3.037

[국내논문] 색상 군집화를 이용한 입술탐지 알고리즘
A Lip Detection Algorithm Using Color Clustering 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.19 no.3, 2014년, pp.37 - 43

초록
AI-Helper

본 논문에서는 색상 군집화를 이용한 입술탐지 알고리즘을 제안한다. RGB 색상 모델로 주어진 입력영상에서 AdaBoost 알고리즘을 이용하여 얼굴영역을 추출한 후, 얼굴영역을 Lab 컬러 모델로 변환한다. Lab 컬러 모델에서 a 성분은 입술과 유사한 색상을 잘 표현할 수 있는 반면 b 성분은 입술의 보색을 표현할 수 있기 때문에 Lab 컬러로 표현된 얼굴영역에서 a와 b 성분을 기준으로 최단 이웃(nearest neighbour) 군집화 알고리즘을 이용하여 피부 영역을 분리한 후, K-means 색상 군집화를 통해 입술 후보 영역을 추출하고, 마지막으로 기하학적 특징을 이용하여 최종적인 입술영역을 탐지하였다. 실험 결과는 제안된 방법이 강건하게 입술을 탐지함을 보인다.

Abstract ▼ AI-Helper

In this paper, we propose a robust lip detection algorithm using color clustering. At first, we adopt AdaBoost algorithm to extract facial region and convert facial region into Lab color space. Because a and b components in Lab color space are known as that they could well express lip color and its complementary color, we use a and b component as the features for color clustering. The nearest neighbour clustering algorithm is applied to separate the skin region from the facial region and K-Means color clustering is applied to extract lip-candidate region. Then geometric characteristics are used to extract final lip region. The proposed algorithm can detect lip region robustly which has been shown by experimental results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

AdaBoost는 구현이 매우 간단하고, 일반적인 학습 스키마를 이용하기 때문에 다양한 응용이 가능하다. 본 논문에서는 OpenCV에서 제공되고 있는 AdaBoost 라이브러리를 사용하여 정면의 얼굴을 탐지하였는데, 이 라이브러리는 97%의 탐지율을 보이는 것으로 알려져 있다. 그림 4는 얼굴탐지 결과를 보이고 있다.
이 방법은 입술색상의 특징과 기하학적 특징 두 가지를 사용하기 때문에 비교적 정확한 탐지 성능을 보이지만 입술 포인트의 각도는 입술모양 변화에 민감하기 때문에 입술영역에 따라 결과 차이가 크다는 단점을 가지고 있다[14]. 본 논문에서는 Skodras 등의 방법을 개선하여, 입술모양 변화에 강건한 입술탐지 알고리즘을 제안한다.
본 논문에서는 입력영상으로부터 얼굴을 탐지하고, 탐지된 얼굴영역을 통해 색상군집을 통한 입술탐지 알고리즘을 제안하였다. 제안된 알고리즘은 입력된 영상에서 AdaBoost 알고리즘을 이용하여 얼굴을 추출한 다음 Lab 색상 공간에서 색상 군집화 알고리즘을 이용하여 입술후보영역을 추출한 다음 입술의 기하학적인 특징을 이용하여 입술 영역을 결정하였다.

제안 방법

K-means 군집화를 위한 특징 벡터는 Lab 색상 모델상의 색상이며 K는 실험을 통해 3으로 하였는데, 군집화가 수행된 후 분류된 3개의 영역 중 평균 a 값이 가장 높은 영역을 입술 후보영역으로 결정하였다. 그림 8은 3-means 군집화 알고리즘을 이용하여 입술 유사픽셀을 세 개의 군집으로 나눈 결과를 보이고 있다.
본 논문에서는 먼저 주어진 입력 영상으로부터 AdaBoost 알고리즘[15]을 이용하여 얼굴 영역을 탐지한 후, 얼굴 영역으로부터 색상에 대한 최단 이웃 군집화 알고리즘(nearest neighbour clustering algorithm)을 이용하여 입술 유사 픽셀을 추출하고, 추출된 입술 유사 픽셀을 K-means 군집화 알고리즘을 이용하여 입술 후보 영역을 얻은 다음, 기하학적인 검증 과정을 거쳐 입술 영역을 탐지한다. 그림 1은 제안된 입술탐지방법의 전체적인 흐름도를 보이고 있다.
본 논문에서는 참고문헌 [14]에서와 같이 Lab 색상 모델의 이런 특징을 이용하여 입술을 탐지하는데, 먼저 RGB 색상 모델로 주어진 얼굴영역을 Lab 색상 모델로 변환한 다음 얼굴 영역에서 가장 a성분이 높은 픽셀 10개와 가장 a성분이 낮은 픽셀 10개를 각각 선택하여, a 성분이 가장 높은 10 픽셀의 평균 a 값과 b값의 평균 μ1= (a1μ, b1μ)을 구하여 이를 입술과 유사한 색상의 마커로 삼고, 또한 a 성분이 가장 낮은 10픽셀의 평균 a 값과 b값의 평균 μ2=(a2μ, b2μ)을 구하여 입술 색상과 반대 색상의 마커로 삼는다.
이렇게 결정된 입술 후보 영역은 윗입술, 아랫입술, 그리고 입술과 유사한 색상으로서 잡음으로 볼 수 있는 영역들을 포함하는데, 본 논문에서는 잡음을 제거하기 위하여 먼저 입술 후보 영역에 대한 모폴로지 열기 연산을 수행한다. 그런 다음 잡음이 제거된 영상에 단 한 개의 영역이 존재한다면 그 영역을 입술영역으로 결정한다.
입술 유사색상 픽셀을 얻은 후, 얼굴 영역의 모든 픽셀들을 두 개의 마커를 기준으로 최단 이웃 군집화 알고리즘을 이용하여 얼굴 영역 픽셀들을 μ1에 가까운 입술과 유사한 색상과 μ2에 가까운 입술반대 색상으로 분류한다.
본 논문에서는 입력영상으로부터 얼굴을 탐지하고, 탐지된 얼굴영역을 통해 색상군집을 통한 입술탐지 알고리즘을 제안하였다. 제안된 알고리즘은 입력된 영상에서 AdaBoost 알고리즘을 이용하여 얼굴을 추출한 다음 Lab 색상 공간에서 색상 군집화 알고리즘을 이용하여 입술후보영역을 추출한 다음 입술의 기하학적인 특징을 이용하여 입술 영역을 결정하였다. 제안된 알고리즘에 대한 실험을 수행한 결과 입술탐지가 비교적 정확히 이루어짐을 확인하였다.
제안한 알고리즘의 타당성을 보이기 위해 Intel Core i7 930 2.80GHz의 CPU와 4GB의 메모리를 갖는 PC에서 다양한 크기의 영상에 대해 테스트를 수행하였다. 테스트에 사용한 영상의 해상도는 최대 720x540, 최소 320x240 이다.
주어진 얼굴 영역의 픽셀들을 X = {x₁,x₂, ⋯, x_n}이라고 했을 때 얼굴 영역으로부터 입술 유사 색상 픽셀 추출은 다음과 같은 최단 이웃 군집화 알고리즘[18]을 이용하여 얼굴 영역 픽셀들을 입술과 유사한 색상과 그 반대 색상으로 분류한다.

대상 데이터

80GHz의 CPU와 4GB의 메모리를 갖는 PC에서 다양한 크기의 영상에 대해 테스트를 수행하였다. 테스트에 사용한 영상의 해상도는 최대 720x540, 최소 320x240 이다. 테스트 결과 본 논문에서 제안한 알고리즘은 강건하게 입술영역을 탐지함을 확인하였다.

이론/모형

AdaBoost 알고리즘을 이용하여 얼굴을 탐지하기 위하여 Viola 등은 Harr-like Feature를 이용하였는데, 빠른 연산을 위하여 입력 영상에 대한 적분 이미지(integral image)를 먼저 구한다. 그런 다음 주어진 영상을 미리 정의된 일정 크기(sub window)로 분할하여 영상 전체를 스캔하면서 그림 3에서 보이는 것과 같은 마스크를 이용하여 하나의 백색 영역과 흑색 영역의 평균 밝기를 구한 후, 그 차이가 미리 정의된 임계치(threshold)를 넘으면 그 마스크에 대한 영역을 특징으로 추출한다[16].
II.1에서 얻은 얼굴영역으로부터 피부 영역을 추출하기 위하여 본 논문에서는 색상 군집화 알고리즘을 사용하였다. 이를 위하여 먼저 주어진 얼굴 영역의 색상 모델을 Lab 컬러 공간으로 변환시킨다.
주어진 입역 영상으로부터 얼굴을 탐지하기 위하여 본 논문에서는 잘 알려진 AdaBoost 알고리즘을 사용하였다[15]. AdaBoost 알고리즘은 분류 성능이 약한 분류기를 조합하여 분류 성능이 우수한 강한 분류기를 만들어 나가는 알고리즘으로써, 약한 분류기를 여러 단계로 증가시키면서 이전에 분류된 분류기에서 잘못 분류된 특징들에 대해 가중치를 높게 하여 다음분류기에 영향을 받도록 한다.
그림 3에서 A부터 D 내부의 사각형은 서로 다른 Haar-like Feature를 나타낸다. 크기와 종류가 다른 Haar-like Feature들을 추출하고, 이를 AdaBoost 알고리즘에 적용하여 얼굴영역을 추출한다. AdaBoost는 구현이 매우 간단하고, 일반적인 학습 스키마를 이용하기 때문에 다양한 응용이 가능하다.

성능/효과

4) 군집 중심의 변화 값이 거의 없어질 때까지 2) 와 3)을 반복한다.
아랫입술의 가로길이와 윗입술 후보 영역의 가로길이를 비교하여 윗입술이 아랫입술의 가로길이보다 작으면서 아랫입술의 위쪽 방향으로 일정거리 이내에 존재할 경우에는 윗입술 후보영역과 아랫입술 영역 모두를 입술영역으로 결정하고, 그렇지 않으면 아랫입술영역만 입술영역으로 결정한다. 제안된 방법은 입술의 기하학적인 특성을 고려함으로써 입술 영역을 정확하게 추출할 수 있다. 그림 9는 기하학적 특징을 이용하여 입술 영역을 추출하는 과정을 보이고 있는데, 그림 9(a)는 입술과 입술 후보 영역을 보이고 있고, 그림 9(b)는 입술 영역을 기준으로 입술 후보영역이 윗입술인지를 검증하기 위해 입술영역을 가로방향으로 탐색하는 그림을 보이고 있다.
제안된 알고리즘은 입력된 영상에서 AdaBoost 알고리즘을 이용하여 얼굴을 추출한 다음 Lab 색상 공간에서 색상 군집화 알고리즘을 이용하여 입술후보영역을 추출한 다음 입술의 기하학적인 특징을 이용하여 입술 영역을 결정하였다. 제안된 알고리즘에 대한 실험을 수행한 결과 입술탐지가 비교적 정확히 이루어짐을 확인하였다. 향후 제안된 입술탐지 알고리즘에 대한 정량적인 평가가 필요하다.
테스트에 사용한 영상의 해상도는 최대 720x540, 최소 320x240 이다. 테스트 결과 본 논문에서 제안한 알고리즘은 강건하게 입술영역을 탐지함을 확인하였다. 그림 10은 제안된 알고리즘으로 추출된 입술영역들의 예를 보이고 있다.

후속연구

제안된 알고리즘에 대한 실험을 수행한 결과 입술탐지가 비교적 정확히 이루어짐을 확인하였다. 향후 제안된 입술탐지 알고리즘에 대한 정량적인 평가가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인체탐지기술은 무엇인가?	인간 컴퓨터 상호작용을 위한 영상처리 기술은 카메라를 통해 입력되는 영상으로부터 인체를 탐지하는 것이 선행되어야 한다. 인체탐지기술은 지문, 홍채, 얼굴, 목소리 등 사람의 인체 정보 또는 인간의 움직임 등 행동정보를 이용하여 사람을 인지하는 기술을 말하는데, 영상 정보를 통한 인간 컴퓨터 상호작용 기술은 게임을 비롯한 엔터테인먼트, 스마트 기기, 지능형 홈을 비롯한 다양한 분야에서 응용될 수 있다.
	모델에 기반한 입술탐지 방법은 어떤 단점이 있는가?	한편 모델에 기반한 방법은 입술의 형태에 대한 사전 정보를 바탕으로 입술을 탐지하는 방법이다. 이 방법은 매우 강건하게 입술을 탐지할 수 있지만 일반적으로 영상에 기반한 방법보다 계산량이 방대하다는 문제가 있다[6][7]. 하이브리드 방법은 영상 기반 방법과 모델 기반 방법을 결합하여 입술을 탐지하는 방법이다.
	입술 탐지를 위한 기존의 방법들은 어떤 것이 있는가?	인간 컴퓨터 상호작용, 잡음이 심한 환경에서의 음성, 화자 인식 등에서 음성시각(audio-visual) 융합 기술로서 입술 탐지 기술은 효과적으로 적용될 수 있다. 입술 탐지를 위한 기존의 방법들은 영상에 기반한 방법(image based method), 모델에 기반한 방법(model based method), 하이브리드 방법(hybrid method)으로 나눌 수 있다.

참고문헌 (18)

A. Hulbert, T. Poggio, "Synthesizing a color algorithm from examples," Science, New Series, vol. 239, pp. 482-485, 1998.
U. Canzlerm, T. Dziurzyk, "Extraction of non manual features for video based sign language recognition", Proc. of IAPR Workshop, pp. 318-321, 2002.
X. Zhang, R. M. Mersereau, "Lip feature extraction toward an automatic speech reading system", Proc. of IEEE Int. Conf. Image Processing, vol. 3, pp. 226-229, 2000.
M. G. Song, T. T. Pham, J. Y. Kim and S. T. Hwang, "A Study on Lip Detection based on Eye Localization for Visual Speech Recognition in Mobile Environment", Journal of KSCI, Vol. 19, No. 4, pp. 478-484, 2009.

원문보기 상세보기
K. H. Lee, "Face Tracking Using Face Feature and Color Information", Journal of KSCI, Vol. 18. No. 11, pp. 167-174, 2013.

원문보기 상세보기
P. S. Aleksic, J. J. Williams, Z. Wu, A. K. Katsaggelos, "Audiovisual speech recognition using MPEG-4 compliant visual features", EURASIP J. Appl. Signal Processing. pp. 1213-1227, 2002.
R. Kaucic, B. Dalton, A. Blake, "Real-time lip tracking for audio-visual speech recognition applications", Lecture Notes in Computer Science, Vol. 1065, pp. 376-387, 1996.
S. Werda, W. Mahdi, A. Ben-Hamadou, "Colour and geometric based model for lip localization: application for lip-reading system", 14th International Conference on Image Analysis and Processing, pp.9-14, 2007.
C. Bouvier, P.-Y. Coulon, X. Maldague, "Unsupervised lips segmentation based on ROI optimization and parametric model", IEEE International Conference on Image Processing, Vol. 4, pp. 301-304, 2007.
S. W. Chin and K. P. Sengs, "Improved watershed lips detection and modified $H^{\infty}$ tracking system based on lyapunov stability theory", Int'l Conference on IHMSC, Vol. 2, pp. 355-358, 2009.
L. Wang, X. Wang and J. Xus, "Lip detection and tracking using variance based Haar-like features and Kalman filter", Int'l Conference on FCST, pp. 608-612, 2010.
Y. H. Huang, B. C. Pan, S. L. Zheng, J. Pan and Y. Tangs, "Lip-reading detection and localization based on two stage ellipse fitting", Int'l Conference on ICWAPR, Vol. 1, pp. 168-171, 2008.
Y. Pingxian and G. Rongs, "Research on lip detection based on OpenCV", Int'l Conference on TMEE, pp. 1465-1468, 2011.
E. Skodras and N. Fakotakis, "An unconstrained method for lip detection in color images", Int'l Conference on ICASSP, pp. 1013-1016, 2011.
R. Duda, P. Hart, D. Stork, "Pattern Classification" 2nd Edition, pp. 474-482, A Wiley-Interscience Publication, 2000.
P. Viola and M. Jones, "Rapid object using a boosted cascade of simple features", IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. I.511 - I.518, 2001.
A. K. Jain, "Fundamentals of digital image processing", Prentice-Hall, pp. 66-71, 1989.
J. T. Tou, R. C. Gonzalez, "Pattern recognition principles", Addison-Wesley Publishing Company Inc., pp. 75-83, pp. 94-97, 1974.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증