[논문]얼굴 영역 추적을 통한 향상된 손 영역 추척에 관한 연구

손지수; 김동규; 이승호; 노용만

문제 정의

본 논문에서는 앞서 언급한 드리프트 문제를 해결하기 위해 얼굴 영역 추적을 이용한 향상된 손 영역추적 방법을 제안한다. 제안하는 방법의 특징은 다음과 같다.
본 논문에서는 얼굴과 손동작(hand-to-face gesture) 인식을 위해 향상된 손 영역 추적 방법을 제안하였다. 제안 방법은 Camshift 기반의 손 추적에서 손이 얼굴에 가까워질 때 역투 영에서 파티클 필터로 얻은 얼굴 영역의 값을 줄임으로써 손 영역의 위치를 정확히 추적할 수 있다.
본 절에서는 2.1 절에서 얻은 얼굴 영역 정보를 이용하여 향상된 손 영역 추적 방법에 대해 설명한다. Camshift 에서 추적을 수행할 때, 영상의 매 프레임에서 역투영을 구하게 된다.

가설 설정

그림 2. (가) 기존 Camshift 의역투영 영상, (나) 제안방법의 얼굴 영역 마스크(얼굴 영역 마스크의 중심점은 얼굴 영역의 중심점과 같고, 얼굴 영역과 얼굴 영역 마스크의 너비와 높이의 비율은 각각 0.6, 0.8 로 정하였다), (다) 얼굴 영역이 마스킹 처리된 제안 방법의 역투영 영상
본 논문에서는 파티클 필터로 얼굴 추적을 할 때, 얼굴 검출기에 의해 나온 얼굴의 중심 좌표와 크기로 초기 상태를 정의한다. 또한, 각 파티클은 이전 프레임에서 얻은 상태를 평균으로 하는 가우시안 분포를 따른다고 가정하여 생성한다. 이 때 각 상태에 대한 표준편차는 bx, by, 应泌 로 정의된다.

제안 방법

2) 얼굴 영역 추적 시 발생하는 계산속도 저하를 최소화 하기 위해 낮은 차원의 효율적인 텍스처 특징을 사용하였다. 제안 방법은 초당 30~35 프레임 정도의 속도를 유지하여 대규모의 실시간 처리 손동작 인식 응용에 적합하다.
동영상 프레임 사이즈는 320 x 240이며, 동영상 프레임은 총 940 개이다. 기존의 Camshft 만을 사용한 손 추적 성능과 본 논문의 제안 방법의 성능을 비교하기 위해 동일한 웹캠 동영상에 대해서 비교를 수행하였다.
파티클 필터에서 파티클의 개수는 400 개로 했으며, RGB 히스토그램을 계산할 때, Red, Green, Blue 각 채널에 대해 각각 5개의 빈을 설정 했다. 또한 LBP 는 uniform LBP[6]를 사용했으며, 얼굴 영역에서 위, 아래의 부분을 나누고, 다시 위 부분을 좌, 우 영역으로 나눠, 총 3부분에 대해 LBP 히스토그램을 구했다[10]. 이렇게 얻은 RGB와 LBP 히스토그램에 대해 각각 초기 상태의 RGB와 LBP 히스토그램과의 상관계수(correlation coefficient)를 계산하여각 파티클의 가중치를 계산하였다.
이때 손과 얼굴이 가까우면 반복을 거치면서 손 영역과 더불어 얼굴 영역도 포함하게끔 바운딩 박스가 커지는 문제가 발생한다. 본 논문에서 제안하는 방법은 얼굴 추적으로 얻은 얼굴 영역의 위치와 크기 정보로 Camshift 의 역투영 영상에서 얼굴에 해당되는 영역 값을 줄임으로써 바운딩 박스가 손 영역 내에서 수렴하도록 유도한다. 본 논문에서 얼굴 추적에 사용한 파티클 필터는 얼굴 추적에서 많이 쓰이는 기법 중 하나이며, RGB 히스토그램과 LBP 의 조합을 통해 조명 변화, 폐색, 얼굴 포즈 변화에 강인한 것으로 알려져 있다[8].
관측은 파티클들의 가중 합으로 결정되며, 가중치는 특징 비교에 따른 우도(likelihood)로 결정된다. 본 논문에서는 파티클 필터로 얼굴 추적을 할 때, 얼굴 검출기에 의해 나온 얼굴의 중심 좌표와 크기로 초기 상태를 정의한다. 또한, 각 파티클은 이전 프레임에서 얻은 상태를 평균으로 하는 가우시안 분포를 따른다고 가정하여 생성한다.
얼굴 추적 초기화를 위해 [5] 에서 제안된 얼굴 검출기를 사용하였다. 제안 방법의 다른 모듈들의 동작을 위해서는 얼굴 검출이 선행되어야 한다.
얼굴 추적을 위해 파티클 필터를 사용하였다. 이때 각 파티클들의 가중치는 초기 상태의 RGB 히스토그램, 국부이진패턴(Local Binary Pattern, LBP[6]) 히스토그램과 각 상태의 히스토그램 간의 상관 계수(correlation coefficient)의 가중치 합으로 계산하였다.
웹캠 입력 동영상의 매 프레임에 대해서 HSV 히스토그램 역투영을 계산한다.
따라서 Camshift는 반복을 거쳐 손과 얼굴 영역을 모두 포함하는 영역으로 수렴하게 된다. 이 문제를 해결하기 위해 파티클 필터를 이용하여 추적된 얼굴 영역에 해당하는 부분의 값을 작게 해줌으로써 Camshift 과정 중에 손 영역에서 수렴하도록 유도했다. 그림 2(나)는 제안 방법에서 얼굴 영역에 마스크를 지정하여 역투영 영상에서 얼굴 영역의 값을 줄이는 방법을 나타내고 있다.
10으로 제한하였다. 파티클 필터에서 파티클의 개수는 400 개로 했으며, RGB 히스토그램을 계산할 때, Red, Green, Blue 각 채널에 대해 각각 5개의 빈을 설정 했다. 또한 LBP 는 uniform LBP[6]를 사용했으며, 얼굴 영역에서 위, 아래의 부분을 나누고, 다시 위 부분을 좌, 우 영역으로 나눠, 총 3부분에 대해 LBP 히스토그램을 구했다[10].
피부색 영역을 검출하기 위해서 [기에서 제안된 방법을 사용하였다. 프레임의 각 픽셀의 r, G, B 값들이 특정 조건들을 만족시키면 피부색 영역으로 판별한다.

대상 데이터

받은 동영상으로 수행하였다. 동영상 프레임 사이즈는 320 x 240이며, 동영상 프레임은 총 940 개이다. 기존의 Camshft 만을 사용한 손 추적 성능과 본 논문의 제안 방법의 성능을 비교하기 위해 동일한 웹캠 동영상에 대해서 비교를 수행하였다.
제안 방법의 효용성을 검증하기 위해 웹캠으로 입력 받은 동영상으로 수행하였다. 동영상 프레임 사이즈는 320 x 240이며, 동영상 프레임은 총 940 개이다.

데이터처리

이때 각 파티클들의 가중치는 초기 상태의 RGB 히스토그램, 국부이진패턴(Local Binary Pattern, LBP[6]) 히스토그램과 각 상태의 히스토그램 간의 상관 계수(correlation coefficient)의 가중치 합으로 계산하였다.
또한 LBP 는 uniform LBP[6]를 사용했으며, 얼굴 영역에서 위, 아래의 부분을 나누고, 다시 위 부분을 좌, 우 영역으로 나눠, 총 3부분에 대해 LBP 히스토그램을 구했다[10]. 이렇게 얻은 RGB와 LBP 히스토그램에 대해 각각 초기 상태의 RGB와 LBP 히스토그램과의 상관계수(correlation coefficient)를 계산하여각 파티클의 가중치를 계산하였다.

이론/모형

(1) Meanshift 알고리즘을 수행한다.

성능/효과

(2) Meanshift 가 수렴하면 윈도우 사이즈를 조절한다. (3) (1), (2) 과정을 반복한다.
1) 제안 방법은 추적을 통해 얼굴 영역을 먼저 예측함으로써 얼굴 영역과 손 영역의 위치가 겹치거나 서로 가까이 있을 때 불필요하게 손 영역의 바운딩이 얼굴 영역까지 확장되는 것을 방지할 수 있다.
본 논문에서 제안하는 손 영역 추적 방법에서는 Camshift 기반의 손 추적에서 손이 얼굴에 가까워질 때 역투영 (backprojection)에서 파티클 필터로 얻은 얼굴 영역의 값을 줄임으로써 손의 위치를 추적할 수 있다. 여기서 역투 영이란 영상 내의 각 지점들이 우리가 지정한 영역의 칼라 모델과 유사한 정도를 나타낸 것이다.
웹캠(webcam)으로 입력받은 동영상에 대해 실험을 수행한 결과, 추적된 얼굴 영역 정보를 손 영역 추적에 사용하는 경우 얼굴 영역 정보를 사용하지 않은 경우에 비해 손 영역을 정확히 예측하였다.
제안하였다. 제안 방법은 Camshift 기반의 손 추적에서 손이 얼굴에 가까워질 때 역투 영에서 파티클 필터로 얻은 얼굴 영역의 값을 줄임으로써 손 영역의 위치를 정확히 추적할 수 있다.
사용하였다. 제안 방법은 초당 30~35 프레임 정도의 속도를 유지하여 대규모의 실시간 처리 손동작 인식 응용에 적합하다.
제안 방법이 Camshift 와 파티클 필터를 같이 사용하지만, 거의 대부분의 프레임에서 30 fps 이상의 속도를 유지하였다. 따라서 실시간 처리 응용에 적합하다.

후속연구

이것은 얼굴과 손의 상대적인 위치 관계와 손의 모양의 분석을 통한 사용자 인터페이스나 감성 인식 연구 등에서 유용하게 활용될 수 있을 것이다.
향후 연구는 본 논문의 제안 방법에 영상 분할 (segmentation) 기법을 적용하여 손과 얼굴이 겹칠 때더 세밀한 손의 모양과 위치를 인식하는 것이다. 이것은 얼굴과 손의 상대적인 위치 관계와 손의 모양의 분석을 통한 사용자 인터페이스나 감성 인식 연구 등에서 유용하게 활용될 수 있을 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴 영역 추적을 통한 향상된 손 영역 추척에 관한 연구
Improved Hand Region Tracking Using Face Region Tracking 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴 영역 추적을 통한 향상된 손 영역 추척에 관한 연구 Improved Hand Region Tracking Using Face Region Tracking 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴 영역 추적을 통한 향상된 손 영역 추척에 관한 연구
Improved Hand Region Tracking Using Face Region Tracking 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper