[논문]HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식

김장운; 김송국; 홍석주; 장한별; 이칠우

문제 정의

본 논문에서는 피부색 정보와 HLF를 이용하여 손 영역을 검출하고 손 포즈를 인식하는 시스템을 구현하였다. Viola 탐지기는 적분 이미지로 표현한 이미지에 하알 특징을 추출하고, Adaboost 알고리즘으로 학습 및 탐지하는 방식으로 발견율이 높고 탐지 속도가 빠른 것으로 알려져 있다.
본 연구에서는 Violar가 얼굴인식에 사용했던 방법을 손 영역 탐지에 적용하려 하였다. 그러나 손 영역은 얼굴에 비해 자유도가 높아 움직임이나 기울어짐이 크다.
이런 점에서 손동작과 형상인식에 관해 그동안 많은 연구가 이루어져왔지만 손은 움직임이 매우 빠르고 3차원적으로 복잡한 형상을 가진 까닭에 실용화에 이르기까지는 많은 어려움이 예측되고 있다. 본 연구에서는 이와 관련된 몇 가지 문제점을 해결하기 위해 손동작 인식 방법을 이용하여 자연스럽고 편리하게 인간과 컴퓨터가 효율적으로 상호작용 할 수 있는 방법을 제안한다.

가설 설정

· 아주 느린 훈련: 각 순환단계에서 특징 샘플 집합의 크기에 비례하여, 알고리즘은 샘플의 특징을 계산할 시간이 필요하게 된다. 수천의 positive와 negative의 샘플과 20개의 특징 집합을 가지고 훈련시킨다면 많은 시간이 소용된다.
· 약한 분류기와 데이터에 의존적 결과: 최종 탐색의 성능은 훈련 데이터를 통해 학습하기 때문에, 사용된 훈련 데이터에 대한 의존성이 강하다. 좋지 못한 샘플을 사용하여 최적의 특징이 잘 선택되지 않는다면 성능은 그 만큼 저하될 것이다.

제안 방법

학습은 OpenCV 소프트웨어[6]를 사용하였다. 각 이미지에서 해당 영역을 찾아 관심 영역으로 등록시켜 하알 특징을 추출하게 하였다. 학습 알고리즘은 Discrete Adaboost를 이용하였고 윈도우 사이즈는 20*20을 이용하였다.
그러나 배경이 복잡한 영상에서는 배경영역이 특징 값으로 추출될 수 있어 인식률이 낮다. 따라서 피부색 특징을 이용한 방법으로 배경영역을 제거함으로서 손 영영만의 특징을 추출하도록 하였다. 또한 피부색 특징을 이용한 방법의 단점을 HLF가 보안 해줘 좋은 인식률을 얻을 수 있었다.
본 논문에서는 픽셀 자체를 이용하는 것보다 영상이 가지고 있는 특징을 더 잘 압축할 수 있는 HLF를 손 형상을 인식하는 인식자로 사용하였다. 이는 학습 알고리즘에서 학습 입력정보를 줄여주고 반면에 학습 결과의 다양성을 증가시켜주면서 더욱 쉬운 분류가 가능하게 한다.
손이 검출되면 다음으로 포즈를 인식한다. 손의 포즈는 미리 학습된 HLF를 Adaboost-haar classifier를 이용 패턴 분류를 하여 손 포즈를 인식하였다.
실제 손 형상인식 시스템의 어려움은 손의 존재를 검출하는 것이고, 다음으로 알려진 정보를 이용하여 손을 확인하고 손동작을 정확히 인식하는 일련의 과정이 실시간에 이루어져야 한다는 것이다. 이러한 문제를 고려하여 본 논문에서는 손 영역의 검출을 용이 하게 하기 위해 피부색 정보를 이용하여 손이 후보영영을 검출하고 검출된 영역으로 부터 HLF를 사용하여 손의 존재 여부를 판단한다. 손이 검출되면 다음으로 포즈를 인식한다.
이로 인해 관심 영역과 비관심 영역의 구분을 필요로 하는 문제가 발생한다. 이러한 이류로 본 연구에서는 피부색 정보와 HLF를 이용하여 손 영역을 탐지 하였다. HLF는 사각형의 특징을 이용하여 경계 및 영역간의 차이로 관심 대상을 탐지하기 때문에 경계에 대해서도 융통성을 가지며 기타 우리가 흔히 알지 못하는 다른 적절한 특징들도 사용할 수 있다.
전체 시스템은 그림 2와 같이 먼저 카메라로부터 얻어진 전체 영상 이미지에서 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고, 그 후보 영역에 대해서 패턴 분류를 하여 손 영역을 검출하였다. 패턴 분류 방법으로 HLF를 이용한 Addaboost 알고리즘을 이용하여 다른 방법들에 비해 우수하고 성능 면에서 향상된 효과적인 손 검출 방법을 실시하였다.
하지만, 얼굴 검출에 쓰였던 5가지 모양의 HLF를 가지고 손 포즈를 효과적으로 검출 할 수 없기 때문에 추가로 HLF(그림3)를 사용하였다. 추간된 HLF를 가지고 그림 5와 같이 4가지 포즈에 대해 다양한 view direction으로 데이터 베이스를 구축하고 구축된 데이터 베이스를 정규화된 공간에서 Feature를 추출하고 추출된 특징을 훈련을 함으로써 특징들간의 연관성, 즉 각각의 손 포즈에 대한 관련성을 파악하여 훈련 데이터 모델을 구성하여 비교를 함으로서 손 포즈를 인식하게 된다. 그림 5는 포즈 인식에 사용된 한 손가락 두 손가락, 다섯 손가락, 주먹을 나타내고 있다.
전체 시스템은 그림 2와 같이 먼저 카메라로부터 얻어진 전체 영상 이미지에서 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고, 그 후보 영역에 대해서 패턴 분류를 하여 손 영역을 검출하였다. 패턴 분류 방법으로 HLF를 이용한 Addaboost 알고리즘을 이용하여 다른 방법들에 비해 우수하고 성능 면에서 향상된 효과적인 손 검출 방법을 실시하였다. 손 영역을 찾으면 손 영역의 패턴 분류 과정을 거쳐 손 포즈를 인식하게 된다.

대상 데이터

positive 샘플은 남녀 각각 4명씩 카메라를 이용하여, 거리는 3가지로 나누어 가까이, 보통, 먼 거리, 각각 100장씩 수집하였다. 7200장 중 학습데이터로 5000을 나머지 2200을 테스트 데이터로 이용하였다. negative 데이터는 주위에 배경과 기타 자연 배경을 바탕으로 10000장을 수집했다.
7200장 중 학습데이터로 5000을 나머지 2200을 테스트 데이터로 이용하였다. negative 데이터는 주위에 배경과 기타 자연 배경을 바탕으로 10000장을 수집했다.
손의 생김새를 한 손가락 두 손가락 세 손가락, 네 손가락, 다섯 손가락, 주먹으로 나누어 데이터를 획득하였다. positive 샘플은 남녀 각각 4명씩 카메라를 이용하여, 거리는 3가지로 나누어 가까이, 보통, 먼 거리, 각각 100장씩 수집하였다. 7200장 중 학습데이터로 5000을 나머지 2200을 테스트 데이터로 이용하였다.
손 영역 탐지에서는 표준 데이터가 없으므로, 다음과 같이 나누어 보았다. 손의 생김새를 한 손가락 두 손가락 세 손가락, 네 손가락, 다섯 손가락, 주먹으로 나누어 데이터를 획득하였다. positive 샘플은 남녀 각각 4명씩 카메라를 이용하여, 거리는 3가지로 나누어 가까이, 보통, 먼 거리, 각각 100장씩 수집하였다.
계산 시간은 두 집합의 크기에 비례하여 증가한다. 실제 Viola-Jones 탐색기는 3000개의 샘플을 실험하였는데 훈련 시간은 약 일주일이 소요되었다.
본 논문에서는 기울어진 대상에 대해서도 인식률을 높이기 위해 Rainer Lienhartt가 제안한 추가의 HLF들을 사용하였다. 즉 그림 3에서 보는 바와 같은 기본 haar 원형들을 45도로 기울인 HLF들을 추가로 사용하였다. 그림 4 a)는 카메라로부터 들어오는 영상이고 b)는 칼라 필터를 적용하고 HLF를 이용하여 손 영역을 검출한다.
최근 이 HLF를 이용하여 손 포즈 인식 분야로 그 범위를 넓히고 있다. 하지만, 얼굴 검출에 쓰였던 5가지 모양의 HLF를 가지고 손 포즈를 효과적으로 검출 할 수 없기 때문에 추가로 HLF(그림3)를 사용하였다. 추간된 HLF를 가지고 그림 5와 같이 4가지 포즈에 대해 다양한 view direction으로 데이터 베이스를 구축하고 구축된 데이터 베이스를 정규화된 공간에서 Feature를 추출하고 추출된 특징을 훈련을 함으로써 특징들간의 연관성, 즉 각각의 손 포즈에 대한 관련성을 파악하여 훈련 데이터 모델을 구성하여 비교를 함으로서 손 포즈를 인식하게 된다.

이론/모형

HSI 칼라 모델은 HSV와 같은 모델로 색채H, 채도S, 명도I(V)들의 값을 나타낸다. 따라서 본 논문에서는 RGB 칼라 모델을 HSI 칼라 모델로 변환을 하여 사용을 한다. 명도 부분을 색상에서 제외시킴으로서 다이내믹하게 조명이 변하는 상황에도 좋은 결과를 나타낸다.
때문에 기본 HLF만을 이용할 경우 원하는 인식률을 얻기가 어렵다. 본 논문에서는 기울어진 대상에 대해서도 인식률을 높이기 위해 Rainer Lienhartt가 제안한 추가의 HLF들을 사용하였다. 즉 그림 3에서 보는 바와 같은 기본 haar 원형들을 45도로 기울인 HLF들을 추가로 사용하였다.
그러나 특징 집합을 모두 적용한다면 픽셀 수 보다 훨씬 많은 특징들을 계산해야 하기 때문에 많은 시간을 요하게 된다. 이러한 문제점을 해결하기 위해 Viola는 Adaboost(Adaptive Boosting)라 불리는 알고리즘을 사용하였다. Adaboost 학습 알고리즘의 과정을 간단하게 요약해보면 다음과 같다.
각 이미지에서 해당 영역을 찾아 관심 영역으로 등록시켜 하알 특징을 추출하게 하였다. 학습 알고리즘은 Discrete Adaboost를 이용하였고 윈도우 사이즈는 20*20을 이용하였다. 학습 수행시간은 CPU 2.

성능/효과

· 훈련하는 에러는 이론적으로 거의 0에 가까이 수렴: Freund와 Schapire의 증명에 따르면, positive와 negative의 유한집합이 주어지고 충분한 단계를 거치면 훈련 시 발생되는 에러는 거의 0에 도달함을 보인바 있다.
따라서 피부색 특징을 이용한 방법으로 배경영역을 제거함으로서 손 영영만의 특징을 추출하도록 하였다. 또한 피부색 특징을 이용한 방법의 단점을 HLF가 보안 해줘 좋은 인식률을 얻을 수 있었다. 물론 장시간의 학습 시간과 많은 데이터의 양을 다루어야 하는 점, 그리고 여전히 얼굴과의 겹침에 대한 처리는 할 수 없다는 문제점들이 있다.
실험 결과는 과 같이 손 영역은 총 23 단계의 캐스케이드와 특징 수 18개로 구성 되었고 탐지율은 96.8%, 1.4%의 오판율을 보였으며, 손 포즈 인식은 각 포즈마다 23단계의 캐스케이드와 특징 수 18개로 구성되었고 인식률은 86% ~96%의 인식률을 보였다.

후속연구

물론 장시간의 학습 시간과 많은 데이터의 양을 다루어야 하는 점, 그리고 여전히 얼굴과의 겹침에 대한 처리는 할 수 없다는 문제점들이 있다. 본 제안 방법은 앞으로 손 영역과 얼굴의 겹침 해결 등에 관한 연구가 이루어진다면 빠른 탐지 성능으로 인해 새로운 인터페이스로 사용하기에 충분하리라 여겨진다.

핵심어	질문	논문에서 추출한 답변
	HLF이란 무엇인가?	Viola[7]가 처음 얼굴 검출에서 사용한 HLF는 가장 간단하면서도 효율적인 인식자로 쓰인다. HLF는 Haar wavelets과 개념이 적으로 동일한 것으로 이웃 영역의 강도의 차이를 계산하는 기본 함수 의 집합이다. 픽셀을 직접 처리하는 방법 보다 HLF를 이용하는 것이 많은 이점들이 있다.
	픽셀 직접 처리 방법보다 HLF을 사용하는 경우 장점은 무엇인가?	픽셀을 직접 처리하는 방법 보다 HLF를 이용하는 것이 많은 이점들이 있다. 가장 주된 이점은 픽셀 방식에서 표현이 어려운 모델에 대해서도 좀 더 학습하기 쉽게 표현할 수 있고 속도 면에서도 상당히 빠른 결과를 보인다는 점이다.
	실제 손 형상인식 시스템 구현 시 애로사항은 무엇인가?	실제 손 형상인식 시스템의 어려움은 손의 존재를 검출하는 것이고, 다음으로 알려진 정보를 이용하여 손을 확인하고 손동작을 정확히 인식하는 일련의 과정이 실시간에 이루어져야 한다는 것이다. 이러한 문제를 고려하여 본 논문에서는 손 영역의 검출을 용이 하게 하기 위해 피부색 정보를 이용하여 손이 후보영영을 검출하고 검출된 영역으로 부터 HLF를 사용하여 손의 존재 여부를 판단한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식
Real-time Hand Pose Recognition Using HLF 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식 Real-time Hand Pose Recognition Using HLF 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식
Real-time Hand Pose Recognition Using HLF 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper