[논문]환경 변화에 강인한 구조 기반 손 영역 탐지

임경진; 전미연; 홍록기; 서성원; 신미혜; 김의정

[국내논문] 환경 변화에 강인한 구조 기반 손 영역 탐지
Robust Hand-Region Detecting Based On The Structure 원문보기

임경진 (공주대학교 컴퓨터교육과) , 전미연 (공주대학교 컴퓨터교육과) , 홍록기 (공주대학교 컴퓨터교육과) , 서성원 (공주대학교 컴퓨터교육과) , 신미혜 (공주대학교 컴퓨터교육과) , 김의정 (공주대학교 컴퓨터교육과)

본 논문에서는 웹캠으로 입력받은 컬러 영상에서 손의 구조정보를 활용하여 위치를 탐지하고 손동작을 인식하는 방법을 제시한다. 본 시스템에서는 피부색을 기반으로 영상을 이진화하고, 라벨링한다. 각각의 라벨링된 영역 내에서 Voronoi Diagram을 활용한 최대 내접원(Maximum Inscribed Circle)을 탐색하여 손의 중심점을 찾고 최대 내접원과 연결된 타원 성분을 분석하여 손 영역을 추출한다. 그리고 여기에서 찾아진 최대 내접원과 타원 성분을 손동작 인식의 특징점으로 사용한다. 제안하는 알고리즘은 다양한 환경에서 손을 인식할 때 문제가 되는 배경에서의 유사한 색상을 가진 물체를 효과적으로 제거할 수 있는 장점이 있다.

In this paper, it presents to detect location using structural information of hand from the input color images on Webcam and to recognize hand gestures. In this system, based on the skin color, the image changes a binary number and labels. Within each labeled area, we can find the Maximum Inscribed Circle using Voronoi Diagram. This circle can find the center of hand. And the circle extracts hand region from analyzing the ellipse elements to relate Maximum Inscribed Circle. We use the Maximum Inscribed Circle and the ellipse elements as characteristic of hand gesture recognition. In various environments, we cannot recognize the object that have similar colors like the background colors. But the proposed algorithm has the advantage that can be effectively eliminated about it.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 단점을 해결하기 위해 웹캠으로 입력받은 영상에서 손의 구조 정보를 분석하되 별도의 모델과의 정합과정을 거치지 않고 손의 상태를 확인할 수 있는 최소한의 정보만을 활용하여 손을 탐색하는 방법을 제안한다. 제안하는 시스템의 전체 구성은 그림 1과 같다.
본 논문에서는 캠으로 입력받은 영상에서 색상을 기반으로 피부영역을 추출하였으며, 추출된 영역의 구조를 분석하여 손 영역을 탐지하는 방법을 제안하였다. 기존 색상 기반의 손 인식에서 문제가 되는 빛의 영향을 최소화하기 위해 YCbCr 색상모델을 사용하고, Voronoi Diagram을 활용한 최대 내접원을 추출하여 손바닥과 손가락의 구분을 명확하게 하였으며, 해당 영역에서 손가락에 해당하는 타원성분을 분석하여 해당 영역이 손에 해당하는 영역인지 아닌지를 판별하여 배경에서 피부색과 유사한 물체가 있어도 정확하게손 영역만을 검출할 수 있는 손동작 인식 방법을 제안하였다.

제안 방법

본 논문에서는 캠으로 입력받은 영상에서 색상을 기반으로 피부영역을 추출하였으며, 추출된 영역의 구조를 분석하여 손 영역을 탐지하는 방법을 제안하였다. 기존 색상 기반의 손 인식에서 문제가 되는 빛의 영향을 최소화하기 위해 YCbCr 색상모델을 사용하고, Voronoi Diagram을 활용한 최대 내접원을 추출하여 손바닥과 손가락의 구분을 명확하게 하였으며, 해당 영역에서 손가락에 해당하는 타원성분을 분석하여 해당 영역이 손에 해당하는 영역인지 아닌지를 판별하여 배경에서 피부색과 유사한 물체가 있어도 정확하게손 영역만을 검출할 수 있는 손동작 인식 방법을 제안하였다. 그리고 제안된 방법의 효율성을 확인 하기 위해 Visual studio와 OpenCV를 이용하여 프로그램으로 구현하여 제안된 방법이 효과적으로 손 영역을 탐지해 내는 것을 확인하였다.
첫 번째 단계는 전처리 단계로 이미지의 처리 시간 단축을 위해 영상에서 피부색을 기반으로 영상을 이진화하고 이진화 된 영상을 각 세션별로 분할한다. 두 번째로 각각의 세션별 최대 내접원(Maximum Inscribed Circle)을 구한 후 해당 세션에서 최대 내접원 영역을 제외한 영역에서 타원 성분을 검출한다. 이때 최대 내접원과 검출된 타원 성분의 구조를 분석하여 손 영역을 탐지하고 구성성분을 손동작 인식의 특징점으로 사용한다.
피부색 영역을 추출하여 이진화 된 영상의 각각의 분할된 영역을 레이블링 한다. 본 논문에서는 간단한 반복적 레이블링 기법에서 한번 방문한 픽셀을 다시 방문하지 않도록 하여 반복적 레이블링 기법의 비효율적인 면을 개선한 방법[8]을 사용 한다.
본 시스템은 기존의 연구 중 피부의 색상 성분만을 이용하여 손 영역을 추출하는 방법에서 피부색과 유사한 물체가 배경에 있을 때 손 영역을 정확히 찾아낼 수 없던 문제를 해결하고, 3D 모델 등에 매칭하는 손동작 인식 방식에서 나타나는 많은 양의 데이터 처리를 간소화 하여 전체 시스템의 처리 속도를 높였다.
이 절에서는 손의 구조 정보를 활용하여 환경 변화에 강인한 손 탐지와 손동작 인식 시스템을 제안한다. 전체 시스템은 세 가지 주요 단계로 나누어진다.
일반적인 사무실 환경에서 소형 웹캠을 사용하여 5분간 손의 위치 및 상태를 변경하며, 처리되는 프레임 수와 손의 상태를 기록하여 처리 결과를 분석하였다. 손의 위치는 [그림 4]와 같이 총 6개의 영역으로 구분하여 기록하였으며, 손의 상태는 손의 개수, 손가락의 개수를 기록하였다.
실험을 위해 제작된 프로그램의 실행 결과는[그림 5]와 [표 2]에 표시하였다. 전체 탐지 성능을 평가하기 위하여 5분간 손의 위치와 상태를 변경하며 해당 프레임의 손의 상태를 기록하였다. 처리된 총 프레임은 7,853프레임으로 초당 23프레임의 처리 성능을 보였으며, 영상 내에서 손의 위치를 정확히 찾은 경우는 7,651프레임으로 97.
제안하는 방법의 효율성을 보이기 위해 Visual C++와 OpenCV 라이브러리를 이용하여 구현였으며, 일정 프레임 동안 일정 동작을 인식시켜 영상내 손동작 인식 상태를 기록하였다.
피부색 영역을 추출하여 이진화 된 영상의 각각의 분할된 영역을 레이블링 한다. 본 논문에서는 간단한 반복적 레이블링 기법에서 한번 방문한 픽셀을 다시 방문하지 않도록 하여 반복적 레이블링 기법의 비효율적인 면을 개선한 방법[8]을 사용 한다.

이론/모형

손바닥이 제거된 영상에서 최소자승법(least - squares)을 이용하여 타원 성분을 추출하고 타원의 장축의 연장선이 최대 내점원의 할선이 되는지 검사하여 해당 영역이 손인지 아닌지를 판별 한다. 이렇게 생성된 최대 내접원과 타원 성분은 각각 손의 중심점과 손가락을 의미한다.
영상에서 중심점을 찾는 방법으로는 무게중심, 거리변환을 통한 최단거리 탐색등 여러 가지 방법이 있는데 이러한 방법은 영상에서 손 후보영역 전체 픽셀을 사용하기 때문에 손바닥과 손가락의 구분이 정확히 이루어지지 않는 단점이 있다. 이러한 단점을 해결하기 위해 Voronoi Diagram[9]을 활용한 최대 내접원을 활용하여 각 세션별 중심점을 탐색 한다. 이때 추출 되는 중심점은 손 영역 전체의 중심점이 아니라 손바닥의 중심점을 표시하게 된다.
손의 구조적 정보를 사용하여 손을 인식하기 위한 방법은 크게 세 가지로 구분할 수 있다. 첫 번째는 주성분 분석(Principal Component Analysis)을 기반으로 한 변형이 가능한 손 모양 모델의 사용이다[1]. 이 방법은 손의 정확한 포즈를 추정할 수 없다는 단점이 있다.

성능/효과

기존 색상 기반의 손 인식에서 문제가 되는 빛의 영향을 최소화하기 위해 YCbCr 색상모델을 사용하고, Voronoi Diagram을 활용한 최대 내접원을 추출하여 손바닥과 손가락의 구분을 명확하게 하였으며, 해당 영역에서 손가락에 해당하는 타원성분을 분석하여 해당 영역이 손에 해당하는 영역인지 아닌지를 판별하여 배경에서 피부색과 유사한 물체가 있어도 정확하게손 영역만을 검출할 수 있는 손동작 인식 방법을 제안하였다. 그리고 제안된 방법의 효율성을 확인 하기 위해 Visual studio와 OpenCV를 이용하여 프로그램으로 구현하여 제안된 방법이 효과적으로 손 영역을 탐지해 내는 것을 확인하였다.
4%에 해당하는 인식률을 나타냈다. 또한 손가락의 개수와 손의 개수는 전체 프레임의 90.8%에서 정확히 인식하는 것으로 보였다. 이 인식률은 전체 프레임을 대상으로 각각의 프레임에 대한 정확한 인식 여부를 표시한 것으로 동작이 변경되는 도중이나 빛의 깜박임 등 실제적인 동작의 인식에는 큰 영향을 주지 않는 프레임 등도 포함되어 있기 때문에 실제 동작에 대한 인식률은 더 높게 나타난다.
본 논문에서 제안하는 방법은 [그림 5]에서 볼수 있는 것처럼 잡음이 심한 배경과 조명의 변화가 심한 배경에서도 정확히 손의 위치를 탐지하는 결과를 볼 수 있으며, 영상에 얼굴이 포함되어 있어도 얼굴 영역을 제외하고 정확히 손을 찾아내는 것을 볼 수 있다.
전체 탐지 성능을 평가하기 위하여 5분간 손의 위치와 상태를 변경하며 해당 프레임의 손의 상태를 기록하였다. 처리된 총 프레임은 7,853프레임으로 초당 23프레임의 처리 성능을 보였으며, 영상 내에서 손의 위치를 정확히 찾은 경우는 7,651프레임으로 97.4%에 해당하는 인식률을 나타냈다. 또한 손가락의 개수와 손의 개수는 전체 프레임의 90.

후속연구

본 논문에서 제안한 방법은 손과 손, 손과 얼굴등 유사한 색상을 가진 물체의 겹침 문제에 대해서는 고려하지 않았기 때문에 향후 유사한 색상의 겹침 문제의 해결을 위한 연구가 필요하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 환경 변화에 강인한 구조 기반 손 영역 탐지
Robust Hand-Region Detecting Based On The Structure 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 환경 변화에 강인한 구조 기반 손 영역 탐지 Robust Hand-Region Detecting Based On The Structure 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 환경 변화에 강인한 구조 기반 손 영역 탐지
Robust Hand-Region Detecting Based On The Structure 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper