[논문]웹 카메라와 손을 이용한 마우스 기능의 구현

김성훈; 우영운; 이광의

doi:10.9708/jksci.2010.15.5.033

[국내논문] 웹 카메라와 손을 이용한 마우스 기능의 구현
Implementation of Mouse Function Using Web Camera and Hand 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.15 no.5, 2010년, pp.33 - 38

김성훈 (경북대학교 컴퓨터정보학부) , 우영운 (동의대학교 멀티미디어공학과) , 이광의 (동의대학교 멀티미디어공학과)

초록
AI-Helper

본 논문에서는 USB 인터페이스 방식의 웹 카메라를 통해 입력받은 영상을 영상처리 기법을 통해 손의 움직임과 손가락 개수를 파악하여 실시간으로 마우스의 기능을 구현하는 알고리즘을 제안하였다. 웹 카메라로부터 입력받은 RGB 컬러모델 영상을 조명 변화에 강한 YCbCr 컬러 모델 영상으로 변환하여 휘도 성분을 제외한 색차 성분만으로 피부색을 추출해 이진화된 영상으로 만든다. YCbCr 컬러 모델을 이용하여 피부색을 추출할 경우, 주변 환경에 의해 정확한 손 영역을 추출할 수 없어 라벨링(labeling)과 열림(opening) 연산, 닫힘(closing) 연산을 수행하여 정확한 손 영역을 추출한다. 이렇게 추출된 손 영역의 중심을 이용하여 마우스 포인터를 이동시키며 손가락 개수를 이용하여 마우스의 클릭을 수행하였다. 구현된 제안 기법을 실험한 결과, 마우스 포인터 이동을 위한 기능 성공률은 평균 94.0%, 손가락 개수 인식률은 평균 96.0%로 실용화 가능성을 보였다.

Abstract ▼ AI-Helper

In this paper, we proposed an algorithm implementing mouse functions using hand motion and number of fingers which are extracted from an image sequence. The sequence is acquired through a web camera and processed with image processing algorithms. The sequence is first converted from RGB model to YCbCr model to efficiently extract skin area and the extracted area is further processed using labeling, opening, and closing operations to decide the center of a hand. Based on the center position, the number of fingers is decided, which serves as the information to decide and perform a mouse function. Experimental results show that 94.0% of pointer moves and 96.0% of finger extractions are successful, which opens the possibility of further development for a commercial product.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 이 방법은 손가락의 움직임, 폐쇄영역, 손의 회전등으로 인한 형태상의 변화에 민감하다는 단점을 가지고 있다. 본 논문에서는 장비 없이 비전을 이용하는 방법으로 웹 카메라(Web Camera)를 통해 입력된 영상에서 손의 움직임과 손가락 개수를 파악하여 마우스 기능을 구현하고 실험을 통하여 실용화 가능성을 보인다.

제안 방법

영상처리 과정은 우선 배경과 손을 분리하여 손 영역을 추출한다. 정확한 손 영역을 추출하기위해 라벨링(labeling)과 열림(opening) 연산, 닫힘(closing) 연산을 수행한다. 손 영역 추출 후, 손의 중심을 파악한다.
YCbCr 컬러모델의 Cb, Cr 정보는 RGB 컬러모델에 비해 밝기의 변화에 덜 민담하기 때문에 밝기의 변화에도 안정적인 결과를 보인다. 본 논문에서는 영상을 YCbCr 컬러모델 영상으로 변환하여 손 영역을 배경과 분리한다.
YCbCr 컬러모델을 이용하더라도 그림 2와 같이 주변환경에 의해 잡음이 발생하면 정확한 손 영역을 추출하기 어렵다. 따라서 잡음을 제거하기 위해 라벨링을 수행한다. 이진 영상을 라벨링하는 가장 간단한 방법은 Grassfire 알고리즘이다[8].
본 논문에서는 자기호출을 사용하는 대신 고속으로 동작하면서 아주 큰 영역을 라벨링하는 것도 가능한 스택을 이용한 반복문 형태를 사용한다. 그림 3과 같이 라벨링을 통해 잡음을 제거한다.
음함수 원의 방정식을 이용하여 영상의 모든 좌표를 방정식에 대입해 그림 9와 같이 두 원 사이의 손가락 영역을 찾게 된다. 원의 방정식을 이용해 손가락 영역을 추출한 후, 손가락 개수 파악을 위해 경계 추적을 한다. 경계추적을 통하여 영상에서 연결된 영역을 하나의 손가락으로 판단한다.
00GB RAM에서 구현하였다. 제안한 알고리즘을 효율적으로 구현하고 정확한 실험을 하기 위해 그림 12와 같이 손 마우스 프로그램을 제작하여 사용하였다.
표 1에서와 같이 손목이 포함되지 않은 영상과 손목이 포함된 영상 모두 같은 인식률을 보였으며 손가락 개수가 많아질수록 인식률은 낮아진다는 것을 볼 수 있다. 마우스 클릭 기능은 손가락 개수에 따라 좌 클릭과 우 클릭을 수행하게 설정하였다. 손가락의 개수가 4개일 경우 좌 클릭을 수행하며 손가락의 개수가 2개일 경우 우 클릭을 수행한다.
본 논문에서 제안한 손 마우스 알고리즘은 웹 카메라로부터 입력된 영상에서 실시간으로 손을 인식하여 마우스 대신으로 사용함으로써 마우스 포인터 이동 및 마우스 클릭 기능을 대신한다. 실험 결과 제안한 방법은 안정적으로 마우스 포인터를 제어 할 수 있었다.

대상 데이터

본 논문에서는 KOCOM회사의 KMC-90 VGA USB 웹 카메라 모델을 사용하였고 Pentium(R) 4 CPU 2.80GHz, 1.00GB RAM에서 구현하였다. 제안한 알고리즘을 효율적으로 구현하고 정확한 실험을 하기 위해 그림 12와 같이 손 마우스 프로그램을 제작하여 사용하였다.

성능/효과

본 논문에서 제안한 손 마우스 알고리즘은 웹 카메라로부터 입력된 영상에서 실시간으로 손을 인식하여 마우스 대신으로 사용함으로써 마우스 포인터 이동 및 마우스 클릭 기능을 대신한다. 실험 결과 제안한 방법은 안정적으로 마우스 포인터를 제어 할 수 있었다. 그러나 기존의 마우스보다 정교한 제어를 할 수 없으며 컬러 정보를 이용하기 때문에 피부색과 유사한 색의 물체가 손과 함께 나타날 경우 손을 잘 인식하지 못하고, 손가락의 개수가 빠르게 변하거나 손가락이 겹쳐질 경우 개수의 인식률이 낮아지는 단점이 있다.

후속연구

그러나 기존의 마우스보다 정교한 제어를 할 수 없으며 컬러 정보를 이용하기 때문에 피부색과 유사한 색의 물체가 손과 함께 나타날 경우 손을 잘 인식하지 못하고, 손가락의 개수가 빠르게 변하거나 손가락이 겹쳐질 경우 개수의 인식률이 낮아지는 단점이 있다. 이러한 문제점은 향후 연구 및 보완되어야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	손은 어떻게 활용 되는가?	손은 인간이 많이 사용하는 신체 부위중 하나로 편리한 인터페이스 도구로 활용된다. 손의 동작을 인식하고, 인식된 정보를 사용하면 실시간 휴먼 인터페이스를 구현할 수 있다.
	손동작 인식 방법은 무엇이 있나?	손동작 인식 방법은 장비를 이용한 방법과 비전을 이용한 방법이 있다. 장비를 이용하는 방법은 사용자가 직접 장비를 몸에 착용하고, 장비에 부착된 센서를 이용하여 손동작을 인식하거나, 손에 마킹을 하여 이 마킹 점을 추출함으로써 손동작을 인식하는 것이다[5].
	손동작 인식에 관한 연구에서 나타나는 어려움은 무엇인가?	이런 점에서 손동작 인식에 관해 많은 연구가 이루어지고 있다[1][2][3]. 하지만 손의 움직임이 빠르고 복잡하기 때문에 실시간으로 정확하게 인식하기 힘들다. 따라서 이를 실용화하는데 많은 어려움이 있다[4].

참고문헌 (9)

이동욱, 김수동, 이동석, 유지상, "마우스 포인터 제어를 위한 실시간 손 인식 알고리즘," 한국방송공학회 학술발표대회논문집, 211-214쪽, 2008년 11월.
김상호, "손 제스처를 사용한 홈 엔터테인먼트 시스템을 위한 비젼 기반의 인터페이스," 경북대학교대학원 석사학위논문, 2004년.
김주황 ,박정훈 ,전종서 ,강민구 ,이승현, "OpenCV를 이용한 마우스의 손 동작 인식," 한국인터넷정보학회 학술발표대회 논문집, 제20권, 303-306쪽, 2009년 10월.
김종민, "에지 방향성 히스토그램을 이용한 실시간 손 형상 인식," 전남대학교대학원 석사학위논문, 2004년.
김인철, 이남호, 이용범, 진성일, "Polhemus 센서의 궤적 정보 해석을 이용한 스트로크 기반의 손 제스처 인식," 전자공학회논문지C, 제36권, 제8호, 46-53쪽, 1999년 8월.
김건우 ,이원주 ,전창호, "웹캠을 이용한 손동작 인식 방법," 대학전자공학회 학술대회논문집, 619-620쪽, 2008년 6월.
N. Otsu, "A threshold selection method from gray-level histogram," IEEE Trans. on System Man Cybernetic, Vol.9, No.1, pp.62-66, Jan., 1979.

상세보기
강 동중, 하 종은, "Visual C++을 이용한 디지털 영상처리," 사이텍미디어, 서울, 2003년 3월.
이정헌,이준형, "영상처리 알고리즘 구현에서 소스코드 재사용을 위한 제너릭프로그래밍 방법에 관한 연구," 한국컴퓨터정보학회논문지, 제 10권, 제 3호, 19-34쪽, 2005년 3월.

원문보기 상세보기

저자의 다른 논문 :

원문 URL 링크

DOI : 10.9708/jksci.2010.15.5.033 [무료]
Korea Open Access Journals : 저널
DBPia : 저널
AccessON : 저널

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증