[논문]손 동작 인식을 통한 사용자에게 편리한 핸드마우스 인터페이스 구현

강성원; 김철중; 손원

손 동작 인식을 통한 사용자에게 편리한 핸드마우스 인터페이스 구현
Developing User-friendly Hand Mouse Interface via Gesture Recognition 원문보기

강성원 (경희대학교 전자정보대학) , 김철중 (경희대학교 전자정보대학) , 손원 (경희대학교 전자정보대학)

컴퓨터의 소형화로 휴대성과 공간의 제약이 없는 컴퓨터 인터페이싱 방법의 필요성이 증가하고 있으며, 이와 관련하여 인간-컴퓨터 상호작용(HCI)을 위한 제스처 기반의 제어방식에 대한 연구가 활발하게 진행되고 있다. 기존의 손동작 인터페이스 구현들은 컴퓨터를 제어하기 위하여 사용방법에 대한 선행학습이 필요하였다. 이 논문은 사용자의 손 모양과 손끝 정보만을 가지고 선행학습이 요구되지 않는 간편한 인터페이스 구현방법을 제안하였다. 이를 위해 1대의 웹캠과 인텔의 오픈소스 영상처리 라이브러리 OpenCv를 사용하였다. 차영상과 화소값 기반의 영상처리과정을 통해 실시간으로 손 영역을 추적하고 이를 이진화 시켰다. 손가락의 움직임도 값이 변하지 않도록 중심모멘트를 설정하여 마우스 커서 움직임을 상대적으로 활용하였다. 상황에 따라 손 끝점을 절대적 좌표로 활용하여 손이 웹캠에서 벋어날 때 움직임을 자연스럽게 연결시켰다. 마지막으로 검지의 움직임 하나 만으로 마우스 클릭 이벤트를 수행함으로써 보다 사용자에게 친숙한 핸드마우스 인터페이스를 구현하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 논문에서는 사용자에게 보다 친숙한 손동작을 가지고 이러한 단점을 보완하고자 한다. 이를 위해 손가락에서 가장 많이 사용되는 검지를 활용하였다.
이 논문은 사용자의 손 모양과 손끝 모양 정보만을 가지고 안정적이면서 선행학습이 요구되지 않는 간편한 핸드마우스 인터페이스 구현방법을 목적으로 한다. 컴퓨터 산업의 발전과 더불어 컴퓨터 인터페이스는 인간에게 보다 친숙한 환경으로 변화해 가고 있다.
이 연구는 사용자의 손 모양과 손끝 모양 정보만을 가지고 안정적이면서 선행학습이 요구되지 않는 간편한 핸드마우스 인터페이스 구현방법을 제안하였다.

제안 방법

Cr공간과 Cb공간에 대해서 반복적 이진화 기법을 적용시켰다. 반복적 이진화를 적용하는 이유는 웹캠의 위치가 변하거나 조명 환경이 바뀔 때마다 임계치 값을 변화시켜 환경 변화에 독립적으로 만들기 위함이다.
만약 손의 일정 부분이 촬영되지 않는다면 중심모멘트 값을 구하는데 문제가 발생하기 때문이다. 따라서 촬영되는 영상의 테두리 부분에 영상이 접근하면 마우스가 이동하지 않도록 조정하였다. 마우스의 이동을 살펴보면 동일한 거리를 이동하는데 있어 짧은 시간에 이동하면 마우스 포인터가 상대적으로 더 이동하는 것을 볼 수 있다.
이 논문에서는 반복적 이진화, 모폴로지, 미디언 필터, 라벨링 알고리즘 등을 사용하여 실시간으로 손의 움직임을 추적한다. 또 검지의 움직임을 카운터 하는 방식 사용하여 마우스의 좌, 우, 더블클릭이 가능한, 즉 선행학습 없이 쉽게 사용 할 수 있는 핸드마우스 기법을 제안한다.
이러한 기능을 추가하기 위해 객체의 크기가 포인터를 획득할 수 없을 만큼 작을 경우 마우스 이동을 정지하도록 하였다. 또 다시 손전체가 웹캠의 촬영영역에 들어오기 전까지는 손가락의 끝점의 마우스의 절대좌표로 인지하도록 하여 자연스럽게 마우스 포인터 동작이 이어질 수 있도록 구현하였다.
또한 320× 240해상도를 가지는 웹캠을 사용하여 영상을 입력받으며 사용자와 웹캠간의 거리를 50∼60Cm로 유지하였다.
제안한 방법을 적용하여 마우스 좌표를 이동 할 경우 손가락 부분을 제거한 중심 모멘트를 구해 손이 움직이지 않고, 손가락만 움직인다 하더라도 중심 모멘트의 값은 변하지 않아 안정적으로 포인터 이동을 제어 할 수 있었다. 또한 손이 움직일 때 모멘트의 좌표가 일정량 이상 변하면 이전 프레임과 현재 프레임의 중심모멘트를 비교하여 상대적인 결과 값을 구했다. 이를 현재 위치한 좌표 값을 받아 결과에 입력하면 마우스 포인터가 자연스럽게 이동 한다는 것을 확인 하였다.
마우스 이동과 좌, 우, 더블클릭의 인식률을 알아보기 위해서 왼쪽 하단에서 오른쪽 상단의 아이콘까지 이동한 후 클릭 실험을 하였다. 단 각 실험 당 일정 시간제한을 두었다.
중심모멘트를 이용하여 마우스 좌표의 이동 방향과 거리를 설정할 수 있다. 마우스 포인터를 이동하는 방법에는 상대적 차이를 이용하는 방법과 손끝 점을 이용한 절대적인 좌표 이동 방법을 구현하였다.
손 영역을 분할하여 손가락 모양 변화에 따라 변하지 않는 중심모멘트 값을 획득했다. 따라서 이제 손가락의 움직임은 마우스 포인터 변화에 영향을 주지 않는다.
손가락의 움직임에 무관한 중심 모멘트를 구하기 위해서는 손 전체에서 손가락에 해당하는 부분을 제거하는 방법을 이용하였다. 웹캠에서 거리가 멀어지거나 가까워지더라도 손가락과 손바닥의 비례는 변하지 않는다는 점을 이용한다.
손과 배경을 분리하기 위해서는 차영상을 사용하고, 모폴로지 기법과 사람의 피부만 인식할 수 있는 컬러 추출, 최종적으로 주변 잡음 제거를 위한 알고리즘을 적용하였다. 이 장에서는 효율적으로 손 영역을 추출하는 알고리즘에 관하여 다룬다.
실험을 위해 조도 300∼400LUX의 일정한 조명하에 마우스 포인터 이동 궤적과 클릭을 실험 해 보았다.
컴퓨터를 기반으로 하여 손 영역을 추적하는 기존의 연구들을 보면 동작은 정확하나 계산 량이 많아 속도가 현저하게 느려지거나 선행학습이 요구 된다는 단점이 있다. 이 논문에서는 반복적 이진화, 모폴로지, 미디언 필터, 라벨링 알고리즘 등을 사용하여 실시간으로 손의 움직임을 추적한다. 또 검지의 움직임을 카운터 하는 방식 사용하여 마우스의 좌, 우, 더블클릭이 가능한, 즉 선행학습 없이 쉽게 사용 할 수 있는 핸드마우스 기법을 제안한다.
마우스 클릭의 경우 손가락의 개수를 센다거나 손을 기호화 시키는 경우가 많아 사용방법을 익히는 문제점이 있었다. 이 연구에서는 사전 학습 없이 검지 하나만을 이용해 검지가 굽혀 질 경우 전 프레임과 현재 프레임 간 끝점을 기억한 후 끝점과 손바닥의 거리를 배교해 클릭을 구분하도록 해 이 문제를 개선하였으며 이를 실험 결과로 확인하였다. 이 연구를 통해 제안한 기법으로 적용하면 보다 효율적으로 사용자 친화적인 인터페이스를 구축 할 수 있을 것이라 기대한다.
사용자가 마우스를 이동하고 손이 사라지게 되면 좌표의 이동을 멈춰야 한다. 이러한 기능을 추가하기 위해 객체의 크기가 포인터를 획득할 수 없을 만큼 작을 경우 마우스 이동을 정지하도록 하였다. 또 다시 손전체가 웹캠의 촬영영역에 들어오기 전까지는 손가락의 끝점의 마우스의 절대좌표로 인지하도록 하여 자연스럽게 마우스 포인터 동작이 이어질 수 있도록 구현하였다.
손의 중심모멘트에서 거리정보를 활용하는 방식은 손가락의 모양의 변화에 따라 모멘트의 오차가 발생한다. 이러한 단점을 극복하고자 손 모양 변화에 무관한 중심모멘트를 구하는 방법과 검지 하나로 마우스 이벤트 처리방법을 제안한다.
하지만 더욱 사용자에게 친숙하고 간편한 핸드마우스 인터페이스 방법을 구현하기 위해서는 사용자에게 익숙한 손가락과 행동양식을 사용할 필요가 있었다. 이를 위해 그림 7과 같이 버튼을 누르거나 무언가를 지시할 때 가장 흔히 사용하는 검지를 이용해 마우스 클릭을 표현하였다.
이 논문에서는 사용자에게 보다 친숙한 손동작을 가지고 이러한 단점을 보완하고자 한다. 이를 위해 손가락에서 가장 많이 사용되는 검지를 활용하였다. 검지를 이용하여 포인팅을 표시하는 동작은 방향을 지시하기 위해 쓰이는 가장 빈번한 동작이다.

성능/효과

결론적으로 반복적 이진화를 통해 임계치 값을 바꿔주어 환경에 독립적이면서, 동시에 RGB 공간의 이진화를 통해 피부색을 효율적으로 추출할 수 있다.
또한 손이 움직일 때 모멘트의 좌표가 일정량 이상 변하면 이전 프레임과 현재 프레임의 중심모멘트를 비교하여 상대적인 결과 값을 구했다. 이를 현재 위치한 좌표 값을 받아 결과에 입력하면 마우스 포인터가 자연스럽게 이동 한다는 것을 확인 하였다.
마우스 좌표 이동의 경우 마우스의 좌표를 손의 중심으로 사용하고 이를 이용하여 일정 크기의 원을 그려 원 외각에 존재하는 손가락의 개수를 이벤트로 활용했기 때문에 손이 웹캠에 근접할 때 손가락의 개수를 잘못 센다거나 손가락의 움직임으로 손 전체의 중심모멘트가 달라져 오작동을 일으킨다는 문제점이 있었다. 제안한 방법을 적용하여 마우스 좌표를 이동 할 경우 손가락 부분을 제거한 중심 모멘트를 구해 손이 움직이지 않고, 손가락만 움직인다 하더라도 중심 모멘트의 값은 변하지 않아 안정적으로 포인터 이동을 제어 할 수 있었다. 또한 손이 움직일 때 모멘트의 좌표가 일정량 이상 변하면 이전 프레임과 현재 프레임의 중심모멘트를 비교하여 상대적인 결과 값을 구했다.

후속연구

이 연구에서는 사전 학습 없이 검지 하나만을 이용해 검지가 굽혀 질 경우 전 프레임과 현재 프레임 간 끝점을 기억한 후 끝점과 손바닥의 거리를 배교해 클릭을 구분하도록 해 이 문제를 개선하였으며 이를 실험 결과로 확인하였다. 이 연구를 통해 제안한 기법으로 적용하면 보다 효율적으로 사용자 친화적인 인터페이스를 구축 할 수 있을 것이라 기대한다.
이를 개선하기위해 부가적인 장비 없이 사람의 손만으로 컴퓨터의 입력동작을 제어한다면 보다 더 인간 중심적인 인터페이스 환경이 가능해질 것이다. 그러나 현재 손동작 제스처 기반의 인터페이스 방식들은 손모양이나 동작을 기호화하여 활용하는 것이 많다.

핵심어

질문

논문에서 추출한 답변

논문에서 제안하는 간편한 핸드마우스 인터페이스는?

이 논문은 사용자의 손 모양과 손끝 모양 정보만을 가지고 안정적이면서 선행학습이 요구되지 않는 간편한 핸드마우스 인터페이스 구현방법을 목적으로 한다. 컴퓨터 산업의 발전과 더불어 컴퓨터 인터페이스는 인간에게 보다 친숙한 환경으로 변화해 가고 있다.

손동작 제스처 기반의 인터페이스 방식 중 손모양이나 동작을 기호화하여 활용하는 것의 단점은?

그러나 현재 손동작 제스처 기반의 인터페이스 방식들은 손모양이나 동작을 기호화하여 활용하는 것이 많다.[4] 이같은 방식은 인식률을 높일 수 있지만 선행학습이 필요하다는 단점을 가지고 있다.

현재 컴퓨터에 의사전달을 하기위해 사용 되는 것은?

컴퓨터 산업의 발전과 더불어 컴퓨터 인터페이스는 인간에게 보다 친숙한 환경으로 변화해 가고 있다. 현재 컴퓨터에 의사전달을 하기위해서 사용자는 키보드, 마우스, 타블렛 등의 하드웨어적인 장비를 사용한다. 이러한 방식들은 장비 조작기술 습득과 공간 등의 환경적 제한을 받는다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

손 동작 인식을 통한 사용자에게 편리한 핸드마우스 인터페이스 구현
Developing User-friendly Hand Mouse Interface via Gesture Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

손 동작 인식을 통한 사용자에게 편리한 핸드마우스 인터페이스 구현 Developing User-friendly Hand Mouse Interface via Gesture Recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

손 동작 인식을 통한 사용자에게 편리한 핸드마우스 인터페이스 구현
Developing User-friendly Hand Mouse Interface via Gesture Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper