[논문]적외선 센서를 사용한 손 동작 인식

안준영; 이상화; 조남익

문제 정의

최근에 미래 사용자 인터페이스 기술로 대두된 가상현실(VR)과 증강현실(AR) 시스템을 구현하는데 있어서 손동작 인식은 필수적으로 들어가야 할 기술이다. 본 논문에서는 거리변환 방법과 convex hull 알고리즘, farneback optical flow 알고리즘을 사용하여 손동작을 인식하도록 구현함으로써 거의 실시간으로 동작하는 빠르고 정확한 손동작 인식 방법을 제안하였다. HMD(head mount display)나 모바일 환경에서도 동작 할 수 있도록 RGBD 카메라 대신 적외선 센서를 사용하는 시스템을 구성하였고, 동작을 확인하였다.
본 논문에서는 손동작 인식을 구현하기 위하여 기본적인 이동, 클릭, 정지의 3가지 동작을 구분하도록 하였다. optical flow를 계산하여 평균을 구한 후, 손가락과 손바닥 부분의 optical flow 차이를 계산하여 현재 동작이 어떤 동작인지 구분 할 수 있었다.

제안 방법

본 논문에서는 거리변환 방법과 convex hull 알고리즘, farneback optical flow 알고리즘을 사용하여 손동작을 인식하도록 구현함으로써 거의 실시간으로 동작하는 빠르고 정확한 손동작 인식 방법을 제안하였다. HMD(head mount display)나 모바일 환경에서도 동작 할 수 있도록 RGBD 카메라 대신 적외선 센서를 사용하는 시스템을 구성하였고, 동작을 확인하였다.
본 논문에서는 손동작 인식을 구현하기 위하여 기본적인 이동, 클릭, 정지의 3가지 동작을 구분하도록 하였다. optical flow를 계산하여 평균을 구한 후, 손가락과 손바닥 부분의 optical flow 차이를 계산하여 현재 동작이 어떤 동작인지 구분 할 수 있었다. 이를 통해서 가상현실(VR)혹은 증강현실(AR)환경에서 시스템의 메뉴 팝업 및 선택, 물체 이동 등의 조작이 가능하다.
본 논문에서 제안하는 손동작 인식 알고리즘은 손 영역 추출, 손바닥 추출, 손가락 추출, 손동작 인식의 4가지 과정으로 나눌 수 있다. 거리변환(distance transform)을 사용하여 손바닥의 중심좌표와 손바닥의 크기를 알아내고, convex hull method와 convexity defect를 계산하여 손가락을 추출한다. 그 후, 손가락과 손바닥 부분의 optical flow를 계산하여 클릭, 이동, 정지의 세 가지 손동작을 인식하였다.
손바닥 인식은 추출한 손 영역에 거리변환(distance transform)을 이용하여 가장 큰 블랍(blob)을 찾아 낸 후, 그 중심을 손바닥 중심으로 정하였다. 그 후 중심점의 거리변환(distance transform) 값을 반지름으로 하는 원을 추출하여 손바닥 영역으로 정하였다. 팔뚝 중심 역시 추출한 팔뚝 영역에 거리변환(distance transform)을 이용하여 팔뚝의 중심점을 찾아 주었다.
거리변환(distance transform)을 사용하여 손바닥의 중심좌표와 손바닥의 크기를 알아내고, convex hull method와 convexity defect를 계산하여 손가락을 추출한다. 그 후, 손가락과 손바닥 부분의 optical flow를 계산하여 클릭, 이동, 정지의 세 가지 손동작을 인식하였다. 인식 된 손동작을 활용하여 간단한 사용자 인터페이스 및 상호작용을 구현하여 향후 증강현실(AR) 및 가상현실(VR)시스템에 활용 할 수 있도록 하였다.
적외선 센서는 일반적으로 RGBD 카메라에 비해 크기가 작고 가벼우며, 입력 영상의 해상도가 높고 설치가 용이하며 다른 기기와의 연동이 수월하다는 장점이 있다. 또한 이러한 특성 때문에 증강현실 및 가상현실 시스템 구현에 많이 쓰이는 HMD(Head Mount Display)나 스마트폰에 내장하여 사용할 수 있어서, 손 영역 추출 시 입력 기기로 RGBD 카메라 대신 적외선 센서를 사용하였다.
본 논문에서 제안하는 손동작 인식 알고리즘은 손 영역 추출, 손바닥 추출, 손가락 추출, 손동작 인식의 4가지 과정으로 나눌 수 있다. 거리변환(distance transform)을 사용하여 손바닥의 중심좌표와 손바닥의 크기를 알아내고, convex hull method와 convexity defect를 계산하여 손가락을 추출한다.
본 논문에서는 RGBD 카메라를 사용하는 방법과 유사한 손 추출 방법을 사용하였지만, 일반적으로 사용하는 RGBD 카메라 대신 적외선 센서인 Leapmotion을 입력으로 사용하였다. 적외선 센서는 일반적으로 RGBD 카메라에 비해 크기가 작고 가벼우며, 입력 영상의 해상도가 높고 설치가 용이하며 다른 기기와의 연동이 수월하다는 장점이 있다.
손바닥 인식은 추출한 손 영역에 거리변환(distance transform)을 이용하여 가장 큰 블랍(blob)을 찾아 낸 후, 그 중심을 손바닥 중심으로 정하였다. 그 후 중심점의 거리변환(distance transform) 값을 반지름으로 하는 원을 추출하여 손바닥 영역으로 정하였다.
손바닥과 손가락 인식이 끝난 후에 추출된 손가락과 손바닥 영역의 optical flow를 구해 손동작 인식을 구현하였다. 그림 3과 같이 손 영역의 optical flow를 계산 해 보면 클릭 시와 정지, 이동 시 optical flow의 형태가 각각 다른 것을 알 수 있다.
적외선 센서로 취득하는 이미지는 센서의 특성상 가까운 거리에 위치하는 물체가 먼 거리에 있는 위치에 비해 밝은 값을 가진다. 이러한 특성을 사용하여 밝기 값을 기준으로 최대 밝기 값의 0.1에 해당하는 값을 임계점으로 잡고 임계점을 넘는 영역을 대략적인 손 영역으로 추출한 후, 제 2의 임계점을 최대 밝기 값의 0.3에 해당하는 값으로 적용하여 더 밝은 손 부분과 상대적으로 어두운 부분인 팔뚝 영역을 분리하였다. 이 때 추출된 경계선의 길이가 짧은 부분들은 손 영역에서 제외함으로써 불필요한 잡음을 제거하였다.
각각 손가락과 손바닥 중심에서 19*19영역의 영상에 대해 farneback method[6]를 통해 optical flow를 계산한다. 이후 각 영역의 optical flow의 평균을 취한 후 손가락 영역과 손바닥 영역의 평균 optical flow를 아래와 같이 비교하여 손동작 인식을 구현하였다.
그 후, 손가락과 손바닥 부분의 optical flow를 계산하여 클릭, 이동, 정지의 세 가지 손동작을 인식하였다. 인식 된 손동작을 활용하여 간단한 사용자 인터페이스 및 상호작용을 구현하여 향후 증강현실(AR) 및 가상현실(VR)시스템에 활용 할 수 있도록 하였다.
그 후 중심점의 거리변환(distance transform) 값을 반지름으로 하는 원을 추출하여 손바닥 영역으로 정하였다. 팔뚝 중심 역시 추출한 팔뚝 영역에 거리변환(distance transform)을 이용하여 팔뚝의 중심점을 찾아 주었다.

이론/모형

각각 손가락과 손바닥 중심에서 19*19영역의 영상에 대해 farneback method[6]를 통해 optical flow를 계산한다. 이후 각 영역의 optical flow의 평균을 취한 후 손가락 영역과 손바닥 영역의 평균 optical flow를 아래와 같이 비교하여 손동작 인식을 구현하였다.
마지막 세 번째는 RGBD(RGB-Depth)카메라의 영상을 입력 영상으로 받아서 RGBD 카메라의 깊이(depth) 정보를 사용하는 방법이다. 깊이 이미지로부터 가까운 거리에 있는 영역을 손 후보 영역으로 추출한 후, convex decomposition 알고리즘을 사용하여 손바닥 영역과 손가락 영역을 추출한다. 이렇게 손 영역을 추출 한 뒤에는 손가락의 구조를 추정하여 손동작과 손 자세를 인식한다[1].
손가락 추출 시에 사용한 방법은 convex hull 알고리즘이다. convex hull 알고리즘은 주어진 이진 화 이미지상의 여러 개 점이나 곡선, 도형에 대해, 모든 영역을 포함하는 convex polygon을 찾아주는 알고리즘이다.

성능/효과

표 1에서는 본 논문에서 구현한 알고리즘과 기존의 알고리즘 간 속도를 비교하였다. 기존의 방식에 비하여 연산속도가 크게 개선되어, 거의 실시간으로 영상 처리가 가능함을 알 수 있다.
이를 통해서 가상현실(VR)혹은 증강현실(AR)환경에서 시스템의 메뉴 팝업 및 선택, 물체 이동 등의 조작이 가능하다. 적외선 센서를 사용했기 때문에 실험 환경에 따라서 인식률의 편차가 크지만, 평균적으로 92.3%이상 클릭 동작을 인식하는 것으로 나타났다.

후속연구

향후에는 손가락 하나로 동작을 인식하는 것이 아니라 멀티터치와 양손 손동작 인식 등 다양한 상호작용을 구현하여 실제 가상현실(VR)과 증강현실(AR)시스템에서 그 활용도를 높이는 연구를 수행 하고자 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

적외선 센서를 사용한 손 동작 인식
Hand Pose and Gesture Recognition Using Infrared Sensor 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

적외선 센서를 사용한 손 동작 인식 Hand Pose and Gesture Recognition Using Infrared Sensor 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

적외선 센서를 사용한 손 동작 인식
Hand Pose and Gesture Recognition Using Infrared Sensor 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper