[논문]제스처 인식과 센서를 이용한 프레젠테이션 제어 시스템

장문수; 곽선동; 강선미

doi:10.5391/jkiis.2011.21.4.481

제스처 인식과 센서를 이용한 프레젠테이션 제어 시스템
Presentation Control System using Gesture Recognition and Sensor 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.21 no.4, 2011년, pp.481 - 486

장문수 (서경대학교 컴퓨터과학과) , 곽선동 (서경대학교 전자컴퓨터공학과) , 강선미 (서경대학교 전자공학과)

초록
AI-Helper

요즘 발표 현장에는 대부분 컴퓨터를 사용하여 발표자료를 스크린에 비춰서 발표를 진행한다. 본 논문은 제스처 인식을 이용하여 프레젠테이션 컴퓨터를 제어함으로써 발표자가 별도의 도구나 사람을 통하지 않고 혼자서 발표를 진행할 수 있는 시스템을 제안한다. 영상 정보만을 이용하여 발표자가 발표 무대의 어느 위치에 있더라도 제스처를 인식하기 위해서는 무대 전체를 촬영할 수 있는 고해상도 카메라와 이 카메라에서 출력되는 고해상도 이미지를 처리할 수 있는 고성능 컴퓨터가 필요하다. 본 논문에서는 초음파 센서를 무대에 설치하여 발표자의 위치를 추적하고, 저해상도 카메라로 필요한 영역만 추출하여 제스처를 인식한다. 제스처는 손가락의 모양과 팔의 움직임으로 표현하고, 침식/팽창과 차연산 알고리즘으로 제스처를 인식한다. 영상 정보만을 이용하는 알고리즘과의 비교 실험에서 제안하는 시스템이 최소한 13%의 속도 향상을 보였다. 제스처 인식 실험에서는 약 98%의 인식률을 확인하였다.

Abstract ▼ AI-Helper

Recently, most presentations have been presented on the screen using the computer. This paper suggests that the computer can be controlled by the gesturing recognition, without the help of any person or tools. If we use only information in the form of images, we should have a high-resolution camera for capturing the images and a computer that can treat high-resolution images. However, this paper will present a solution whereby a low-resolution camera can be used at the stage. It uses the supersonic sensor to trace the presenter's location and a low-resolution camera for capturing the necessary limited and small area. The gesture is defined by the number of fingers and one's hand positions which are recognized by the Erosion / Dilation and Subtraction algorithm. The system this paper addresses has improved 13%, when comparing tests between the image-only data system and this paper's system. The gesture recognition tests have a 98% success rate.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 카메라를 이용한 영상 처리 기법을 이용하여 발표자의 동작을 인식하는 방법을 제안한다. 그리고 제스처 인식이 실시간으로 이루어져야 하는데 발표장에서 사용하는 컴퓨터가 일반적으로 고사양의 컴퓨터가 아니므로 본 논문 에서는 초음파 센서로 인식 대상을 추적하여 영상 처리의 범위를 좁혀서 영상 처리 효율을 높이고자 한다.
일반적으로 손의 모양은 손가락의 모양으로 구별된다. 본 논문에서는 구별되는 손가락 수를 이용하여 손의 모양을 구분하는 알고리즘을 제안한다. 손가락의 수를 이용하면 모두 6가지 손의 모양을 구분할 수 있다.
그러나 보조 도구의 비표준적인 인터페이스로 인한 조작 오류는 중요한 결정을 위한 발표에 부정적인 영향을 주기도 한다.본 논문에서는 발표자가 부가적인 도구를 지니지 않고 손동작만으로 발표를 진행할 수 있는 프레젠테이션 제어 시스템을 제안하였다. 제안하는 시스템은 제스처를 인식하는 영상 처리 기술과 빠른 처리 속도를 위한 초음파 센서를 이용한 발표자 추적 기술을 결합하여 일반적으로 발표 환경에서 사용하는 컴퓨터에서도 동작할 수 있는 시스템을 개발하였다.
무선 제어 방식이나 레이저 포인터 영상 인식 방식 모두한 손에 장비를 들고 있어야 하기 때문에 칠판에 판서를 하거나 다른 도구를 이용하여 설명할 때는 제어 장비를 다른손으로 옮겨 쥐거나 내려놓아야 하는 단점이 있다. 본 논문에서는 발표자의 두 손이 자유로운 상태에서 컴퓨터를 사용 하는 발표 환경을 제어할 수 있는 시스템을 제안한다. 제안하는 시스템은 제스처 인식 기술을 이용하여 발표자의 특정한 동작을 인식하여 컴퓨터를 제어한다.
본 논문에서는 속도 향상과 인식 오류를 줄이기 위하여 원을 이용한 손가락 검출 알고리즘보다 간단한 침식/팽창을 이용하여 손가락을 검출한다. 손가락은 인간의 신체 중에서 가장 가늘고 긴 특징을 가지고 있다.
손의 움직임을 추적하는 알고리즘은 손의 무게 중심을 찾아서 이것이 이동하는 궤적을 찾는 것이 일반적이다. 본 논문에서는 손가락의 개수를 파악하는 과정에서 생성되는 손가락의 무게중심을 이용하여 손의 움직임을 추적한다. 손가락의 무게 중심은 손 전체의 무게 중심과 약간 차이가 난다.
다른 형태는 동작 센서를 이용하는 기술로서 데이터 글로브(data glove)를 착용하여 컴퓨터 화면을 제어하거나[3], 리모컨에 센서를 부착하여 비디오 게임기의 입력 장치로 활용하거나 가정용 AV기기의 조작에 활용하기도 한다. 본 논문에서는 카메라를 이용한 영상 처리 기법을 이용하여 발표자의 동작을 인식하는 방법을 제안한다. 그리고 제스처 인식이 실시간으로 이루어져야 하는데 발표장에서 사용하는 컴퓨터가 일반적으로 고사양의 컴퓨터가 아니므로 본 논문 에서는 초음파 센서로 인식 대상을 추적하여 영상 처리의 범위를 좁혀서 영상 처리 효율을 높이고자 한다.
손동작은 손의 모양과 팔 동작의 조합으로 많은 의미를 표현할 수 있다. 본 논문에서는 특정 손의 모양과 움직임을 인식하여 프레젠테이션에 사용되는 프로그램을 제어한다.
그러나 차연산으로는 카메라와 일직선 상으로 움직이는, 즉 앞뒤로 움직이는 물체를 감지하기 어렵고 또한 거리를 측정하기 어렵기 때문에 영상의 크기를 조절하기 위한 확대/축소가 원활하지 않게 된다. 이러한 점들을 고려하여 본 논문에서는 발표 무대에 거리 측정이 가능한 초음파 센서를 일렬로 배치하여 발표자가 이동함에 따라 가장 가까운 센서가 감지하도록 한다. 이 방법은 발표자에게 부가적인 장치를 부착할 필요가 없기 때문에 편리하다.
적절한 침식/팽창 횟수를 찾기 위하여 본 논문에서는 다양한 크기의 이미지에 대해서 실험을 하였다. 그 결과 식 1과 같은 손의 크기와 침식 횟수 간의 상관식을 찾았다.

가설 설정

따라서 손의 크기가 60 * 60 픽셀보다 커질 경우 발표자의 손이 움직일 때 손이 이미지 영역 밖으로 나갈 수 있다. 본 논문에서는 적정한 손의 크기를 60 * 60 픽셀로 가정하고 표 1에 따라 6번의 침식과 7번의 팽창을 적용한다. 그리고 센서를 이용하여 발표자의 위치를 파악하여 추적한 다음, y축 정보를 이용하여 사람의 손 크기를 평균 60 * 60 픽셀 정도가 되도록 카메라를 줌 인/아웃한다.
그래서 제스처 명령 동작을 충분히 크게 하도록 하고, 일정 범위 이내의 움직임은 제스처로 인식하지 않도록 한다. 실험을 통하여 발표자가 제스처를 취할 때 최소한 손의 크기보다는 많이 움직이고 있음을 발견하고, 본 논문에서는 손의 크기와 유사한 50 * 50 픽셀 범위를 넘어설 때 제스처가 시작된다고 가정한다. 그림 4는 제스처 인식 범위와 방향을 나타내고 있다.

제안 방법

본 논문에서는 적정한 손의 크기를 60 * 60 픽셀로 가정하고 표 1에 따라 6번의 침식과 7번의 팽창을 적용한다. 그리고 센서를 이용하여 발표자의 위치를 파악하여 추적한 다음, y축 정보를 이용하여 사람의 손 크기를 평균 60 * 60 픽셀 정도가 되도록 카메라를 줌 인/아웃한다.
하나는 인식률 실험이고 다른 하나는 센서를 이용한 시스템의 속도 향상 실험이다. 그리고 인식률 실험은 손 모양 인식을 위한 손가락 수 인식 실험과 제스처 동작 인식을 위한 제스처 인식 실험으로 나누어 실험함으로써 총 세 가지 실험을 실시한다.
두 번째 실험은 제스처 인식 실험으로써 충분히 떨어진 거리에서 표 2에 제시한 네 방향에 대한 제스처를 인식하는 방식으로 실험한다. 실험의 공정성을 위하여 세 사람에 대해 실험하되 실험 대상자는 사전에 제안하는 시스템을 사용한 경험이 없는 사람으로 한다.
본 논문에서 구현하는 시스템에서는 발표 상황에서 빈번하게 사용하는 네 가지 제어 동작, 즉 페이지 전후 넘김과 슬라이드 쇼의 시작과 끝을 제스처로 실현한다. 각 제어 명령에 대응하는 제스처를 표 2에 나타내고 있다.
그림 1은 발표 무대를 x-y평면으로 가정한 개념도이다. 본 논문에서 제안하는 초음파 센서 배열은 그림 1의 x축 상에 배치되어 각각 고유의 ID를 부여받는다. 발표자가 프레젠테이션 무대에서 움직이면 일렬로 배치된 센서들 중에서 하나의 센서와 반응을 한다.
본 논문에서는 2장에서 기술한 위치 추적 센서와 카메라를 이용한 제스처 인식 알고리즘을 바탕으로 프레젠테이션 제어 시스템을 구현한다. 컴퓨터를 사용하는 발표 환경에서는 프레젠테이션용 소프트웨어로 주로 마이크로소프트사의 파워포인트(Powerpoint) 프로그램을 사용한다.
명령에 해당하는 제스처를 발표자의 일상적인 몸동작과 구별하기 위해서는 제스처의 시작과 끝을 정해둔다. 본 논문에서는 제스처의 시작을 손가락을 모두 펼친 손 모양으로 하고 제스처의 끝을 손가락이 보이지 않는 주먹을 쥔 손 모양으로 한다. 표 2에 나열한 상하좌우의 방향으로 손을 이동하기 전에 발표자는 카메라를 향해 손가락을 펴서 보여주고 나서 제스처를 취한다.
본 논문에서는 제안하는 시스템의 성능을 측정하기 위하여 두 종류의 실험을 한다. 하나는 인식률 실험이고 다른 하나는 센서를 이용한 시스템의 속도 향상 실험이다.
세 번째 실험은 영상처리 기술만으로 제스처 인식을 하는 것에 비하여 제안하는 센서를 이용한 위치 추적을 영상 처리와 결합한 알고리즘이 어느 정도 속도를 향상시키는가에 대한 실험이다. 비교를 위하여 알고리즘이 간단한 피부색 검출 기술[9]을 이용하여 발표자를 추적하도록 하였다. 실험에 사용한 시스템은 윈도우즈 환경의 컴퓨터(CPU 2.
하나는 제스처에 관한 다른 연구들[8]의 실험에서 일반적으로 사용하는 손의 크기이고, 다른 하나는본 논문의 제스처 인식에서 사용하는 손의 크기이다. 실험 방법은 컴퓨터 화면에 0에서 5 사이의 숫자를 무작위로 출력하게 하고 해당 숫자만큼의 손가락을 펼치는 방식이다. 실험 결과는 표 3에 나타낸 것처럼 110*110 픽셀 크기에서는 98%, 65*65 픽셀 크기에서는 96%의 인식률이 나왔다.
정확한 인식률 측정을 위하여 한 사람이 한 제스처에 대해서 60번씩 두 세트를 반복하여 120번 실험하였다. 총 실험은 1,440회 반복하였다.
컴퓨터를 사용하는 발표 환경에서는 프레젠테이션용 소프트웨어로 주로 마이크로소프트사의 파워포인트(Powerpoint) 프로그램을 사용한다. 제안하는 시스템은 발표자의 제스처를 인식하여 파워포인트의 제어 기능을 대체한다.
제안하는 시스템은 영상 입력부와 제스처 인식부, 프레젠 테이션 처리부로 구성된다. 그림 5는 제안하는 시스템에 대한 간략한 구성도를 나타내고 있다.
본 논문에서는 발표자의 두 손이 자유로운 상태에서 컴퓨터를 사용 하는 발표 환경을 제어할 수 있는 시스템을 제안한다. 제안하는 시스템은 제스처 인식 기술을 이용하여 발표자의 특정한 동작을 인식하여 컴퓨터를 제어한다.
본 논문에서는 발표자가 부가적인 도구를 지니지 않고 손동작만으로 발표를 진행할 수 있는 프레젠테이션 제어 시스템을 제안하였다. 제안하는 시스템은 제스처를 인식하는 영상 처리 기술과 빠른 처리 속도를 위한 초음파 센서를 이용한 발표자 추적 기술을 결합하여 일반적으로 발표 환경에서 사용하는 컴퓨터에서도 동작할 수 있는 시스템을 개발하였다. 본 논문에서는 시스템의 성능을 확인하기 위하여 상하좌우네 방향의 제스처를 프레젠테이션 프로그램과 연동시켜 인식 실험을 한 결과 약 98%의 인식률을 얻었다.
첫 번째 실험으로 손가락 수 인식 실험은 두 가지 손 크기에 대해서 실험한다. 하나는 제스처에 관한 다른 연구들[8]의 실험에서 일반적으로 사용하는 손의 크기이고, 다른 하나는본 논문의 제스처 인식에서 사용하는 손의 크기이다.
얼굴 표정은 주로 감정을 나타내고 지시나 명령을 나타내는 제스처는 손동작으로 표현한다. 프레젠테이션 컴퓨터를 제어하는 것은 명령 동작이므로 본 논문에서는 손동작을 인식한다. 손동작은 손의 모양과 팔 동작의 조합으로 많은 의미를 표현할 수 있다.
그러나 제스처 인식에는 발표자를 중심으로 일부 영역만 필요하고 나머지 무대 영역은 불필요한 정보이다. 필요 없는 영역을 제외하고 발표자 주변의 영상만 획득하기 위하여 본 논문에서는 발표자 영역만 확대할 수 있고 발표자를 따라 움직일 수 있는 주밍(zooming) 기능 및 회전이 가능한 카메라를 사용한다. 사람의 위치를 추적하는 데에는 여러 가지 방법이 연구되고 있다.

대상 데이터

본 논문의 실험에서 사용하는 카메라는 640 * 480 픽셀의 해상도를 가지며, 이 해상도에서 양팔을 벌린 사람을 찍게 되면 손의 크기는 약 60 * 60 픽셀 크기가 된다. 따라서 손의 크기가 60 * 60 픽셀보다 커질 경우 발표자의 손이 움직일 때 손이 이미지 영역 밖으로 나갈 수 있다.
비교를 위하여 알고리즘이 간단한 피부색 검출 기술[9]을 이용하여 발표자를 추적하도록 하였다. 실험에 사용한 시스템은 윈도우즈 환경의 컴퓨터(CPU 2.93GHz RAM 3GB)와 카메라(EVI- D70)이다. 속도 비교는 동일한 영상에 대하여 한 프레임에 대한 처리에 소요되는 시간으로 하였다.
두 번째 실험은 제스처 인식 실험으로써 충분히 떨어진 거리에서 표 2에 제시한 네 방향에 대한 제스처를 인식하는 방식으로 실험한다. 실험의 공정성을 위하여 세 사람에 대해 실험하되 실험 대상자는 사전에 제안하는 시스템을 사용한 경험이 없는 사람으로 한다.

성능/효과

제안하는 시스템은 제스처를 인식하는 영상 처리 기술과 빠른 처리 속도를 위한 초음파 센서를 이용한 발표자 추적 기술을 결합하여 일반적으로 발표 환경에서 사용하는 컴퓨터에서도 동작할 수 있는 시스템을 개발하였다. 본 논문에서는 시스템의 성능을 확인하기 위하여 상하좌우네 방향의 제스처를 프레젠테이션 프로그램과 연동시켜 인식 실험을 한 결과 약 98%의 인식률을 얻었다. 그리고 영상처리만을 이용한 알고리즘에 비하여 13% 이상 속도를 향상시켰다.
실험 방법은 컴퓨터 화면에 0에서 5 사이의 숫자를 무작위로 출력하게 하고 해당 숫자만큼의 손가락을 펼치는 방식이다. 실험 결과는 표 3에 나타낸 것처럼 110*110 픽셀 크기에서는 98%, 65*65 픽셀 크기에서는 96%의 인식률이 나왔다.
실험 A는 약 70ms의 시간이 소요되었고 실험 B는 약 56ms의 시간이 소요되었다. 이 결과는 센서를 이용한 추적 알고리즘이 약 13%의 속도 향상 효과가 있음을 나타낸다. 실험에 사용한 피부색 검출 알고리즘보다 복잡한 알고리즘과 비교하면 더 큰 속도 향상을 나타낼 것으로 예상한다.
정확한 인식률 측정을 위하여 한 사람이 한 제스처에 대해서 60번씩 두 세트를 반복하여 120번 실험하였다. 총 실험은 1,440회 반복하였다. 실험 결과는 표 4에 나타나있다.

후속연구

이 결과는 센서를 이용한 추적 알고리즘이 약 13%의 속도 향상 효과가 있음을 나타낸다. 실험에 사용한 피부색 검출 알고리즘보다 복잡한 알고리즘과 비교하면 더 큰 속도 향상을 나타낼 것으로 예상한다.
현재 시스템은 조명에 따라 인식율의 차이가 발생하는데 실용화를 위해서는 향후 조명에 강한 인식 알고리즘을 개발할 필요가 있다. 그리고 다양한 제스처 실험을 통하여 자연 스러운 동작을 찾을 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	제스처 인식 기술에서 사용되는 장비의 형태를 두 가지로 나누면 어떤 기술이 있나?	제스처 인식 기술은 인간-컴퓨터 상호작용 기술의 하나로서 인식에 사용되는 장비의 형태로 보면 크게 두 가지로 나눌 수 있다. 하나는 카메라를 이용한 비전 기반 기술로서 컴퓨터를 이용하여 하드웨어 장비를 제어하기도 하고, 최근에는 로봇과의 상호작용에 관한 연구가 많이 진행되고 있다 [2]. 다른 형태는 동작 센서를 이용하는 기술로서 데이터 글로브(data glove)를 착용하여 컴퓨터 화면을 제어하거나[3], 리모컨에 센서를 부착하여 비디오 게임기의 입력 장치로 활용하거나 가정용 AV기기의 조작에 활용하기도 한다. 본 논문에서는 카메라를 이용한 영상 처리 기법을 이용하여 발표자의 동작을 인식하는 방법을 제안한다.
	발표란?	‘발표(presentation)’는 한정된 시간 안에 정보를 정확하게 전달하여 청중을 설득시키는 행위를 말한다. 그러므로 의미 전달을 정확하게 하기 위하여 여러 가지 도구들을 활용한다.
	무선 제어 방식이나 레이저 포인터 영상 인식 방식의 단점은?	무선 제어 방식이나 레이저 포인터 영상 인식 방식 모두한 손에 장비를 들고 있어야 하기 때문에 칠판에 판서를 하거나 다른 도구를 이용하여 설명할 때는 제어 장비를 다른손으로 옮겨 쥐거나 내려놓아야 하는 단점이 있다. 본 논문에서는 발표자의 두 손이 자유로운 상태에서 컴퓨터를 사용 하는 발표 환경을 제어할 수 있는 시스템을 제안한다.

참고문헌 (10)

이민호, 장문수, 강선미 "레이저 포인터 추적 알고리즘을 이용한 프레젠테이션 제어 인터페이스" 한국지능시스템학회 2009년도 춘계학술대회 학술발표논문집, 제19권, 1호 pp. 191-192, 2009.
최경묵, 나용길, 채승병, 정경훈, "손 제스처 기반의 로봇 원격제어" 한국방송공학회 2010년도 추계학술발표대회 논문집, pp. 196- 199, 2010.
Ing. Mario S. Ganzeboom, "User-independent recognition of dynamic hand gestures using a dataglove", master's thesis, university of Twente, 2010.
심재호, 김종훈, 김태간, 한승진, 임기욱, 이정현, "스마트 홈 환경을 위한 관성 센서기반의 사용자 위치 추정 방법", 한국정보과학회 2007년도 가을학술발표논문집, 제34권, 2호, pp. 575-579, 2007.
기석철, "지능형 로봇과 얼굴 인식 융합기술", 한국정보보호학회지, 제17권, 5호, pp. 25-31, 2007.

원문보기 상세보기
이동규, 이기정, 황보택근, 임혁규, "신경망을 이용한 동작분석과 원격 응급상황 검출 시스템", 한국콘텐츠학회논문지, 제6권, 9호, pp.50-59, 2006.

원문보기 상세보기
복창순, 손연미, 방영철, 나보균, "손 인식을 이용한 컴퓨터 제어", 한국정보과학회 가을학술발표논문집, 제35권, 2호(B), pp. 192-195, 2008.
김주황, 박정훈, 전종서, 강민구, 이승현, "OpenCV를 이용한 마우스의 손 동작 인식", 한국인터넷정보학회 2009년도 추계학술발표대회논문집, pp. 303-306, 2009.
Vezhnevets V, Sazonov V, Andreeva A, "A Survey on Pixel-Based Skin Color Detection Techniques" IN PROC. GRAPHICON, pp.85-92, 2003.
A. Mulder, "Hand gesture for hci," Technical Report 96-1, Simon Fraster University, 1996.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증