[논문]적외선을 이용한 다기능 제스처 인식 포인터

이규화; 진윤석; 이진규; 최영규; 박준

문제 정의

본 연구를 통해 프레젠테이션뿐 아니라 가정에서도 활용할 수 있는 다기능 입력 장치로서의 역할을 하는 시스템의 구현이 가능해질 것이며 이는 앞으로 여러 가지 응용 기반 기술의 확장을 통하여 보다 효율적이고 상호 협력적인 컴퓨팅 환경을 구축하는데 도움이 될 것이다. 사용하기 어렵지 않으면서도 낮은 컴퓨팅 환경에서 높은 정밀도와 빠른 속도로 사용자의 움직임을 포착하여 사용자가 여러 가지 기능을 손쉽게 구현할 수 있도록 하는 것이 최종 목표이다.
현재 실제로 쓰이고 있는 대부분의 기기들은 단순히 마우스 버튼 클릭이나 미리 정의된 키보드의 기능키를 누르는 등의 기본적인 기능만이 제공되었다. 이런 기본적인 기능을 넘어선 새로운 제어기기에 대한 연구와 이를 응용하여 회의, 게임 등에 실제로 적용시킬 수 있는 방법에 대한 내용이 본 논문의 핵심이다. 실제로 구동이 되는 하드웨어를 이용하여 많은 사용자들에게 테스트를 실시하였으며 그에 대한 결과를 정리하였다.

가설 설정

3. 각 점들을 각도로 나타내어지는 벡터정보로 바꾼다.

제안 방법

2) 카메라로 입력되는 사용자의 영상을 분석한다. 이 때 사용자의 영상은 다수의 적외선 LED들을 구분하고 서로의 관계 등을 정의해주어야 하므로 클러스터링이나 패턴 매칭 등의 알고리즘등이 필요하다.
3) 분석된 사용자의 영상과 저장해 놓은 템플릿 영상과의 패턴 유사도를 계산한다.
그림 2 는 실험에 사용한 포인터의 내부 구조를 보여준다. 본 실험에 사용한 기기의 프로토타입은 시중에서 시판되고 있는 일반적인 프레젠터에 적외선 발광 회로를 삽입하고 스위치를 추가하여 필요할 때만 동작할 수 있도록 하였다.
사용자의 제스처 패턴을 해석하고 인식하기 위하여 Konstantin Boukreev 의 신경망을 이용한 제스처 학습 라이브러리를 이용하여 심볼을 인식하는 프로그램을 개발 하였다 [5,6]. 신경망을 학습시킨 알고리즘은 Backpropagation 방식으로써 입력층(input layer), 은닉층 (hidden layer), 출력층(output layer)에 각각 32, 32개, 29개의 layer를 할당하였으며, 패턴인식의 오차율(error rate)은 2%, 즉 학습 결과 2%의 오차율이 발생하도록 하였다.
사용자의 제스처 패턴을 해석하고 인식하기 위하여 Konstantin Boukreev 의 신경망을 이용한 제스처 학습 라이브러리를 이용하여 심볼을 인식하는 프로그램을 개발 하였다 [5,6]. 신경망을 학습시킨 알고리즘은 Backpropagation 방식으로써 입력층(input layer), 은닉층 (hidden layer), 출력층(output layer)에 각각 32, 32개, 29개의 layer를 할당하였으며, 패턴인식의 오차율(error rate)은 2%, 즉 학습 결과 2%의 오차율이 발생하도록 하였다. 여기에서 출력층(output layer)은 프로그램이 검증할 수 있는 제스처 패턴의 수이므로 지금은 테스트를 위해서 임의의 수인 29개의 제스처 패턴을 정한 것이다.
이런 기본적인 기능을 넘어선 새로운 제어기기에 대한 연구와 이를 응용하여 회의, 게임 등에 실제로 적용시킬 수 있는 방법에 대한 내용이 본 논문의 핵심이다. 실제로 구동이 되는 하드웨어를 이용하여 많은 사용자들에게 테스트를 실시하였으며 그에 대한 결과를 정리하였다.
그림에서 알 수 있듯이 적외선 발광 다이오도를 전면부에 배치하였다. 적외선 발광 다이오드의 위치를 인식하는데 있어 정확도를 높이기 위하여 다이오드의 적외선 발광 범위와 발광 강도(high radiant intensity)의 특성을 최우선으로 고려하였다. 본 실험에서는 발광 각도 40°, 발광 강도 40mw/sr, 그리고 950nm 파장의 빛을 주로 방출하는 특성을 가지고 있는 다이오드를 사용하였다.
준비가 되면 위치 추적 프로그램을 구동하여 카메라를 통하여 들어온 매 프레임을 해석하여 화면상의 2차원 좌표를 계산한다. 좌표의 계산은 그림 4에서 볼 수 있듯이 여러 번의 테스트를 통한 최적의 임계값인 200을 기준으로 그보다 밝은 화소들의 평균 중심 좌표를 구하는 방법을 사용하였다. 즉 좌표 (X₀, Y₀) 부터 (X_n, Y_n)까지의 픽셀들이 임계값에 의해서 구분된 적외선 LED 영역이므로 이 좌표들의 평균 중심 좌표를 구하는 것이다.

대상 데이터

단순히 마우스 이동에 관련된 기능들뿐 아니라, 행동 인식은 프레젠테이션을 함에 있어서 매우 효율적인 방법을 제공해주었다. 개발한 프로그램에는 11개의 미리 정의된 인식에 대응한 액션들과 추가로 사용자 정의 가능한 액션이 10개있다. 29개의 출력층을 통해서 29개의 제스처 인식이 가능하지만 21개의 제스처로 구분한 이유는 임시적인 테스트 목적으로 제작했기 때문이다.
본 실험에서는 발광 각도 40°, 발광 강도 40mw/sr, 그리고 950nm 파장의 빛을 주로 방출하는 특성을 가지고 있는 다이오드를 사용하였다.
본 실험에서는 발광 각도 40°, 발광 강도 40mw/sr, 그리고 950nm 파장의 빛을 주로 방출하는 특성을 가지고 있는 다이오드를 사용하였다. 이에 대하여 적외선을 인식하기 위한 장치로는 적외선 투과 필터를 씌운 640 * 480 화소의 해상도를 지닌 일반적인 PC 카메라를 이용하였다. 마지막으로 전원을 절약하기 위하여 다이오드의 전원을 켜고 끌 수 있도록 ON/OFF 스위치를 부착하였다.

이론/모형

소프트웨어적인 측면에서 실험에 행하여진 제스처 인식은 Hidden Markov Model(HMM)을 적용시켜 개발한 프로그램을 사용하였다 [8,9]. 이러한 사용자와 시스템의 직관적이고 동적인 커뮤니케이션 도구는 앞서 설명했던 것처럼 기존의 다른 입력 방식들보다 직관적이고 편리하므로 여러 분야에 응용될 수 있다.
또한 여기에 3개의 적외선 LED를 부착하여 더욱 많은 종류의 작업을 할 수 있게 되길 기대하고 있다. 이러한 기능들을 실현하기 위하여 Perspective-n-Points 해법 [7]을 기본 알고리즘으로 삼아 3차원 좌표를 추적하는데 이용할 계획이다. 본 연구는 실질적인 여러 환경에서의 테스트를 통하여 다양한 환경에서의 적응이 가능하고 정확한 인식이 가능하도록 계속 연구가 진행될 예정이다.

성능/효과

위에서 언급한 제스처 인식과 마우스 이벤트 등의 기능들 외에도 프레젠테이션 시 사용자가 화면에 글자들을 직접 기록하는 것도 가능하였다. 글자 인식부분은 현재 아직 구현되어 있지 않지만 이 기능만으로도 원격 회의 등에서 매우 유용하게 쓰일 수 있다는 것을 알 수 있었다. 그러나 심볼 인식 기능은 원활히 수행되므로 현재까지의 기능만으로도 매우 다양한 작업을 수행할 수 있다.
본 기기는 여러 방면의 충분히 많은 수의 사람들에게 테스트 되었으며 실내에서는 안정적인 결과를 보여주었으나 실외에서는 태양에서 나오는 강한 적외선 때문에 많은 양의 노이즈가 발생하는 문제가 있음을 밝혀둔다. 실외에서도 사용을 하려면 후드를 씌우거나 각도를 조정하는 등의 방법이 필요하다.
그러나 심볼 인식 기능은 원활히 수행되므로 현재까지의 기능만으로도 매우 다양한 작업을 수행할 수 있다. 본 기기를 사용한 사용자들이 주로 지적한 부분으로는 기존의 프레젠테이션용 포인터 또는 자이로스코프 마우스에 비하여 직관적인 인터페이스를 가지고 있다는 점, 그리고 상대적으로 더욱 세밀하게 움직이는 것이 가능하다는 점 등이 있었다. 특히 직관적인 인터페이스라는 특성은 본 기기가 여러 연령층에 걸쳐 사용될 수 있다는 점에서 주목할 만하다.
또 다른 응용 가능성으로 손을 잘 움직이지 못하는 장애인들에게 커뮤니케이션 도구로서의 기능을 제공하는 것이 있다. 본 논문에서 제작한 다기능 제스처 인식 포인터를 팔이나 옷 등에 부착하여 사용자 간에 게임을 하거나 커뮤니케이션을 하는 것이 가능하다. 조이스틱 등 기존의 비디오 게임 컨트롤러를 사용하는 것에 비하여 몸을 직접 움직여 활동에 참여하는 것이 훨씬 쉬울 뿐만 아니라 즐거움을 느끼기 쉬울 것이다.
그림 6에서는 사용자가 3-Ball 게임을 하는 장면을 보여주고 있다. 이 게임을 해본 사용자들은 시스템이 직관적이며 컨트롤에 익숙해지기까지 시간이 거의 들지 않았음을 지적하였다. 이러한 특성은 게임에 익숙하지 않은 사람들이 같이 참여하는데 있어 진입 장벽을 낮추는 계기를 마련할 것이다.

후속연구

그러나 일반적으로 LED의 발광 각도가 커질수록 강도가 약해지는 경향이 있어 노이즈에 대한 처리가 어려워지므로 소자를 선택함에 있어 발광 각도와 발광 강도의 두 가지 요소를 동시에 고려하여 이에 대한 많은 실험을 행해야 한다. 그러나 본 연구에서는 개발된 기기를 사용하여 새로운 영역에 적용시키는 방법 및 결과에 대한 고찰이 주요 주제이므로 발광소자들의 특성에 대한 더욱 깊은 조사는 차후의 과제로 남겨두었다.
29개의 출력층을 통해서 29개의 제스처 인식이 가능하지만 21개의 제스처로 구분한 이유는 임시적인 테스트 목적으로 제작했기 때문이다. 그러나 학습의 정도에 따라 더욱 여러 가지 종류의 액션을 취할 수 있을 것이며 프로그램의 수정으로 액션 수의 추가는 얼마든지 가능하다. 만약 액션 수가 늘어난다면 각각의 액션을 구분하는 차이가 커져야 하므로 더욱 정확한 학습을 필요로 하게 될 것이다.
그러나 학습의 정도에 따라 더욱 여러 가지 종류의 액션을 취할 수 있을 것이며 프로그램의 수정으로 액션 수의 추가는 얼마든지 가능하다. 만약 액션 수가 늘어난다면 각각의 액션을 구분하는 차이가 커져야 하므로 더욱 정확한 학습을 필요로 하게 될 것이다. 그림 7에 본 포인터를 들고 취한 제스처를 인식하는 장면이 나와있다.
이러한 기능들을 실현하기 위하여 Perspective-n-Points 해법 [7]을 기본 알고리즘으로 삼아 3차원 좌표를 추적하는데 이용할 계획이다. 본 연구는 실질적인 여러 환경에서의 테스트를 통하여 다양한 환경에서의 적응이 가능하고 정확한 인식이 가능하도록 계속 연구가 진행될 예정이다.
본 연구를 통해 프레젠테이션뿐 아니라 가정에서도 활용할 수 있는 다기능 입력 장치로서의 역할을 하는 시스템의 구현이 가능해질 것이며 이는 앞으로 여러 가지 응용 기반 기술의 확장을 통하여 보다 효율적이고 상호 협력적인 컴퓨팅 환경을 구축하는데 도움이 될 것이다. 사용하기 어렵지 않으면서도 낮은 컴퓨팅 환경에서 높은 정밀도와 빠른 속도로 사용자의 움직임을 포착하여 사용자가 여러 가지 기능을 손쉽게 구현할 수 있도록 하는 것이 최종 목표이다.

핵심어	질문	논문에서 추출한 답변
	적외선 방출 발광부의 장점은?	하드웨어적인 측면에서 크게 적외선을 방출하는 발광부, 필터를 통과한 빛을 받아 해석하는 수광부로 나뉘어진다. 발광부는 간단한 구동회로와 배터리, 적외선 발광다이오드만으로 이루어지므로 적은 예산으로도 구현할 수있다는 장점이 있다. 수광부의 경우 시중에서 쉽게 구할수 있는 표준적인 PC 카메라에 적외선 투과 필터를 장착 하여 처리하게 되는데 이 방법은 적은 컴퓨팅 자원으로도 사용자의 움직임을 감지할 수 있다는 장점이 있다.
	발광부는 무엇으로 이루어지는가?	하드웨어적인 측면에서 크게 적외선을 방출하는 발광부, 필터를 통과한 빛을 받아 해석하는 수광부로 나뉘어진다. 발광부는 간단한 구동회로와 배터리, 적외선 발광다이오드만으로 이루어지므로 적은 예산으로도 구현할 수있다는 장점이 있다. 수광부의 경우 시중에서 쉽게 구할수 있는 표준적인 PC 카메라에 적외선 투과 필터를 장착 하여 처리하게 되는데 이 방법은 적은 컴퓨팅 자원으로도 사용자의 움직임을 감지할 수 있다는 장점이 있다.
	다기능 제스처 인식 포인터의 구현 연구의 주된 내용은?	본 연구는 기존의 프레젠터의 단순한 포인터 및 클릭 기능을 넘어선 다기능 제스처 인식 포인터의 구현이 주 목적이다. 주된 연구 내용으로는 적외선 발광 다이오드에서 나오는 빛을 인지하여 포인터의 궤적 인식을 하는 기술과 이를 응용한 어플리케이션의 개발에 있다. 본 하드웨어에는 기본적인 마우스 클릭 기능 외에도 적외선 발광 다이오드를 탑재하여 PC와 연결된 카메라가 이를 인지하도록 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

적외선을 이용한 다기능 제스처 인식 포인터
Multifunctional Gesture Recognition using Infrared Light Emitters 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

적외선을 이용한 다기능 제스처 인식 포인터 Multifunctional Gesture Recognition using Infrared Light Emitters 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

적외선을 이용한 다기능 제스처 인식 포인터
Multifunctional Gesture Recognition using Infrared Light Emitters 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper