[논문]시간 간격 특징 벡터를 이용한 AdaBoost 기반 제스처 인식

황승준; 안광표; 박승제; 백중환

doi:10.12673/jkoni.2013.17.2.247

시간 간격 특징 벡터를 이용한 AdaBoost 기반 제스처 인식
AdaBoost-Based Gesture Recognition Using Time Interval Trajectory Features 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.17 no.2 = no.59, 2013년, pp.247 - 254

황승준 (한국항공대학교 정보통신공학부) , 안광표 (한국항공대학교 정보통신공학부) , 박승제 (한국항공대학교 정보통신공학부) , 백중환 (한국항공대학교 정보통신공학부)

초록
AI-Helper

본 논문에서는 키넥트 센서를 이용한 AdaBoost 기반 제스처 인식에 관한 알고리즘을 제안한다. 최근 스마트 TV에 대한 보급으로 관련 산업이 주목받고 있다. 기존 리모컨을 이용하여 TV를 컨트롤 하던 시대에서 벗어나 제스처를 이용하여 TV를 컨트롤 할 수 있는 새로운 접근을 제안한다. AdaBoost 학습 모델에 신체 정규화 된 시간 간격 특징 벡터의 집합을 특징 패턴으로 하여, 속도가 다른 동작들을 인식할 수 있도록 하였다. 또한 속도가 다른 다양한 제스처를 인식하기 위해 다중 AdaBoost 알고리즘을 적용하였다. 제안된 알고리즘을 실제 동영상 플레이어와 연결하여 적용하였고, 실험 후 좌표 변화를 이용한 알고리즘에 비해 정확도가 향상되었음을 확인하였다.

Abstract ▼ AI-Helper

The task of 3D gesture recognition for controlling equipments is highly challenging due to the propagation of 3D smart TV recently. In this paper, the AdaBoost algorithm is applied to 3D gesture recognition by using Kinect sensor. By tracking time interval trajectory of hand, wrist and arm by Kinect, AdaBoost algorithm is used to train and classify 3D gesture. Experimental results demonstrate that the proposed method can successfully extract trained gestures from continuous hand, wrist and arm motion in real time.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 알고리즘의 가장 큰 특징은 샘플링을 이용하여 속도 변화에 강인한 것이다. 따라서 이번 실험은 속도의 변화가 있을 때 인식률의 변화에 대하여 알아본다.
동작 인식에 관련된 연구는 시, 공간적 변이를 가진 패턴을 추출하는 은닉 마르코프 모델(Hidden Markov Model), DTW(Dynamic Time Warping) 등을 통하여 많은 부분 연구가 되었다 [1][2]. 본 논문에서는 Kinect의 신체 좌표 정보를 이용하여 제스처를 인식하는 알고리즘을 제안한다. 3D 동작인식 하드웨어인 Kinect를 사용하므로 기존의 RGB영상 기반에서 배경모델을 구성하고 신체 정보를 가져오는 방식보다 신체 좌표 정보를 정확하게 가져올 수 있다.
본 연구에서는 사용자의 동작 속도 변화에 영향이 적은 알고리즘을 제안하였다. 실험 결과에서도 알 수 있듯이 샘플링을 통하여 학습된 데이터베이스를 기반으로 분류를 함으로써 동작의 속도가 변하여도 인식률의 저하가 일어나지 않음을 확인할 수 있었다.
카메라와 센서의 기술이 발전함에 따라 과거에는 생각할 수 없었던 여러 HCI(Human Computer Interaction)기술이 등장하고 있다. 이 논문은 여러 가지의 컨트롤 방식 중에서 카메라를 통하여 인간의 동작을 인식함으로써 기기를 제어하는 과정에 대한 알고리즘을 제안한다.
동작 인식을 사용하는 사람의 신체적 조건이 모두 동일할 수는 없다. 이러한 신체적 차이점에서 발생하는 문제점을 해결하기 위하여 특징 벡터를 제안한다. 신체의 비례를 이용한 특징 벡터를 사용함으로써 사용자의 신체 변화에 따른 인식률을 향상시킨다.

제안 방법

더불어, 테스트에 사용한 동작은 표 1과 같다. 다양한 제스처 동작 인식을 위해 한 손 동작뿐 아니라 양손의 복합적인 동작 인식도 좌, 우 제스처 인식의 결과 값을 이용해 가능하도록 하였다.
본 논문에서 제안하는 알고리즘의 가장 큰 특징은 샘플링을 이용하여 속도 변화에 강인한 것이다. 따라서 이번 실험은 속도의 변화가 있을 때 인식률의 변화에 대하여 알아본다.
매 프레임에 진행되는 제스처 인식의 순서도를 그림 5에 보인다. 본 논문에서는 속도가 다른 제스처를 인식하기 위해 최근 20 프레임부터 60 프레임까지의 특징 벡터를 Adaboost 분류기에 입력한다. 분류기는 매 프레임 별 샘플링 된 수만큼의 제스처 인식을 수행한다.
속도가 다른 제스처를 인식하기 위해 다중 AdaBoost 분류기가 필요하며 그에 따른 특징 벡터 샘플링 과정이 필요하다. 본 연구에서는 60 프레임의 제스처를 특징 패턴으로 정한다. 이 특징 패턴은 인식할 수 있는 가장 느린 제스처이며, 샘플링을 통하여 20 프레임에 이루어지는 제스처까지 인식할 수 있게 한다.
Kinect는 적외선 구조광을 이용하여 사용자의 신체를 스캔하고 신체를 총 20개의 관절로 구분하여 각각의 관절에서 3차원의 좌표 값을 취득한다. 본 연구에서는 Kinect를 사용함으로써 좌표 값 획득에 필요한 시간을 단축하였을 뿐만 아니라, 구동 환경에 있어서 조명에 따른 인식률의 변화를 적외선 센서를 통하여 최소화한다.
본 연구에서는 두 가지의 실험을 통하여 제안한 알고리즘의 성능을 확인한다. 첫 번째 실험에서 좌표의 변화로 동작을 인식하는 알고리즘과 제안한 알고리즘의 인식률을 다양한 실험자에 따라 비교하고, 두 번째 실험에서는 제안한 알고리즘에서 동작의 속도 변화에 따른 인식률 비교실험을 한다.
본 연구에서는 제안한 알고리즘을 이용하여 PC 기반의 미디어 플레이어를 제어함으로써 실험하였다. 향후 연구로는 현재 흐름에 맞추어 스마트TV에서 제스처 인식을 이용하여 편리하게 컨트롤할 수 있도록 할 것이다.
제스처 모델의 훈련 데이터의 수는 각 동작마다 세 명의 실험자로부터 얻은 총 450개이다. 신체 변화에 따른 실험 결과는 다섯 명의 실험자로부터 동작마다 20번의 평가를 통해, 동작 속도 변화에 따른 실험 결과는 세 명의 실험자로부터 동작마다 10번의 고, 중, 저속의 동작 평가를 통해 평균을 얻었다.
속도가 다른 제스처를 인식하기 위해 다중 AdaBoost 분류기의 설계 및 설계된 분류기를 이용한 입력된 패턴의 제스처 인식 과정을 그림 3에 보인다. 위의 제스처 취득과 제스처 샘플링 과정을 통해 생성한 20 프레임에서 60 프레임의 특징 패턴을 이진 분류 방식을 이용하여 AdaBoost 분류기를 설계한다. 이 AdaBoost 분류기는 이진 분류 방식이기에 인식하고자 하는 제스처의 수만큼 다중 AdaBoost 분류기가 된다.
또한 제스처는 사용자의 움직임 속도에 따라 변하는데, 이 때문에 시간 및 공간적인 변이를 가진 패턴 추출법이 필요해진다. 이 논문에서 제안한 특징 벡터 샘플링 알고리즘은 시, 공간적인 변이를 가진 패턴 추출 알고리즘이 아닌 다른 학습 모델에서도 속도에 따른 제스처를 인식할 수 있도록 한다.
이 논문에서는 AdaBoost 알고리즘과 같이 시, 공간적인 변이를 가진 패턴추출 방법이 아닌 기계학습 알고리즘에 동적인 특징을 인식하기 위한 정규화 된 특징 벡터를 이용한다. 이러한 특징 벡터를 제안하면서 기계학습 알고리즘에 제약 받지 않는 제스처 인식 방법을 제안한다. AdaBoost 알고리즘은 아래의 식으로 정의 된다 [8].
이는 직관적이지만 테스터들의 체형에 따라 인식률이 떨어지게 된다. 이실험에서는 체형이 다른 각각의 실험자에게 좌표 변화 알고리즘과 제안한 알고리즘을 적용하여 인식률의 변화를 알아본다.
제안한 알고리즘의 성능 평가를 위하여 PC기반의 동영상 플레이어를 제어할 수 있는 시스템을 구축하였다. 그림 6은 실험실에서 제안한 알고리즘을 이용한 제스처 인식으로 동영상 플레이어를 제어하는 모습이다.
본 연구에서는 두 가지의 실험을 통하여 제안한 알고리즘의 성능을 확인한다. 첫 번째 실험에서 좌표의 변화로 동작을 인식하는 알고리즘과 제안한 알고리즘의 인식률을 다양한 실험자에 따라 비교하고, 두 번째 실험에서는 제안한 알고리즘에서 동작의 속도 변화에 따른 인식률 비교실험을 한다. 제스처 모델의 훈련 데이터의 수는 각 동작마다 세 명의 실험자로부터 얻은 총 450개이다.

대상 데이터

좌, 우와 같은 동작을 한 후에 차렷 자세를 하는 것은 학습기에 훈련된 위에서 아래 동작과 유사하므로 오인식을 발생시킨다. 이러한 문제를 줄이기 위해 제스처가 아닌 사람의 자연스러운 동작이나 제스처 후 제자리 동작 등 총 1350개를 네가티브 데이터로 부가적으로 학습하였다.
첫 번째 실험에서 좌표의 변화로 동작을 인식하는 알고리즘과 제안한 알고리즘의 인식률을 다양한 실험자에 따라 비교하고, 두 번째 실험에서는 제안한 알고리즘에서 동작의 속도 변화에 따른 인식률 비교실험을 한다. 제스처 모델의 훈련 데이터의 수는 각 동작마다 세 명의 실험자로부터 얻은 총 450개이다. 신체 변화에 따른 실험 결과는 다섯 명의 실험자로부터 동작마다 20번의 평가를 통해, 동작 속도 변화에 따른 실험 결과는 세 명의 실험자로부터 동작마다 10번의 고, 중, 저속의 동작 평가를 통해 평균을 얻었다.

이론/모형

본 연구에서는 AdaBoost 알고리즘을 이용하여 입력 받은 동작이 참인지 거짓인지 판별하는 다중 AdaBoost 분류기를 사용한다. 분류 방식은 1:N의 이진 분류 방식을 사용하여 학습하고자 하는 동작을 제외하고 나머지 동작들을 모두 네거티브 역할을 하도록 한다.
AdaBoost 알고리즘은 특성상 동적인 특징 보다는 정적인 특징을 가진 자세 인식에 많이 사용한다 [5][6][7]. 이 논문에서는 AdaBoost 알고리즘과 같이 시, 공간적인 변이를 가진 패턴추출 방법이 아닌 기계학습 알고리즘에 동적인 특징을 인식하기 위한 정규화 된 특징 벡터를 이용한다. 이러한 특징 벡터를 제안하면서 기계학습 알고리즘에 제약 받지 않는 제스처 인식 방법을 제안한다.
사용자의 3D 데이터를 취득하는 기기로는 구조광을 이용한 Kinect, 시간 지연 방식의 TOF, 레이저를 이용한 Lidar 등 카메라 방식과 Wii 컨트롤러를 이용한 모션 데이터를 취득하는 방법들이 있다 [9]. 이 논문에서는 신체 좌표를 취득하는 것에 있어 Kinect를 사용한다. Kinect는 적외선 구조광을 이용하여 사용자의 신체를 스캔하고 신체를 총 20개의 관절로 구분하여 각각의 관절에서 3차원의 좌표 값을 취득한다.

성능/효과

그림 7에서 나타나는 것과 같이 제안한 알고리즘의 Precision이 좌표 변화 알고리즘을 이용한 Precision보다 높은 수치를 보이고 있다. 또한, 제안한 알고리즘에서 Recall 값은 높진 않지만 안정된 값을 보인다. 즉, 시간 간격 특징 벡터를 학습한 AdaBoost 알고리즘을 사용함으로써 사용자의 체형의 변화에도 인식률의 저하가 일어나지 않음으로 여러 사용자를 대상으로 사용될 수 있음을 알 수 있다.
본 연구에서는 사용자의 동작 속도 변화에 영향이 적은 알고리즘을 제안하였다. 실험 결과에서도 알 수 있듯이 샘플링을 통하여 학습된 데이터베이스를 기반으로 분류를 함으로써 동작의 속도가 변하여도 인식률의 저하가 일어나지 않음을 확인할 수 있었다. 또한 정규화된 특징 벡터를 사용하여서 사용자의 신체가 다르더라도 제스처의 인식률이 변화되지 않았다.
또한, 제안한 알고리즘에서 Recall 값은 높진 않지만 안정된 값을 보인다. 즉, 시간 간격 특징 벡터를 학습한 AdaBoost 알고리즘을 사용함으로써 사용자의 체형의 변화에도 인식률의 저하가 일어나지 않음으로 여러 사용자를 대상으로 사용될 수 있음을 알 수 있다.
9까지로 높은 정확도를 보이고 있다. 즉, 제안하는 알고리즘은 사용자의 제스처 속도 변화에 강인하게 동작을 인식하는 것을 알 수 있다.

후속연구

서두에서 말한 것과 같이 스마트 기기의 컨트롤 방식은 점점 더 편의를 추구하며 동작인식 위주로 발전할 것이다. 이러한 흐름 속에서 본 논문에서 제안하는 알고리즘이 속도 변화에 강건한 제스처 인식 알고리즘으로 기여하기를 기대한다.
본 연구에서는 제안한 알고리즘을 이용하여 PC 기반의 미디어 플레이어를 제어함으로써 실험하였다. 향후 연구로는 현재 흐름에 맞추어 스마트TV에서 제스처 인식을 이용하여 편리하게 컨트롤할 수 있도록 할 것이다. 서두에서 말한 것과 같이 스마트 기기의 컨트롤 방식은 점점 더 편의를 추구하며 동작인식 위주로 발전할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	사용자의 3D 데이터를 취득하는 기기는 무엇이 있는가?	사용자의 3D 데이터를 취득하는 기기로는 구조광을 이용한 Kinect, 시간 지연 방식의 TOF, 레이저를 이용한 Lidar 등 카메라 방식과 Wii 컨트롤러를 이용한 모션 데이터를 취득하는 방법들이 있다 [9]. 이 논문에서는 신체 좌표를 취득하는 것에 있어 Kinect를 사용한다.
	AdaBoost 알고리즘은 어떤 방식으로 데이터 분포를 재조정하는가?	AdaBoost 알고리즘은 분류 규칙을 순차적으로 생성하고, 이전의 분류 규칙을 적용하여 얻은 관측 값에서 샘플 데이터의 분포를 재조정한다. 학습 초기에 샘플 데이터의 가중치는 동일한 상태에서 시작하지만, 매 라운드가 진행될수록 이전의 분류 규칙을 적용하여 얻은 관측 값으로 오 분류 데이터에는 높은 가중치를 부여하고, 반대로 정 분류된 데이터에는 낮은 가중치를 부여하는 방식으로 샘플 데이터의 분포를 재조정한다. 이러한 과정은 분류하기 힘든 데이터에 우선권을 주기 위한 전략이다 [4].
	DTW 알고리즘이란 무엇인가?	DTW는 시간 축 상에서 비선형 신축을 허용하는 패턴 매칭 알고리즘이다. DTW 알고리즘은 입력 패턴과 참조 패턴의 거리 척도 값을 비용으로 설정하고 각 패턴의 시작에서 끝 성분까지 최소 비용을 택하는 동적 계획법으로 매핑 함수를 찾아가면서 두열을 비교하기 때문에 여러 개의 후보를 낼 수 있다. 또한 역추적 방식을 이용하기에 입력 패턴과 참조 패턴의 시간 축이 일치 하지 않아도 적용이 가능하다.

참고문헌 (9)

Lee, Hyeon-Kyu, and Jin-Hyung Kim. "An HMM-based threshold model approach for gesture recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, pp.961-973, 1999.
Hong, Duan, and Luo Yang. "A Gestures Trajectory Recognition Method Based on DTW", Proceedings of the 2nd International Conference on Computer Science and Electronics Engineering, 2013.
Whitehead, Anthony, and Kaitlyn Fox. "Device agnostic 3D gesture recognition using hidden Markov models", Proceedings of the 2009 Conference on Future Play on@ GDC Canada, ACM, 2009.
Freund, Yoav, Robert Schapire, and N. Abe. "A short introduction to boosting", Journal-Japanese Society For Artificial Intelligence, pp.771-780, 1999.
Wang, Chieh-Chih, and Ko-Chih Wang. "Hand Posture recognition using Adaboost with SIFT for human robot interaction", Recent progress in robotics: viable robotic service to human, pp.317-329, 2008.
Yao, Yi, and Chang-Tsun Li. "Hand Posture Recognition Using SURF with Adaptive Boosting", 2011.
Sheng, Jia. A study of adaboost in 3d gesture recognition. Technical report, University of Toronto, 2005.
Changrampadi, Mohamed Hashim. "A fusion-based multiclass AdaBoost for classifying object poses using visual and IR images", 2011.
Hoffman, Michael, Paul Varcholik, and Joseph J. LaViola. "Breaking the status quo: Improving 3d gesture recognition with spatially convenient input devices", Virtual Reality Conference (VR), 2010 IEEE, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증