[논문]동심원 확장 및 추적 알고리즘을 이용한 손동작 인식

황동현; 장경식

doi:10.6109/jkiice.2017.21.3.636

[국내논문] 동심원 확장 및 추적 알고리즘을 이용한 손동작 인식
Hand-Gesture Recognition Using Concentric-Circle Expanding and Tracing Algorithm 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.3, 2017년, pp.636 - 642

황동현 (School of Computer Science and Engineering, Korea University of Technology and Education) , 장경식 (School of Computer Science and Engineering, Korea University of Technology and Education)

초록
AI-Helper

본 논문은 동심원 확장 및 추적 기법을 이용하여 손동작을 인식하는 알고리즘을 제안한다. 제안하는 알고리즘은 웹 카메라로부터 영상을 입력받아 전처리 과정을 통해 손 영상에 대한 ROI를 추출한 뒤 동심원을 사용하여 펴진 손가락의 개수뿐만 아니라 손가락의 끝점, 손가락의 기저의 위치정보, 손가락 사이의 각도를 추출하여 HCI분야에서 활용할 수 있는 다양한 입력 방법을 제공한다. 또한 이 알고리즘은 이미지 전체의 화소를 참조하는 래스터 스캔방식과 비교하여 동심원을 구성하는 화소만을 참조함으로서 계산복잡도를 줄일 수 있다. 제안하는 알고리즘은 9가지의 손동작을 평균 90.7%의 인식률과 평균 78ms의 수행속도를 보여줌을 확인했고, 가상현실, 증강현실 및 혼합현실 그리고 HCI 분야 전반의 입력수단으로의 적용가능성을 확인하였다.

Abstract ▼ AI-Helper

In this paper, We proposed a novel hand-gesture recognition algorithm using concentric-circle expanding and tracing. The proposed algorithm determines region of interest of hand image through preprocessing the original image acquired by web-camera and extracts the feature of hand gesture such as the number of stretched fingers, finger tips and finger bases, angle between the fingers which can be used as intuitive method for of human computer interaction. The proposed algorithm also reduces computational complexity compared with raster scan method through referencing only pixels of concentric-circles. The experimental result shows that the 9 hand gestures can be recognized with an average accuracy of 90.7% and an average algorithm execution time is 78ms. The algorithm is confirmed as a feasible way to a useful input method for virtual reality, augmented reality, mixed reality and perceptual interfaces of human computer interaction.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 기존에 진행하였던 동심원 추적 알고리즘을 개선시킨 동심원 확장 및 추적 알고리즘을 제안한다. 기존의 동심원 추적을 이용한 손가락 동작 인식 연구에서 두 개의 동심원을 이용해 완전히 접힌 손가락의 개수 및 반만 접힌 손가락의 개수를 특징으로 추출하여 손가락의 동작을 인식할 수 있었다[1].
제안하는 알고리즘에서는 손가락의 움직임에도 각도의 변화가 적은 손가락의 기저를 추정하고자 하였다. 손가락의 기저는 그림 7과 같고 손바닥의 중심점을 기준으로 구한 손가락의 기저의 각도를 θ_b(s)로 표현한다.
N(s)는 s번째손가락의 접힘유무를 1, 0으로 표현한다. 본 논문에서는 펼쳐진 손가락의 사이의 각도를 통해 손동작을 구분하는 방법을 제안한다. 손가락 사이의 각도구하기 위하여 먼저 COG(i,j)을 기준으로 펼쳐진 손가락의 T_v (i,j)의 각도를 나타내는 θ_t(v), 1≤v≤N을 구한다.

제안 방법

기존의 동심원 추적을 이용한 손가락 동작 인식 연구에서 두 개의 동심원을 이용해 완전히 접힌 손가락의 개수 및 반만 접힌 손가락의 개수를 특징으로 추출하여 손가락의 동작을 인식할 수 있었다[1]. 제안하는 알고리즘은 여러 개의 동심원을 확장시키며 기존의 알고리즘에서 측정할 수 없었던 손가락의 끝점과 펼쳐진 손가락의 개수를 정확하게 측정한다. 또한 손가락의 기저를 찾아내는 방법을 제안하여 어떤 손가락이 펼쳐져 있는지 추후의 연구에서 찾아낼 수 있는 단서를 제공한다.
또한 손가락의 기저를 찾아내는 방법을 제안하여 어떤 손가락이 펼쳐져 있는지 추후의 연구에서 찾아낼 수 있는 단서를 제공한다. 그리고 펼쳐진 손가락 사이의 각도를 측정하여 펼쳐진 손가락의 개수가 같더라도 서로 다른 손동작을 구별할 수 있도록 하였다.
다른 방법으로는 COG로부터의 손의 외곽선의 거리를 구한 뒤 미분을 통해 값이 음수에서 양수로 변하는 점을 손가락 끝점으로 인식하여 손동작을 인식하는 방법이 있다. 일반적으로 손가락 끝점 부근의 외곽선이 손상되면 미분된 거리 값 또한 손상되기 때문에 인식률에 문제가 생기지만 이 연구에서는 평균 필터를 적용하여 손상된 외곽선에 의한 미분 값의 오류를 최소화 시켰다[7].
본 시스템은 카메라로부터 입력받은 영상의 노이즈를 제거하고 손 영역을 추출하여 ROI를 설정하는 전처리 과정과 제안하는 알고리즘을 통해 손동작의 인식에 필요한 특징을 추출하는 과정 그리고 추출된 특징을 통해 손동작을 식별하는 손동작 인식 과정으로 구성되어 있다.
카메라로부터 입력받은 영상의 가우시안 노이즈를 제거하기 위해 가우시안 블러를 적용하였다. 사용한 가우시안 커널은 σ가 1이고 크기가 7×7이다.
영상에서 손 영역의 ROI를 정하기 위해 피부색 추출 기법을 사용하였고 피부색 추출률이 높은 YCbCr 색공간을 이용하여 피부색을 추출하였다[8].
피부색 추출 기법을 통해 얻은 이진영상에는 노이즈 및 홀이 존재할 수 있다. 이를 제거하기 위해서 모폴로지 연산을 수행하였다. 모폴로지 연산을 수행해도 노이즈의 크기가 크거나 영상 내에 피부색과 유사한 물체가 있어 실제 손 영역 외에 다른 부분이 이진영상에 남아 있을 수 있고 이 부분들은 인식 알고리즘의 수행 이전에 제거되어야만 한다.
특징점 추출 과정에서는 동심원 확장 및 추적 알고리즘을 사용하여 펼쳐진 손가락의 개수와 끝점 그리고 손가락의 기저 부분을 추출한다. 본 논문에서 제안하는 특징점 추출의 과정은 그림 4와 같다.
먼저 손바닥의 COG와 반지름을 구하기 위해 거리변환을 활용하고 COG로부터 동심원을 확장하여 특징점을 추출하는 동심원 추적 및 확장 알고리즘을 수행한다. 다음으로 앞서 구한 특징점과 이미지 모멘트를 이용하여 손가락의 기저를 추정하는 과정을 수행한다.
간의 각도를 구할 때 사용하는 변수이며 1부터 N-1까지의 범위를 갖는다. 상기한 알고리즘을 통해 구해진 특징점들을 분류하여 사용자가 취한 손동작을 판단한다.
이번 연구에서는 카메라로부터 영상을 입력받아 전처리과정을 수행 후 손의 영역을 추출한 뒤 동심원 확장 및 추적 알고리즘을 이용하여 특징점을 추출 후 손동작을 인식하는 방법을 제안하였다. 그리고 실험을 통해 손동작의 평균 인식률이 90.

대상 데이터

실험에 사용한 샘플영상의 손동작은 제시하는 알고리즘이 인식할 수 있는 손동작 중 9개를 선정한 것이며 20명의 사람들로부터 각 손동작 별로 10장씩 총 1800장의 영상을 촬영하였다. 실험에 사용한 손동작은 그림 9와 같고 실험 결과는 표 2와 같다.

성능/효과

실험결과 모든 손동작에 대한 평균 인식률은 90.7%로 확인되었다. 단순히 손가락을 피는 동작의 G1 ~ G6 손동작의 평균 인식률은 95%를 달성하였으며 특정 손동작은 100% 인식률을 달성함을 확인할 수 있었다.
7%로 확인되었다. 단순히 손가락을 피는 동작의 G1 ~ G6 손동작의 평균 인식률은 95%를 달성하였으며 특정 손동작은 100% 인식률을 달성함을 확인할 수 있었다. 하지만 손가락 사이의 각도를 활용하는 G7 ~ G9의 경우 인식률이 평균 81%대에 그치고 있다.
나머지의 경우 피부색 추출, 알고리즘 수행 등의 과정에서 문제가 생긴 경우였다. 영상 1개당 알고리즘의 평균 처리속도는 78ms를 보였다.
이번 연구에서는 카메라로부터 영상을 입력받아 전처리과정을 수행 후 손의 영역을 추출한 뒤 동심원 확장 및 추적 알고리즘을 이용하여 특징점을 추출 후 손동작을 인식하는 방법을 제안하였다. 그리고 실험을 통해 손동작의 평균 인식률이 90.7%이고 평균 수행속도가 78ms인 것을 확인할 수 있었다.
제안하는 알고리즘을 통해 추출되는 다양한 특징점들을 통해 인식할 수 있는 다양한 손동작들을 활용하여 증강현실 및 가상현실 시스템의 몰입도를 높일 수 있는 입력 인터페이스로 적용가능성을 확인할 수 있었다.

후속연구

제안하는 알고리즘은 여러 개의 동심원을 확장시키며 기존의 알고리즘에서 측정할 수 없었던 손가락의 끝점과 펼쳐진 손가락의 개수를 정확하게 측정한다. 또한 손가락의 기저를 찾아내는 방법을 제안하여 어떤 손가락이 펼쳐져 있는지 추후의 연구에서 찾아낼 수 있는 단서를 제공한다. 그리고 펼쳐진 손가락 사이의 각도를 측정하여 펼쳐진 손가락의 개수가 같더라도 서로 다른 손동작을 구별할 수 있도록 하였다.
특징점 중 손가락 사이의 각도를 활용한 손동작의 인식률이 낮은 점은 추후 개선이 요구되고 알고리즘을 통해 추출되는 다양한 특징점을 활용하여 추후에는 특정 손가락의 접힘과 펴짐 및 손가락들의 붙임 여부를 인식할 수 있도록 하여 더욱 다양한 손동작을 인식할 수 있도록 알고리즘을 개선해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 키보드와 마우스를 대체하는 새로운 입력 인터페이스 중 손동작이 가지는 장점은 무엇인가?	최근 가상현실, 증강현실 기술이 발달함에 따라 기존의 키보드와 마우스를 대체하는 새로운 입력 인터페이스에 관련된 기술이 요구되어지고 있다. 이중 손동작은 언어적 의사소통 수단인 음성에 준할 정도로 의사전달력이 큰 것으로 알려져 있다. 또한 동작이 자연스럽고 직관적이며 사용자의 학습이 용이한 장점이 있다. 이에 따라 최근 손동작 인식을 위한 다양한 연구가 수행되어지고 있다.
	비전을 이용한 손동작 인식의 방법에는 무엇이 있는가?	이중 비전 기반의 손동작 인식 방식은 데이터 글로브와 같이 사용자에게 별도의 장치의 착용을 요구하지 않음으로서 사용자가 장치의 착용에 따른 불편함과 부자연스러움을 느끼지 않기 때문에 최근의 연구는 주로 비전을 이용한 손동작 인식이 주가 되고 있다. 대표적으로 템플릿 매칭을 이용하여 손가락 끝점을 인식하는 방법과 Convex Hull과 Convexity Defects를 이용한 방법, 그리고 1D Sequence를 이용하여 외곽선을 분석하여 손가락의 개수를 측정하는 방법 등이 있다.
	최근에 비전을 이용한 손동작 인식이 주로 연구되고 있는 이유는 어떠한 특징 때문인가?	이에 따라 최근 손동작 인식을 위한 다양한 연구가 수행되어지고 있다. 이중 비전 기반의 손동작 인식 방식은 데이터 글로브와 같이 사용자에게 별도의 장치의 착용을 요구하지 않음으로서 사용자가 장치의 착용에 따른 불편함과 부자연스러움을 느끼지 않기 때문에 최근의 연구는 주로 비전을 이용한 손동작 인식이 주가 되고 있다. 대표적으로 템플릿 매칭을 이용하여 손가락 끝점을 인식하는 방법과 Convex Hull과 Convexity Defects를 이용한 방법, 그리고 1D Sequence를 이용하여 외곽선을 분석하여 손가락의 개수를 측정하는 방법 등이 있다.

참고문헌 (9)

D. H. Hwang, K. S. Jang, "Finger-Gesture Recognition Using Concentric-Circle Tracing Algorithm," Journal of Korea Institute of Information and Communication Engineering, vol. 19, no. 12, pp. 2956-2962, Dec. 2015.

원문보기 상세보기
K. Oka, Y. Sato, and H. Koike, "Real-time fingertip tracking and gesture recognition," IEEE Computer graphics and Applications, vol. 22, no. 6, pp. 64-71, Nov. 2002.

상세보기
P, Singh, R. S. Lodhi, "Hand tracking and head movement detection: A State-of-Art Survey," International Journal of Computer and Advanced Engineering Research, vol. 1, no. 2, pp. 12-16, Aug. 2014.
S. Nagarajan, T. S. Subashini, and V. Ramalingam, "Vision based real time finger counter for hand gesture recognition," International Journal of Technology, vol. 2. no. 2, pp. 1-5, Dec. 2012.
A. Malima, E. Ozgur, and M. Cetin, "A fast algorithm for vision-based hand gesture recognition for robot control," in Proceedings of the IEEE 14th Signal Processing and Communications Applications, Antalya: TR, 2006.
A. R. Sarkar, G. Sanyal, and S. Majumder, "Hand gesture recognition systems: a survey," International Journal of Computer Applications, vol. 71, no. 15, pp. 26-37, May 2013.
S. C. Ji, S. W. Kang, J. S. Kim and H. Joo, "The Development of a Real-Time Hand Gestures Recognition System Using Infrared Images," Journal of Institute of Control, Robotics and Systems, vol. 21, no. 12, pp. 1100- 1108, Dec. 2015.

원문보기 상세보기
S. K. Singh, D. S. Chauhan, M. Vasta, and R. Singh, "A robust skin color based face detection algorithm," Tamkang Journal of Science and Engineering, vol. 6, no. 4, pp. 227- 234, Dec. 2003.

상세보기
W. T. Freeman, et al, "Computer vision for interactive computer graphics," IEEE Computer Graphics and Applications, vol. 18, no. 3, pp. 42-53, May 1998.

상세보기

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증