[논문]붙어 있는 손가락을 가진 손에서 손가락 개수 알고리즘

오정수

doi:10.6109/jkiice.2017.21.10.1892

붙어 있는 손가락을 가진 손에서 손가락 개수 알고리즘
Finger Counting Algorithm in the Hand with Stuck Fingers 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.10, 2017년, pp.1892 - 1897

오정수 (Department of Display Engineering, Pukyong National University)

초록
AI-Helper

본 논문은 붙어 있는 손가락들을 가진 손을 대상으로 한 손가락 개수 알고리즘을 제안하고 있다. 제안된 알고리즘은 손가락 사이에 필연적으로 직선형 그림자가 발생한다는 사실을 기반으로 한다. 이 알고리즘은 효율적인 그림자 검출을 위해 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하고, 각 영역에서 경계 영상을 생성한다. 각 경계 영상에 직선 검출과 투영 기법을 적용하므로 투영 곡선들이 생성되고, 곡선들의 피크들은 손가락 그림자의 후보들로 검출된다. 그러고는 검출된 피크들에서 손가락 그림자에 의한 피크들만 추출되고 개수된다. 붙어 있는 손가락으로 다양한 형상을 표현하는 손 영상들을 대상으로 한 손가락 개수 실험에서 손가락 수에 따른 개수 성공률이 83.3%에서 100%이고, 전체적으로 93.1%이다. 또한 통제된 조건하에서 손 영상이 생성된다면 실패한 경우들이 충분히 개선될 수 있음을 보여주고 있다.

Abstract ▼ AI-Helper

This paper proposes a finger counting algorithm for a hand with stuck fingers. The proposed algorithm is based on the fact that straight line type shadows are inevitably generated between fingers. It divides the hand region into the thumb region and the four fingers region for effective shadow detection, and generates an edge image in each region. Projection curves are generated by appling a line detection and a projection technique to each edge image, and the peaks of the curves are detected as candidates for finger shadows. And then peaks due to finger shadows are extracted from them and counted. In the finger counting experiment on hand images expressing various shapes with stuck fingers, the counting success rate is from 83.3% to 100% according to the number of fingers, and 93.1% on the whole. It also shows that if hand images are generated under controlled conditions, the failure cases can be sufficiently improved.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 손가락들이 붙어 있는 손 영상을 대상으로 한 손가락 개수 알고리즘을 제안하고 있다. 제안된 알고리즘은 손가락 사이에 필연적으로 그림자가 발생한다는 사실을 기반으로 한다.
본 논문은 손가락이 붙어있는 손 영상에서 손동작 인식을 위한 손가락 개수 알고리즘을 제안한다. 제안된 알고리즘은 키넥트 기반에서 취득된 컬러 손 영상을 대상으로 붙어있는 손가락 경계에서 필연적으로 직선 행태의 그림자가 발생한다는 사실에 기반하고 있다.
손가락 그림자가 표현된 경계 영상에서 직선 검출과 투영 기법을 이용해 펴진 손가락의 수를 세는 알고리즘을 제안하고 있다. 그림 4는 제안된 알고리즘의 블록도를 보여주고 있다.

제안 방법

먼저 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하고, 각 영역에서 그림자를 검출하기 위해 Sobel 마스크를 이용해 경계 영상(edge image)을 생성한다. 그리고 네 손가락 영역의 경계 영상, 경계 영상에서 검출된 직선 영상, 엄지손가락 영역의 경계 영상에 대해 수직 투영을 수행해 투영 곡선들을 생성한다. 각 투영 곡선에서 피크는 손가락 그림자를 의미하고 한 그림자에서 발생하는 다수의 피크는 국부 최대(local maximum) 검출을 통해 실제 피크를 찾는다.
깊이 영상을 위한 키넥트 SDK 중 사람의 인체 골격 위치를 제공하는 Skeletal Viewer로 손 위치(HAND point)를 찾아 손 영역을 지정한다. 그리고 카메라의 위치와 해상도가 다른 컬러 영상을 위해 calibration SDK를 이용해 손 영역을 보정하여 컬러 영상에서 손 영역을 얻는다[7]. 손 영상 크기는 200×160이고 보정을 통해 얻은 손 영역은 calibration SDK 성능의 한계로 일부 손실되므로 모폴로지 팽창 연산[8]으로 손 영역을 확장한다.
제안된 알고리즘은 키넥트 기반에서 취득된 컬러 손 영상을 대상으로 붙어있는 손가락 경계에서 필연적으로 직선 행태의 그림자가 발생한다는 사실에 기반하고 있다. 먼저 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하고, 각 영역에서 그림자를 검출하기 위해 Sobel 마스크를 이용해 경계 영상(edge image)을 생성한다. 그리고 네 손가락 영역의 경계 영상, 경계 영상에서 검출된 직선 영상, 엄지손가락 영역의 경계 영상에 대해 수직 투영을 수행해 투영 곡선들을 생성한다.
본 장에서는 손 영상의 취득 과정을 기술하고, 손가락이 붙어 있는 손 영상에서 펴진 손가락의 수를 세는 손가락 개수 알고리즘을 기술한다.
본 논문은 손가락들이 붙어 있는 손 영상을 대상으로 한 손가락 개수 알고리즘을 제안하고 있다. 제안된 알고리즘은 손가락 사이에 필연적으로 그림자가 발생한다는 사실을 기반으로 한다. 효율적인 그림자 검출을 위해 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하였고, 영역의 경계 영상에 대해 직선 검출과 투영 기법을 적용하여 유효 그림자를 검출하며 손가락 개수를 수행하였다.
본 논문은 손가락이 붙어있는 손 영상에서 손동작 인식을 위한 손가락 개수 알고리즘을 제안한다. 제안된 알고리즘은 키넥트 기반에서 취득된 컬러 손 영상을 대상으로 붙어있는 손가락 경계에서 필연적으로 직선 행태의 그림자가 발생한다는 사실에 기반하고 있다. 먼저 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하고, 각 영역에서 그림자를 검출하기 위해 Sobel 마스크를 이용해 경계 영상(edge image)을 생성한다.
제안된 알고리즘의 성능 평가를 위해 2개의 손 영상 그룹을 생성하여 손가락 개수 알고리즘을 수행하였다. 첫 번째 그룹 G1은 피실험자들에게 최소한의 손가락 동작 방법만을 제공하여 생성된 일반적인 손 영상들로 그림 8에 일부 보여주고 있다.
제안된 알고리즘은 손가락 사이에 필연적으로 그림자가 발생한다는 사실을 기반으로 한다. 효율적인 그림자 검출을 위해 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하였고, 영역의 경계 영상에 대해 직선 검출과 투영 기법을 적용하여 유효 그림자를 검출하며 손가락 개수를 수행하였다. 붙어 있는 손가락으로 다양하게 표현된 일반 손 영상들을 대상으로 한 손가락 개수 실험에서 전체적으로 93.

대상 데이터

본 논문에서 손 영상 취득은 깊이 영상과 컬러 영상을 취득할 수 있는 마이크로소프트사의 키넥트(ver. 1)을 이용하고 있다. 깊이 영상을 위한 키넥트 SDK 중 사람의 인체 골격 위치를 제공하는 Skeletal Viewer로 손 위치(HAND point)를 찾아 손 영역을 지정한다.
표 2는 그림자 검출을 위해 직선 검출뿐만 아니라 경계 영상과 직선 영상의 투영을 사용한 필요성 보여주고 있다. 첫 번째 예는 Pseudo straight line의 첫 번째 직선처럼 잡음 경계에 의해 검출된 의사 직선으로 경계 투영이 작아 실제 피크에서 제거되었다. 두 번째 예는 Out of valid slope의 세 번째 피크처럼 유효 기울기 밖의 직선으로 제거되었으나 경계 투영으로 다시 검출되었다.

성능/효과

3%에서 다섯 손가락에서최대 100% 개수 성공률을 보이고 있다. 또한 이상적인 손 영상들에 대한 실험을 통해 실패한 손가락 개수에 대해서도 손 영상 취득 과정을 규격화 한다면 충분히 개선될 것이라는 것을 확인하였다.
효율적인 그림자 검출을 위해 손 영역을 엄지손가락 영역과 네 손가락 영역으로 구분하였고, 영역의 경계 영상에 대해 직선 검출과 투영 기법을 적용하여 유효 그림자를 검출하며 손가락 개수를 수행하였다. 붙어 있는 손가락으로 다양하게 표현된 일반 손 영상들을 대상으로 한 손가락 개수 실험에서 전체적으로 93.1%의 개수 성공률을 보이고, 손가락의 수에 따라 두 손가락에서 최소 83.3%에서 다섯 손가락에서최대 100% 개수 성공률을 보이고 있다. 또한 이상적인 손 영상들에 대한 실험을 통해 실패한 손가락 개수에 대해서도 손 영상 취득 과정을 규격화 한다면 충분히 개선될 것이라는 것을 확인하였다.

후속연구

붙어 있는 손가락으로 다양한 형상을 표현된 손 영상들을 대상으로 손가락 개수 실험을 통해 제안된 알고리즘의 유효함을 보일 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상 기반 손동작 인식 알고리즘을 활용한 영상의 변화 추세는?	그래서 영상 기반 손동작 인식 알고리즘들이 지속적으로 연구되고 있다[1]. 영상 기반 손동작 인식 알고리즘은 RGB 카메라로 취득된 컬러 영상[2,3]을 많이 사용하였으나 최근에 키넥트(KINECT) 같은 저가 깊이 카메라(depth camera)가 개발되면서 주로 깊이 영상[4-6]을 사용하고 있다. 그런데 기존 알고리즘들은 손가락이 펼쳐진 손 영상을 대상으로 연구되어 손가락이 붙어있는 손 영상에서는 손동작 인식의 중요 기능인 손가락 개수가 불가능하다.
	손가락 개수 알고리즘은 무엇을 개선하기 위한 것인가?	영상 기반 손동작 인식 알고리즘은 RGB 카메라로 취득된 컬러 영상[2,3]을 많이 사용하였으나 최근에 키넥트(KINECT) 같은 저가 깊이 카메라(depth camera)가 개발되면서 주로 깊이 영상[4-6]을 사용하고 있다. 그런데 기존 알고리즘들은 손가락이 펼쳐진 손 영상을 대상으로 연구되어 손가락이 붙어있는 손 영상에서는 손동작 인식의 중요 기능인 손가락 개수가 불가능하다.
	손이 전자산업에서 갖는 특징은?	전자 산업이 발전하면서 사람과 시스템들 사이에 다양한 상호작용이 요구되고 있고, 손은 손가락의 다양한 변화를 통해 시스템과 상호작용할 수 있는 유용한 도구이다. 그래서 영상 기반 손동작 인식 알고리즘들이 지속적으로 연구되고 있다[1].

참고문헌 (10)

S. Mitra and T. Acharya, "Gesture Recognition: A survey," IEEE Transaction on System, Man, and Cybernetics, vol. 37, no. 3, pp.311-324, May 2007.

상세보기
Y. Xu and G. Pok, "Identification of Hand Region Based on YCgCr Color Representation," International Journal of Applied Engineering Research vol. 12. no. 6, pp.1031-1034, Jun. 2017.
H. C. Yoon and J. S. Cho, "Hand feature Extraction Algorithm Using Curvature Analysis for Recognition of Various Hand Gestures," Journal of The Korea Society of Computer and Information, vol. 20. no. 5, pp. 13-20, May 2015.
G. Marin, F. Dominio, and P. Zanuttigh. "Hand gesture recognition with leap motion and kinect devices," in Proceedings of IEEE International Conference on Image Processing, Paris, pp. 1565-1569, 2014.
M.Z.A. Barker, R. Samad, D. Pebrianti, M. Mustafa, and N.R.H. Abdullah, "Finger application using K-Curvature method and Kinect sensor in real-time," in Proceedings of International Symposium on Technology Management and Emerging Technologies, Lankawai Island, pp.218-222, 2015.
J. W. Song and J. S. Oh, "Finger Detection Using a Distance Graph," Journal of The Korea Institute of Information and Communication Engineering, vol. 20, no. 10, pp.1967-1972, Oct. 2015.
Microsoft, Developer resources, Meet Kinect for Windows, [Internet]. Available: https://developer.microsoft.com/ enus/windows/Kinect.
R. C. Gonzalez and E. W. Richard, Digital Image Processing, 3rd ed. New Jersey, NJ:Prentice Hall, 2008.
P. F. Felzenszwalb and D. P. Huttenlocher, "Distance Transforms of Sampled Functions," Theory of Computing, vol. 8, no. 19, pp. 415-428, Sep. 2012.
C. R. Maurer, R. Qi. and V. Raghavan, "A Linear Time Algorithm for Computing Exact Euclidean Distance Transforms of Binary Images in Arbitrary Dimensions," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 2, pp. 265-270, Feb. 2003.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증