일반적으로 동적 손동작 인식을 위해서는 전처리, 손 추적, 손 모양 검출의 단계가 필요하다. 본 논문에서는 전처리와 손 모양 검출 방법을 개선함으로써 성능을 향상시킨 동적 손동작 인식 방법을 제안한다. 전처리 단계에서는 동적테이블을 이용하여 노이즈제거 성능을 높이고, YCbCr 컬러공간을 이용한 기존의 피부색 검출 방식에서 피부색의 범위를 조절할 수 있도록 하여 피부색 검출 성능을 높인다. 특히 손 모양 검출 단계에서는 가이드라인을 이용하여 동적 손동작 인식의 요소인 시작이미지(Start Image)와 정지 이미지(Stop Image)를 검출하여 동적 손동작을 인식하기 때문에 학습예제를 사용한 손동작 인식 방법에 비해 인식 속도가 빠르다는 이점이 있다. 가이드라인이란 웹캠을 통해 입력되는 손의 모양과 비교하여 검출하기 위해 화면에 출력하는 손 모양의 라인이다. 가이드라인을 이용한 동적 손동작 인식 방법의 성능을 평가하기 위해 웹캠을 사용하여 복잡한 배경과 단순한 배경으로 구분된 9가지 동영상을 대상으로 실험하였다. 그 결과 CPU 점유율이 낮고, 메모리 사용량도 적기 때문에 시스템 부하가 높은 환경에 효과적임을 알 수 있었다.
일반적으로 동적 손동작 인식을 위해서는 전처리, 손 추적, 손 모양 검출의 단계가 필요하다. 본 논문에서는 전처리와 손 모양 검출 방법을 개선함으로써 성능을 향상시킨 동적 손동작 인식 방법을 제안한다. 전처리 단계에서는 동적테이블을 이용하여 노이즈제거 성능을 높이고, YCbCr 컬러공간을 이용한 기존의 피부색 검출 방식에서 피부색의 범위를 조절할 수 있도록 하여 피부색 검출 성능을 높인다. 특히 손 모양 검출 단계에서는 가이드라인을 이용하여 동적 손동작 인식의 요소인 시작이미지(Start Image)와 정지 이미지(Stop Image)를 검출하여 동적 손동작을 인식하기 때문에 학습예제를 사용한 손동작 인식 방법에 비해 인식 속도가 빠르다는 이점이 있다. 가이드라인이란 웹캠을 통해 입력되는 손의 모양과 비교하여 검출하기 위해 화면에 출력하는 손 모양의 라인이다. 가이드라인을 이용한 동적 손동작 인식 방법의 성능을 평가하기 위해 웹캠을 사용하여 복잡한 배경과 단순한 배경으로 구분된 9가지 동영상을 대상으로 실험하였다. 그 결과 CPU 점유율이 낮고, 메모리 사용량도 적기 때문에 시스템 부하가 높은 환경에 효과적임을 알 수 있었다.
Generally, dynamic hand gesture recognition is formed through preprocessing step, hand tracking step and hand shape detection step. In this paper, we present advanced dynamic hand gesture recognizing method that improves performance in preprocessing step and hand shape detection step. In preprocessi...
Generally, dynamic hand gesture recognition is formed through preprocessing step, hand tracking step and hand shape detection step. In this paper, we present advanced dynamic hand gesture recognizing method that improves performance in preprocessing step and hand shape detection step. In preprocessing step, we remove noise fast by using dynamic table and detect skin color exactly on complex background for controling skin color range in skin color detection method using YCbCr color space. Especially, we increase recognizing speed in hand shape detection step through detecting Start Image and Stop Image, that are elements of dynamic hand gesture recognizing, using Guideline. Guideline is edge of input hand image and hand shape for comparing. We perform various experiments with nine web-cam video clips that are separated to complex background and simple background for dynamic hand gesture recognition method in the paper. The result of experiment shows similar recognition ratio but high recognition speed, low cpu usage, low memory usage than recognition method using learning exercise.
Generally, dynamic hand gesture recognition is formed through preprocessing step, hand tracking step and hand shape detection step. In this paper, we present advanced dynamic hand gesture recognizing method that improves performance in preprocessing step and hand shape detection step. In preprocessing step, we remove noise fast by using dynamic table and detect skin color exactly on complex background for controling skin color range in skin color detection method using YCbCr color space. Especially, we increase recognizing speed in hand shape detection step through detecting Start Image and Stop Image, that are elements of dynamic hand gesture recognizing, using Guideline. Guideline is edge of input hand image and hand shape for comparing. We perform various experiments with nine web-cam video clips that are separated to complex background and simple background for dynamic hand gesture recognition method in the paper. The result of experiment shows similar recognition ratio but high recognition speed, low cpu usage, low memory usage than recognition method using learning exercise.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 가이드라인을 이용한 손동작 인식 방법을 제안하였다. 이 방법은 손 영역 추적 알고리즘과 손 모양을 검출 알고리즘으로 구성된다.
본 논문에서는 동영상을 프레임별로 분할한 이미지를 이용하여 가이드라인을 이용한 동적 손동작 인식 방법의 손 추적 모듈과 Optical Flow, CAM Shift의 성능을 평가한다. 가이드라인을 이용한 방법의 손 추적 모듈과 Optical Flow, CAM SI曲의 프레임당 평균 연산 시간을 측정한 결과는 그림 7과 같다.
본 논문에서는 시뮬레이션을 통하여 가이드라인을 이용한 손동작 인식 방법의 성능을 검증한다. 가이드라인을 이용한 손 모양 검출 방법은 기존의 Template Matching 방법에 비해 인식률이 높고, 인식 속도가 빠르다.
본 논문에서는 이러한 문제점을 개선한 동적 손동작 인식 (dynamic hand gesture recognition) 방법을 제안한다. 이 방법은 YCbCr 색상공간을 사용하여 RGB, 정규화된 RGB, HSV 색상공간보다 정확하게 피부색을 추출하여 카메라 입력 영상의 배경과 손 영역을 정확하게 분할한다.
제안 방법
메모리 사용량을 분석한다. CPU 점유율은 VMWare 가상머신을 이용해 운영체제를 새로 설치하고, 필수 프로세서를 제외한 모든 프로세서를 종료한 후에 실험함으로써 정확한 값을 구하였다. 표 2의 손동작 추적 및 검출 방법을 조합한 P는~P-9에 대한 CPU 점유율을 측정한 결과는 그림 12와 같다
Binarize(m_plmage) 함수는 입력 영상을 이진화하고, 손 모양의 가이드라인을 생성한다. 가이드라인을 이용하여 가이드라인 내의 피부색 비율로 초기 손 영역을 검출한다. 피부색 검출은 성능을 고려하여 YCbCr 칼라 공간을 이용한다.
가이드라인을 이용한 동적 손동작 인식 방법의 CPU 점유율과 메모리 사용량을 분석한다. CPU 점유율은 VMWare 가상머신을 이용해 운영체제를 새로 설치하고, 필수 프로세서를 제외한 모든 프로세서를 종료한 후에 실험함으로써 정확한 값을 구하였다.
가이드라인을 이용한 동적 손동작 인식에 소요되는 시간을 측정하기 위해 Start이미지를 시작으로 Stop 이미지까지 도달하는데 걸리는 시간을 측정한다. 따라서 동적 손동작 인식에 소요되는 시간(dt)은 식 4를 이용하여 구한다.
구현한다. 그리고 표 1의 시스템에서 표 2의 실험 영상을 대상으로 프레임 당 평균연산시간, 추적 정확도, 검출 정확도를 측정하고 그 결과를 분석한다. 또한 CPU 점유율과 메모리 사용량을 측정하고, 그 결과를 분석한다.
노이즈를 제거한 영상에서 정확한 손 영역 추적과 손모양 검출에 사용할 손가락의 끝점과 각도를 검출한다. 손가락 끝점의 개수는 5이기 때문에 손가락 수(◎의 초기 값은 5로 설정한다.
그리고 표 1의 시스템에서 표 2의 실험 영상을 대상으로 프레임 당 평균연산시간, 추적 정확도, 검출 정확도를 측정하고 그 결과를 분석한다. 또한 CPU 점유율과 메모리 사용량을 측정하고, 그 결과를 분석한다.
초기화 한다. 또한, 입력 영상의 이진화, 노이즈 제거, 가이드라인 생성, 손가락 끝점 검출, 색상 공간(정규화된 RGB, YCbCr)변환하는 전처리 모듈을 수행한다. 인식 전 손 추적은 손 추적 모듈을 사용하여 손의 움직임을 추적한다.
인식 과정의 손 추적은 인식 전 손 추적과는 다르게 움직이는 궤도를 저장하여 손이 움직이는 방향을 알 수 있다. 마지막으로 stop image를 검출하고 start image의 결과 값과 추적된 손의 방향 값, stop image의 결과 값을 분석하여 최종적으로 손동작을 인식한다.
본 논문에서는 제안한 가이드라인을 이용한 동적 손 동작 인식 방법의 성능을 평가하기 위해 OpenCV的API를 이용하여 손동작 추출과 손동작 검출 알고리즘을 구현한다. 그리고 표 1의 시스템에서 표 2의 실험 영상을 대상으로 프레임 당 평균연산시간, 추적 정확도, 검출 정확도를 측정하고 그 결과를 분석한다.
손 추적 방법인 가이드라인을 이용한 방법의 손 추적모듀 Optical Flow 방법, CAM Shift 방법과 손 검출 방법인 가이드라인을 이용한 방법의 손 검출 모듈, Template Matching 방법, HandVu 방법을 이용하여 표 3과 같이 9가지 조합을 구성한다.
하지만 본 논문에서 제안한 방법은 손의 단면을 이용하기 때문에 손의 각도 변화에 따라 인식률이 저하될 수 있는 단점이 있다. 이러한 문제점은 멀티 카메라를 이용한 다양한 각도의 손 이미지 분석 및 인식률 향상 등에 대한 향후 연구로 보완될 수 있을 것이다.
이론/모형
계식을 가진 동적테이블을 이용한 노이즈 제거기법을 사용한다. 叫
본 논문에서는 검출된 손 영역을 제외한 모든 픽셀을 노이즈라 정하고 동적테이블을 구성하여 기존의 주변 픽셀을 비교하는 노이즈 제거기법을 사용한다. 노이즈 제거기법은 중심 픽셀로부터 상하좌우의 인접 픽셀을 비교하여 반대의 값을 가지면 노이즈로 판단하여 픽셀의 값을 수정한다.
성능/효과
가이드라인을 이용한 손 모양 검출 방법은 기존의 Template Matching 방법에 비해 인식률이 높고, 인식 속도가 빠르다. 또한 HandVu 방법에 비해 인식률은 비슷하지만 인식 속도는 향상되었다.
또한 HandVu 방법에 비해 인식률은 비슷하지만 인식 속도는 향상되었다. 그리고 가이드라인을 이용한 손 모양 검출 방법은 기존의 방법에 비해, CPU 점유율이 낮고, 메모리 사용량도 적다. 따라서 본 논문에서 제안하는 가이드라인을 이용한 손동작 인식 방법은 시스템 부하가 높은 환경에 적용하면 효과적이다.
메모리 사용량이다. 그림 13을 살펴보면 손동작 추적 및 검출 방법으로 본 논문에서 제안한 가이드라인을 이용한 방법을 적용한 PT의 메모리 사용량이 가장 적음을 볼 수 있다
실생활 환경의 영상은 다양한 조명과 색상, 패턴을 가지고 있기 때문에 배경과 손 영역을 정확하게 분리하는 것은 어렵다. 둘째, 손 영역에서 추가적인 환경요소(노이즈, 조도, 배경색상)에 영향을 받지 않고 손동작을 정확하게 인식할 수 있어야 한다. 손 영역을 분리하더라도 동영상은 여러 프레임의 집합이기 때문에 각 프레임마다 환경의 변화가 생겨 잘못된 손동작 인식이 발생할 수 있다.
그리고 가이드라인을 이용한 손 모양 검출 방법은 기존의 방법에 비해, CPU 점유율이 낮고, 메모리 사용량도 적다. 따라서 본 논문에서 제안하는 가이드라인을 이용한 손동작 인식 방법은 시스템 부하가 높은 환경에 적용하면 효과적이다.
사용량이 낮다. 따라서 시스템 부하가 높은 환경에 본 논문에서 제안하는 가이드라인을 이용한 손동작 인식 방법을 적용하면 효과적이다.
가이드라인을 이용한 손 모양 검출 방법은 기존의 Template Matching 방법에 비해 인식률이 높고, 인식 속도가 빠르다. 또한 HandVu 방법에 비해 인식률은 비슷하지만 인식 속도는 향상되었다. 그리고 가이드라인을 이용한 손 모양 검출 방법은 기존의 방법에 비해, CPU 점유율이 낮고, 메모리 사용량도 적다.
본 논문에서 제안하는 가이드라인을 이용한 손동작 인식 방법은 평균연산시간이 빠르고, CPU 점유율 및 메모리 사용량이 낮다. 따라서 시스템 부하가 높은 환경에 본 논문에서 제안하는 가이드라인을 이용한 손동작 인식 방법을 적용하면 효과적이다.
볼 수 있다. 본 논문에서 제안한 손동작 추적 및 검출 알고리즘을 적용한 P-1 ~P-4, P-7의 경우 적용하지 않은 P-6, P-8, P-9에 비해 성능이 우수함을 볼 수 있다.
손 영역을 분리하더라도 동영상은 여러 프레임의 집합이기 때문에 각 프레임마다 환경의 변화가 생겨 잘못된 손동작 인식이 발생할 수 있다. 셋째, 학습 예제를 사용하지 않고 자유로운 손동작을 인식할 수 있어야 한다. 기존의 학습 예제를 사용하는 방법은 인식률이 높은 반면 학습을 위해 많은 시간이 필요하며, 구현하는 방법도 어렵다.
그리고 추적프레임(tf)의 무게중심 (gc)를 구하여 이전프레임의 무게중심(ogc)과 좌표값을 비교하여 손의 이동방향을 구한다. 이 알고리즘을 이용하여 손 추적을 하면 프레임 전체가 아닌 손 영역만을 비교하기 때문에 기존의 차동분석방법 스킨 칼라 모델방법에 비해 연산량이 감소하고, 처리속도는 증가한다.
후속연구
있는 단점이 있다. 이러한 문제점은 멀티 카메라를 이용한 다양한 각도의 손 이미지 분석 및 인식률 향상 등에 대한 향후 연구로 보완될 수 있을 것이다.
참고문헌 (12)
A. Shamaie and A. Sutherland, "A dynamic model for real-time tracking of hands in bimanual movements," in 5th International Gesture Workshop, Geneva, Apr. 2003.
조오영, 김형곤, 고성제, 안상철, "인터액티브 가상환경을 위한 손제스처 인식 시스템," 대한전자공학회논문지-S, 제36권, 제4호, pp. 70-82, 1999.
Jacek M. Zurada, Introduction to Artificial Neural Systems, West Publishing Company, pp. 94-98, 1992.
S.T. Bow, Pattern Recognition and Image Preprocessing, Marcel Dekker, 1992
D. M. Gavrila, "The Visual Analysis of Human Movement: A Survey," CVIU, [1] v.73, no.1, pp.82-98, 1999.
Robert, T.C., "Mean-Shift Blob Tracking through Scale Space," IEEE CVPR'03, Vol. 1, pp. 234-240, 2003.
Bradski, G.R., "Computer video face tracking for use in a perceptual user interface," Intel Technology Journal, QW2, 1998.
T. Otsuka and J. Ohya, "Recognizing of Facial Expressiona using HMM with Continuos Output Probabilities," Proceedings of 5th IEEE International Workshop on Robot and Human Communication RO-MAN, pp. 323-328, 1996.
Rein-Lien Hsu, Mohamed Abdel-Mottaleb, Anil K. Jain, "Face Detection in Color Images," IEEE Transactions on pattern analysis and machine intelligence, Vol.23, No.12, pp. 1102-1114, Nov. 1. 2005.
김건우, 이원주, 전창호, "웹캠을 이용한 손동작 인식방법," 대한전자공학회 2008년 하계종합학술대회논문집, 제31권, 제1호, pp. 619-620, 2008.
김건우, 김창현, 전창호, 이원주, "제스쳐 인식 시스템 설계 및 구현," 한국컴퓨터정보학회 2008년하계학술대회논문집, 제16권, 제1호, pp. 231-235, 2008.
정성환, 이문호, 오픈소스 OpenCV를 이용한 컴퓨터 비전실무프로그래밍 기본편, 홍릉과학출판사, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.