본 논문은 인간과 기계의 상호 작용(HCI:Human Computer Interaction)을 구현하기 위해 컴퓨터 비젼 기술을 활용하여 인간의 자유로운 손 동작을 인식하는 시스템을 소개하였다. 이 시스템은 컴퓨터가 인간의 손 동작을 인식함으로써, 사용자가 쉽고 편리하게 기계와 의사 전달을 할 수 있도록 하였다. 손 동작 인식 시스템은 크게 세 부분으로 분류할 수 있다. 손 모델(Hand model), 특징 추출(...
본 논문은 인간과 기계의 상호 작용(HCI:Human Computer Interaction)을 구현하기 위해 컴퓨터 비젼 기술을 활용하여 인간의 자유로운 손 동작을 인식하는 시스템을 소개하였다. 이 시스템은 컴퓨터가 인간의 손 동작을 인식함으로써, 사용자가 쉽고 편리하게 기계와 의사 전달을 할 수 있도록 하였다. 손 동작 인식 시스템은 크게 세 부분으로 분류할 수 있다. 손 모델(Hand model), 특징 추출(Feature extraction)및 손 형태의 추정(Estimation of hand shape) 그리고 손 동작의 인식(Recognition of hand motion)으로 분류할 수 있다. 사람의 손은 손가락과 손바닥의 운동에 따라 다양한 형태를 가진다. 이러한 손의 형태를 추정하기 위해, 우리는 손가락과 손바닥의 운동 모델로 구성된 손 모델을 정의하였다. 손 모델은 손가락을 굽히는 운동, 좌우로 움직이는 운동 그리고 손바닥이 회전하는 운동을 포함해 23자유도(DOF:Degree of Freedeom)를 가진다. 이러한 손 모델은 자유로운 손의 형태를 표현할 수 있다. 특징 추출 단계는 인간의 시각적 감각 기관인 눈과 동일한 역할을 수행하는 CCD 카메라를 이용하였다. 초기 획득된 손의 영상은 배경 영역과 피부 영역을 포함한다. 피부 영역의 추출은 피부 색상에 해당하는 정규화된 R,G,B의 문턱값을 이용한다. 추출된 피부 영역에서 손 영역은 피부 영역의 주축 방향과 주축의 히스토그램을 이용하여 추출된다. 현재 손가락의 형태를 나타내는 특징은 손 영역을 라플라시안 연산을 이용해 영교차점을 찾은 손의 윤곽선과 손 영역의 무게 중심으로부터 손의 윤곽선까지 유클리드 거리를 계산함으로써 얻는다. 손목의 회전에 대한 특징은 손바닥의 너비와 길이를 계산함으로써 얻는다. 손의 형태 추정은 영상에서 나타나는 손가락과 손바닥의 특징을 각 모델에 매칭하여 운동각을 얻고, 이를 순방향 운동학(Forward Kinematics)을 이용하여 각 손가락의 관절 위치를 계산한 후, 이를 손의 형태로 재구성함으로써 추정한다. 이 때, 얻어진 각 손가락의 운동각과 손바닥의 회전각은 현재 손의 형태를 나타내는 특징 벡터로 구성된다. 손의 동작 인식을 위해서는 손의 형태을 상태로 정의한 상태 천이망을 이용하였다. 상태 천이망은 이미 알고 있는 서로 다른 손의 형태를 상태 노드로 구성하고, 학습을 통해 미리 정의한 표준 패턴의 손 동작에 따라 관련된 노드를 연결함으로써 구성된다. 손의 형태 인식은 획득된 손의 특징 벡터와 상태 천이망의 각 노드를 비교하여 가장 유사한 노드를 현재 손의 형태로 인식한다. 그리고, 손의 동작은 매 프레임 인식된 손의 형태를 구성된 천이망의 연결과 비교함으로써 인식할 수 있다. 상태 천이망을 통해 우리는 새로운 손의 형태 및 손의 동작 인식이 가능하였다.
본 논문은 인간과 기계의 상호 작용(HCI:Human Computer Interaction)을 구현하기 위해 컴퓨터 비젼 기술을 활용하여 인간의 자유로운 손 동작을 인식하는 시스템을 소개하였다. 이 시스템은 컴퓨터가 인간의 손 동작을 인식함으로써, 사용자가 쉽고 편리하게 기계와 의사 전달을 할 수 있도록 하였다. 손 동작 인식 시스템은 크게 세 부분으로 분류할 수 있다. 손 모델(Hand model), 특징 추출(Feature extraction)및 손 형태의 추정(Estimation of hand shape) 그리고 손 동작의 인식(Recognition of hand motion)으로 분류할 수 있다. 사람의 손은 손가락과 손바닥의 운동에 따라 다양한 형태를 가진다. 이러한 손의 형태를 추정하기 위해, 우리는 손가락과 손바닥의 운동 모델로 구성된 손 모델을 정의하였다. 손 모델은 손가락을 굽히는 운동, 좌우로 움직이는 운동 그리고 손바닥이 회전하는 운동을 포함해 23자유도(DOF:Degree of Freedeom)를 가진다. 이러한 손 모델은 자유로운 손의 형태를 표현할 수 있다. 특징 추출 단계는 인간의 시각적 감각 기관인 눈과 동일한 역할을 수행하는 CCD 카메라를 이용하였다. 초기 획득된 손의 영상은 배경 영역과 피부 영역을 포함한다. 피부 영역의 추출은 피부 색상에 해당하는 정규화된 R,G,B의 문턱값을 이용한다. 추출된 피부 영역에서 손 영역은 피부 영역의 주축 방향과 주축의 히스토그램을 이용하여 추출된다. 현재 손가락의 형태를 나타내는 특징은 손 영역을 라플라시안 연산을 이용해 영교차점을 찾은 손의 윤곽선과 손 영역의 무게 중심으로부터 손의 윤곽선까지 유클리드 거리를 계산함으로써 얻는다. 손목의 회전에 대한 특징은 손바닥의 너비와 길이를 계산함으로써 얻는다. 손의 형태 추정은 영상에서 나타나는 손가락과 손바닥의 특징을 각 모델에 매칭하여 운동각을 얻고, 이를 순방향 운동학(Forward Kinematics)을 이용하여 각 손가락의 관절 위치를 계산한 후, 이를 손의 형태로 재구성함으로써 추정한다. 이 때, 얻어진 각 손가락의 운동각과 손바닥의 회전각은 현재 손의 형태를 나타내는 특징 벡터로 구성된다. 손의 동작 인식을 위해서는 손의 형태을 상태로 정의한 상태 천이망을 이용하였다. 상태 천이망은 이미 알고 있는 서로 다른 손의 형태를 상태 노드로 구성하고, 학습을 통해 미리 정의한 표준 패턴의 손 동작에 따라 관련된 노드를 연결함으로써 구성된다. 손의 형태 인식은 획득된 손의 특징 벡터와 상태 천이망의 각 노드를 비교하여 가장 유사한 노드를 현재 손의 형태로 인식한다. 그리고, 손의 동작은 매 프레임 인식된 손의 형태를 구성된 천이망의 연결과 비교함으로써 인식할 수 있다. 상태 천이망을 통해 우리는 새로운 손의 형태 및 손의 동작 인식이 가능하였다.
The recognition of hand motion is important as communicating means for human and computer interaction. If a machine recognizes the hand motion, people can interact more conveniently with the machine. From this point of view, we developed a recognition system of hand motion. This consists of three st...
The recognition of hand motion is important as communicating means for human and computer interaction. If a machine recognizes the hand motion, people can interact more conveniently with the machine. From this point of view, we developed a recognition system of hand motion. This consists of three steps: definition of hand model, extraction of features and estimation of hand shape, recognition of hand motion. In the first step, we define a hand model including fingers and a palm models for analyzing various hand shape. The model explains bending motion of finger and rotation of palm. In the next step, we extract features from input images which include each fingertip, base point on each finger and width and height on the palm. Fingertips and base points are extracted with Euclidian distance among centroid of hand region and the hand boundary which can be calculated by the zero-crossing of Laplacian operation. Local maxima and minima of the Euclidian distance indicate each fingertips and base points. Features of palm are extracted according to the principal axis of hand region. Joint angles on each finger and rotation angle of wrist are calculated by matching the extracted features to look-up table for each model. When we estimate a hand shape, we calculate joint positions from joint angles on each finger using forward kinematics then rotate positions according to rotation angle of wrist. Finally, we determine hand shape according to the Euclidian distance between estimated hand shape and database, recognize hand motion using state transition network. We construct state transition network to connecting state nodes, which contain known hand shapes, according to hand motion by predefined standard pattern. Therefore, we can recognize the best matched hand motion from input sequences as tracking the state node. The experimentation is processed with two steps such as the estimation of hand shape and recognition of hand motion. For determining of the estimation performance, we used 6000 images which include bending motion of fingers and rotation of the wrist. The estimation performance was shown 91.3% on average. For the recognition, we have organized state transition network including 100 states for 15 motions to recognize hand motion in experiment. We recognized hand motion using image sequence for each motion. The result is shown 97.3% recognition on average. These results show usability of the proposed method for HCI was verified through experiment.
The recognition of hand motion is important as communicating means for human and computer interaction. If a machine recognizes the hand motion, people can interact more conveniently with the machine. From this point of view, we developed a recognition system of hand motion. This consists of three steps: definition of hand model, extraction of features and estimation of hand shape, recognition of hand motion. In the first step, we define a hand model including fingers and a palm models for analyzing various hand shape. The model explains bending motion of finger and rotation of palm. In the next step, we extract features from input images which include each fingertip, base point on each finger and width and height on the palm. Fingertips and base points are extracted with Euclidian distance among centroid of hand region and the hand boundary which can be calculated by the zero-crossing of Laplacian operation. Local maxima and minima of the Euclidian distance indicate each fingertips and base points. Features of palm are extracted according to the principal axis of hand region. Joint angles on each finger and rotation angle of wrist are calculated by matching the extracted features to look-up table for each model. When we estimate a hand shape, we calculate joint positions from joint angles on each finger using forward kinematics then rotate positions according to rotation angle of wrist. Finally, we determine hand shape according to the Euclidian distance between estimated hand shape and database, recognize hand motion using state transition network. We construct state transition network to connecting state nodes, which contain known hand shapes, according to hand motion by predefined standard pattern. Therefore, we can recognize the best matched hand motion from input sequences as tracking the state node. The experimentation is processed with two steps such as the estimation of hand shape and recognition of hand motion. For determining of the estimation performance, we used 6000 images which include bending motion of fingers and rotation of the wrist. The estimation performance was shown 91.3% on average. For the recognition, we have organized state transition network including 100 states for 15 motions to recognize hand motion in experiment. We recognized hand motion using image sequence for each motion. The result is shown 97.3% recognition on average. These results show usability of the proposed method for HCI was verified through experiment.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.