실생활에서 디바이스들은 TV나 에어컨같이 다수의 사용자가 동시에 사용하는 경우가 많다. 하지만 여러 비전기반 HCI연구들에서는 디바이스와 사용자의 1대1대응만을 주로 다루고 있다. 본 연구에서는 디지털 카메라의 영상과 Kinect의 스켈레톤 정보를 이용하여 다중 사용자를 위한 손 제스처 인식 시스템을 구현하였다. 다중 사용자의 디바이스 제어 의사를 판단하기 위하여 스켈레톤 정보에서 손의 위치와 머리의 위치를 이용하였고 디바이스 제어를 원하는 사용자의 손을 스켈레톤 좌표와 Shift방식을 통하여 추적하였다.사용자의 손 포즈를 인식하기 위하여 CNN(Convolutional Neural Network)을 사용하였다. CNN 학습에 사용할 이미지는 피부색을 기준으로 ...
실생활에서 디바이스들은 TV나 에어컨같이 다수의 사용자가 동시에 사용하는 경우가 많다. 하지만 여러 비전기반 HCI연구들에서는 디바이스와 사용자의 1대1대응만을 주로 다루고 있다. 본 연구에서는 디지털 카메라의 영상과 Kinect의 스켈레톤 정보를 이용하여 다중 사용자를 위한 손 제스처 인식 시스템을 구현하였다. 다중 사용자의 디바이스 제어 의사를 판단하기 위하여 스켈레톤 정보에서 손의 위치와 머리의 위치를 이용하였고 디바이스 제어를 원하는 사용자의 손을 스켈레톤 좌표와 Shift방식을 통하여 추적하였다.사용자의 손 포즈를 인식하기 위하여 CNN(Convolutional Neural Network)을 사용하였다. CNN 학습에 사용할 이미지는 피부색을 기준으로 이진화 된 이미지를 사용했고 CNN의 손 포즈 인식 성능을 향상시키기 위하여 손의 특징을 강화하는 방법을 사용하였다. 세선화를 이용하여 손 포즈 인식에 필요 없는 손의 특징들을 소거했고 Convex Hull을 통하여 손가락 끝점들을 찾고 손 끝점들을 강화하였다. 그 결과 매우 뛰어난 인식 정확도를 보였고 이 연구를 통하여 TV나 에어컨 같은 디바이스에서 활용이 가능할 것으로 기대된다.
실생활에서 디바이스들은 TV나 에어컨같이 다수의 사용자가 동시에 사용하는 경우가 많다. 하지만 여러 비전기반 HCI연구들에서는 디바이스와 사용자의 1대1대응만을 주로 다루고 있다. 본 연구에서는 디지털 카메라의 영상과 Kinect의 스켈레톤 정보를 이용하여 다중 사용자를 위한 손 제스처 인식 시스템을 구현하였다. 다중 사용자의 디바이스 제어 의사를 판단하기 위하여 스켈레톤 정보에서 손의 위치와 머리의 위치를 이용하였고 디바이스 제어를 원하는 사용자의 손을 스켈레톤 좌표와 Shift방식을 통하여 추적하였다.사용자의 손 포즈를 인식하기 위하여 CNN(Convolutional Neural Network)을 사용하였다. CNN 학습에 사용할 이미지는 피부색을 기준으로 이진화 된 이미지를 사용했고 CNN의 손 포즈 인식 성능을 향상시키기 위하여 손의 특징을 강화하는 방법을 사용하였다. 세선화를 이용하여 손 포즈 인식에 필요 없는 손의 특징들을 소거했고 Convex Hull을 통하여 손가락 끝점들을 찾고 손 끝점들을 강화하였다. 그 결과 매우 뛰어난 인식 정확도를 보였고 이 연구를 통하여 TV나 에어컨 같은 디바이스에서 활용이 가능할 것으로 기대된다.
In real life, devices are often used by multiple users at the same time, such as TV. However, many vision based HCI studies mainly address one-on-one responses from devices and users. In this study, hand gesture recognition system was implemented for multiple users using digital camera images and Ki...
In real life, devices are often used by multiple users at the same time, such as TV. However, many vision based HCI studies mainly address one-on-one responses from devices and users. In this study, hand gesture recognition system was implemented for multiple users using digital camera images and Kinetic skeleton information. In order to determine the intention of multi-user device control, the location of hand and head were used in skeleton information and the hand of the user who wanted to control the device was tracked through skeleton coordinates and shift method. To recognize a user's hand pose, CNN (Convolutional Neural Network) was used. The image to be used for CNN learning uses binary images based on skin color. To improve CNN's hand pose recognition performance, we have used methods to enhance hand characteristics. Using Thinning Algorithm, the characteristics of the hand that are not necessary for hand pose recognition were removed and fingertips were found through Convex hull and hand ends were reinforced. As a result, they showed excellent recognition accuracy and are expected to be utilized in devices such as TVs and air conditioners through this study.
In real life, devices are often used by multiple users at the same time, such as TV. However, many vision based HCI studies mainly address one-on-one responses from devices and users. In this study, hand gesture recognition system was implemented for multiple users using digital camera images and Kinetic skeleton information. In order to determine the intention of multi-user device control, the location of hand and head were used in skeleton information and the hand of the user who wanted to control the device was tracked through skeleton coordinates and shift method. To recognize a user's hand pose, CNN (Convolutional Neural Network) was used. The image to be used for CNN learning uses binary images based on skin color. To improve CNN's hand pose recognition performance, we have used methods to enhance hand characteristics. Using Thinning Algorithm, the characteristics of the hand that are not necessary for hand pose recognition were removed and fingertips were found through Convex hull and hand ends were reinforced. As a result, they showed excellent recognition accuracy and are expected to be utilized in devices such as TVs and air conditioners through this study.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.