CamShift 알고리즘의 Hand Tracking 기법을 응용한 Hand Motion 입력 장치 시스템 The input device system with hand motion using hand tracking technique of CamShift algorithm원문보기
전유나
(Hanshin University, School of Computer Engineering)
,
김수지
(Hanshin University, School of Computer Engineering)
,
이창훈
(Hanshin University, School of Computer Engineering)
,
김형률
(Hanshin University, School of Computer Engineering)
,
이성구
(Hanshin University, School of Computer Engineering)
기존의 대표적인 입력장치는 키보드, 마우스 등으로 한정적이었으나 최근 들어 사용자들의 다양한 요구에 따라 새로운 형태의 입력장치들이 개발되는 추세이다. 이러한 추세에 맞춰 특수한 device 없이 영상의 hand motion을 분석해 명령을 부여하는 새로운 형태의 입력장치를 제안한다. Cam-Shift 기법으로 skin color 영역을 이진화 하여 tracking 한 후, labeling을 통해 분리한 손가락 영역과 손 중심점과의 각도를 동서남북으로 구분해 counting하여 손동작을 인식한다. 손동작에 대한 입력은 맨손에 배경처리를 하지 않은 경우 약 76.8%의 낮은 인식률을 보였으나, 붉은색 장갑을 착용하고 배경을 지정해 줄 경우 잡영 제거의 영향으로 인식률이 90.2%까지 향상된다.
기존의 대표적인 입력장치는 키보드, 마우스 등으로 한정적이었으나 최근 들어 사용자들의 다양한 요구에 따라 새로운 형태의 입력장치들이 개발되는 추세이다. 이러한 추세에 맞춰 특수한 device 없이 영상의 hand motion을 분석해 명령을 부여하는 새로운 형태의 입력장치를 제안한다. Cam-Shift 기법으로 skin color 영역을 이진화 하여 tracking 한 후, labeling을 통해 분리한 손가락 영역과 손 중심점과의 각도를 동서남북으로 구분해 counting하여 손동작을 인식한다. 손동작에 대한 입력은 맨손에 배경처리를 하지 않은 경우 약 76.8%의 낮은 인식률을 보였으나, 붉은색 장갑을 착용하고 배경을 지정해 줄 경우 잡영 제거의 영향으로 인식률이 90.2%까지 향상된다.
The existing input device is limited to keyboard and mouse. However, recently new type of input device has been developed in response to requests from users. To reflect this trend we propose the new type of input device that gives instruction as analyzing the hand motion of image without special dev...
The existing input device is limited to keyboard and mouse. However, recently new type of input device has been developed in response to requests from users. To reflect this trend we propose the new type of input device that gives instruction as analyzing the hand motion of image without special device. After binarizing the skin color area using Cam-Shift method and tracking, it recognizes the hand motion by inputting the finger areas and the angles from the palm center point, which are separated through labeling, into four cardinal directions and counting them. In cases when specific background was not set and without gloves, the recognition rate remained approximately at 75 percent. However, when specific background was set and the person wore red gloves, the recognition rate increased to 90.2 percent due to reduction in noise.
The existing input device is limited to keyboard and mouse. However, recently new type of input device has been developed in response to requests from users. To reflect this trend we propose the new type of input device that gives instruction as analyzing the hand motion of image without special device. After binarizing the skin color area using Cam-Shift method and tracking, it recognizes the hand motion by inputting the finger areas and the angles from the palm center point, which are separated through labeling, into four cardinal directions and counting them. In cases when specific background was not set and without gloves, the recognition rate remained approximately at 75 percent. However, when specific background was set and the person wore red gloves, the recognition rate increased to 90.2 percent due to reduction in noise.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 본 논문에서는 CamShift 알고리즘의 Hand Tracking 기법을 응용하여 손동작을 인식하고 세부 동작(입력)에 따라 단축키 기능을 대신할 수 있는 OpenCV 기반의 입력 장치 시스템을 제안한다. 영상처리를 통하여 원격 제어와 같은 다양한 상황에서의 키보드 및 마우스를 제어할 수 있는 즉, 손 추적과 손동작 인식을 이용하여 키보드 대신 컴퓨터를 제어 할 수 있는 HDS(Handmotion Device System) 시스템을 구현하였다.
제안 방법
또한 사용자 마다 다른 피부색을 인식하기 위해 독립적인 HSV컬러의 Hue값을 이용하여 흑인, 백인, 황인에 구분 없이 피부색을 검출할 수 있으며, 정확한 손가락 개수의 count를 위해 손바닥의 중심위치를 기점으로 labeling하여 손가락 마디를 제외한 손목을 제거함으로써 정확도를 높였다. labeling 값에 따른 손동작 인식은 동, 서, 남, 북 네 방향으로 범위를 정하여 범위에 들어오는 손가락 개수를 통해 구분하였다.
labeling된 손가락 마디 영역의 좌표와 손 중심 좌표를 이용하여, 손 중심에 대한 마디 영역의 상대적 위치를 구해 동작을 구분한다. labeling된 한 사각형 영역의 첫 점의 좌표가 기본 값으로 설정되는 것을 이용하여 손가락 마디 영역의 좌표를 labeling 사각형의 첫 점으로 지정하였다. 우선 손의 중심을 기준으로 하여 동서 남북으로 방향을 나눈 뒤, 각 방향에 들어오는 손가락의 개수를 count한다.
각도에 따른 방향정보를 이용하여 프레임의 비교를 통해 일정 시간 일치하는 지 확인한다. (그림 6)를 보면 A에 기존의 방향정보를 입력시키고 B에는 비교할 프레임의 방향정보를 입력시켜 A와 B의 값을 대조한다.
따라서 행렬로 저장된 흰색 픽셀을 부분적으로 가져와 동작을 구분할 필요가 있다. 본 논문에서는 손가락 개수를 count하고 손가락의 방향 정보를 얻어와 이를 구분한다.
본 논문에서는 손의 중심위치에서 각도를 계산 한 후 동, 서, 남, 북 네 방향의 손가락 개수를 count 한다. 그리고 네 방향의 count 된 수의만큼 Key Event를 발생시킨다.
본 논문에서는 영상처리를 통해 OpenCV를 이용하여 손동작을 인식하는 입력장치 시스템 HDS(Handmotion Device System)은 구현하였다. 기존 손동작 인식 프로그램은 PC환경이 아닌 별도의 디바이스로 구동이 되어 게임 분야 혹은 모바일 분야에서 활용이 되었으나 본 논문에서 구현된 HDS 시스템은 윈도우 PC 환경에서 구동된다.
사람의 피부는 핏줄의 영향으로 인해 일정한 양의 붉은 색을 포함하고 있는데, 어두운 살색(흑인 또는 어두운 곳)과 밝은 살색(백인 또는 밝은 곳) 모두 채도와 밝기를 제외하면 같은 영역의 붉은 원색에 포함되어 있기 때문이다. 본 논문에서는 채도와 밝기를 일정한 값으로 한정해 주고, Hue채널에서 붉은색 영역의 범위를 지정하여 피부색을 추출한다.
이를 해결하기 위해서 입력영상을 반전한 후 count 하는 방법과, count 값의 좌우와 상하를 반전해 출력하는 방법이 있다. 본 논문에서는 출력영상의 가시성을 높이기 위해 전자의 방법을 사용하였다.
이러한 비교에서 참값이 계속 유지할 경우 동작으로 인식한다. 본 시스템에서는 1초간 10프레임을 받아오기 때문에 동작 인식 유효시간을 1.5초 즉, 15프레임으로 지정하였다. 아래 (그림 7)에서와 같이 15프레임동안 같은 동작의 방향정보가 계속된다면 동작을 인식한다.
이에 본 논문에서는 CamShift 알고리즘의 Hand Tracking 기법을 응용하여 손동작을 인식하고 세부 동작(입력)에 따라 단축키 기능을 대신할 수 있는 OpenCV 기반의 입력 장치 시스템을 제안한다. 영상처리를 통하여 원격 제어와 같은 다양한 상황에서의 키보드 및 마우스를 제어할 수 있는 즉, 손 추적과 손동작 인식을 이용하여 키보드 대신 컴퓨터를 제어 할 수 있는 HDS(Handmotion Device System) 시스템을 구현하였다.
인식률은 각 항목에 대해 100번의 시도를 하여 성공 횟수로 계산 하였다. 맨손의 경우 배경잡영의 영향을 크게 받아 인식률이 평균 76.
프로그램의 왼쪽 상단 부분에는 손가락으로 만들 수 있는 간단한 동작을 리스트 컨트롤로 나열하였고 왼쪽 하단 부분에는 사용자가 해당 동작에 대한 단축키 등을 설정할 수 있는 기능을 구현하였다. 프로그램의 오른쪽 상단 부분에는 카메라를 영상으로 연결하는 connect 버튼을 통해 연결의 활성화 기능을 추가하였다. (그림10)은 동0서0남0북1 의 방향정보를 갖는 볼륨업동작이 인식되는 것을 보인다.
프로그램의 왼쪽 상단 부분에는 손가락으로 만들 수 있는 간단한 동작을 리스트 컨트롤로 나열하였고 왼쪽 하단 부분에는 사용자가 해당 동작에 대한 단축키 등을 설정할 수 있는 기능을 구현하였다. 프로그램의 오른쪽 상단 부분에는 카메라를 영상으로 연결하는 connect 버튼을 통해 연결의 활성화 기능을 추가하였다.
이론/모형
4. Cam-Shift 알고리즘을 이용하여 손의 중심값을 찾고 관심영역을 설정한다.
성능/효과
기존 손동작 인식 프로그램은 PC환경이 아닌 별도의 디바이스로 구동이 되어 게임 분야 혹은 모바일 분야에서 활용이 되었으나 본 논문에서 구현된 HDS 시스템은 윈도우 PC 환경에서 구동된다. 또한 사용자 마다 다른 피부색을 인식하기 위해 독립적인 HSV컬러의 Hue값을 이용하여 흑인, 백인, 황인에 구분 없이 피부색을 검출할 수 있으며, 정확한 손가락 개수의 count를 위해 손바닥의 중심위치를 기점으로 labeling하여 손가락 마디를 제외한 손목을 제거함으로써 정확도를 높였다. labeling 값에 따른 손동작 인식은 동, 서, 남, 북 네 방향으로 범위를 정하여 범위에 들어오는 손가락 개수를 통해 구분하였다.
후속연구
향후 연구로 HDS 시스템이 배경에 대한 잡영제거를 통해 손동작 인식률을 높인다면 이는 내장 캠을 통해서 키보드나 마우스를 통한 컨트롤을 대신 할 수 있을 것이다. (그림 11)에서와 같이 단지 손 모양을 바꿈으로써 PC환경에서 동영상을 시청하거나 혹은 문서작업을 하는 경우 Power On/Off 또는 Volume Up/Down등을 자유롭게 이용할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
Mean-Shift 알고리즘은 무엇인가?
Mean-Shift 알고리즘은 데이터 집합의 밀도분포(특징점, 코너, 색상)를 기반으로 관심영역(ROI) 객체를 고속으로 추적하는 알고리즘으로 초기의 검색 영역의 크기와 위치를 지정하면 반복되는 색 분할 계산에 의해서 색상 클러스터가발생되고 초기 지정한 색 영역에 기반 하여 경계를 결정하여 관심 물체를 추출할 수 있다(그림 2)[4]
OpenCV에서는 무엇을 위해 CAMShift를 구현한 함수인 cvCamShift() 함수를 제공하는가?
따라서 객체가 이동하고 카메라도 이동하는 경우에는 적용할 수 없는 부분적인 문제점이 있다. 그러므로 객체가 이동함에 따라 카메라의 방향도 이동하는 환경에 응용할 수 있도록 이동 객체의 움직임을 검출하고 이동 객체를 따라 카메라의 방향을 이동함으로써 지속적으로객체의 움직임을 추적 감시할 필요가 있다. OpenCV에서는 이를 위한 대안으로 객체추적을 위한 알고리즘인 CAMShift를 구현한 함수인cvCamShift ()함수를 제공하고 있다(그림 3)[3].
HSV color model은 어떻게 구성되는가?
HSV color model은 색상(Hue), 채도(Saturation), 밝기(Value)로 구성된다. 색상은 그 색의 원색을 나타내고, 채도는 색의 순수도를 나타내는 것으로 원색에 어느 정도의 흰색이 혼합되었는지를 나타낸다.
참고문헌 (7)
Bai yu, Sang-Yun Park, Yun-Sik Kim, In-Gab Jeong, Soo-Yol Ok, Eung-Joo Lee, Park Sang-Yun, Kim Yun-Sik, Jeong In-Gab, Ok Soo-Yol, Lee Eung-Joo, "Hand tracking and hand gesture recognition for human computer interaction", Korea Multimedia Society Conference, vol.14, no.2, pp.182-193, 2011
Gwangha Jeon, Jongseok Um,"(A)Study on online real-time strategy game by using hand tracking in augmented reality", Korea Multimedia Society Conference, vol.12, no12, pp.1761-1768, 2009
Ho-Sik Park, Cheol-soo Bae, "Face and Hand Tracking Algorithm for Sign Language Recognition", Communications and Networks, vol.31, no.11, pp.1071-1076, 2006
Shan Caifeng, Tan Tieniu, Wei Yucheng, "Real-time hand tracking using a mean shift embedded particle filter", Pattern Recognition, vol.40, no.7, pp.1958-1970, 2006
Yonjae Kim, Simon Leonard, Azad Shademan, Axel Krieger, Peter C. W. Kim,"Kinect technology for hand tracking control of surgical robots: technical and surgical skill comparison to current robotic masters", Surgical Endoscopy, vol.28, no.6, pp.1993-2000, 2013
Kwang-woon Choi, Da-woon Jeong, Suk-han Lee, Jong-soo Choi, "Interaction Augmented Reality System using a Hand Motion", Korea Multimedia Society Conference, vol.15, no.4, pp.425-438, 2012
Sae-Bom Lee, Il-Hong Jung, "A Design and Implementation of Natural User Interface System Using Kinect", Journal of Digital Contents Society, vol.15, no4, pp.473-480, 2014
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.