선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기하학적 특징을 이용하여 각도 변화에 강인한 새로운 손가락 인식 기법을 제안하였다. 제안하는 기법에서는 먼저 깊이 영상에서 손 영역을 분리하기 위하여 손의 중심점을 시작으로 군집화를 수행하고, 각도 변화에 강인한 인식을 위하여 입력 손 영상을 모두 회전되었다고 가정하여 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 수행하였다.
가설 설정
- 본 절에서는 입력 손 영상이 적절하지 않은 각도(-90°≤φ≤90°)로 입력되었다고 가정한 뒤 회전 각도 보상을 하는 방법에 대하여 설명한다.
- 기존의 기하학적 특징을 이용하는 방법[12]에서는 입력 손 영상의 각도 변화에 민감하여 높은 인식률을 위해서 정확한 입력 각도가 요구되었다. 이를 해결하기 위하여 제안하는 방법에서는 입력 손 영상이 회전되었다고 가정한 뒤 회전 보상 각도를 계산하고 강체(rigid) 변환을 통하여 각도 보상을 먼저 수행한다. 회전 보상 각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소 좌표의 기울기 변화를 관찰한다.
- 제안하는 기법에서는 입력 되는 손 영상을 수직 축을 기준으로 왼쪽으로 회전 된 영상과 오른쪽으로 회전 된 영상, 두 가지 종류의 영상만으로 가정한다. 계산된 회전 각도를 이용하여 강체(rigid) 변환을 수행한다.
제안 방법
- 1번 모델과 2번 모델을 분류 하기 위하여 세 유클리드 거리의 합에 대해서 가장 긴 거리의 비율을 관찰한다. 1번 모델의 경우 세 유클리드 거리 DL, DT, DR 중 가장 긴 길이의 값이 나머지 2개 거리의 합보다 큰 모습을 보이는 반면 2번 모델의 경우에는 반대의 경우를 보인다.
- 본 논문에서는 세 거리의 차이를 강조하기 위하여 n 제곱 유클리드 거리를 사용한다. n의 크기가 커 질수록 유클리드 거리간의 차이를 분명하게 할 수 있지만 컴퓨터 연산에서 표현할 수 있는 범위내인 세제곱 유클리드 거리를 사용하였다. 세제곱 유클리드 거리 중 가장 큰 값을 DMAX로 설정한 뒤 Dsum대비 DMAX의 비율을 통하여 1번 모델과 2번 모델을 분류 한다.
- 손 영상에서 손가락에 해당하는 영역을 판단하기 위하여 굴곡점(curvature point)들을 검출한다. 검출된 굴곡점들을 토대로 손 영상이 얼마나 회전 되어있는지를 각도로 판단한 뒤, 산출된 각도만큼 강체(rigid) 변환을 수행한다. 손 영상에 대하여 팽창(dilation) 연산을 수행한 뒤, 해당 영상에서 원본 손 영상에 대한 차연산을 통하여 윤곽선을 추출할 수 있다.
- 회전 보상 각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소 좌표의 기울기 변화를 관찰한다. 계산된 회전 각도를 바탕으로 강체 변환을 수행한 뒤 지정된 손가락 모델로 분류한다. 본 논문에서는 다양한 실험을 통해 제안하는 기법이 기존 기법보다 성능이 우수한 것을 확인하였다.
- 제안하는 기법에서는 먼저 깊이 영상에서 손 영역을 분리하기 위하여 손의 중심점을 시작으로 군집화를 수행하고, 각도 변화에 강인한 인식을 위하여 입력 손 영상을 모두 회전되었다고 가정하여 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 수행하였다. 마지막으로 손가락 모델을 인식하기 위하여 손 영상의 최 상단, 최 좌우측 좌표를 회득한 뒤 손가락 모델마다 변화하는 좌표 간의 유클리드 거리나 각도 변화 등의 기하학적 특징을 관찰하였다.
- 본 논문에서는 세 거리의 차이를 강조하기 위하여 n 제곱 유클리드 거리를 사용한다. n의 크기가 커 질수록 유클리드 거리간의 차이를 분명하게 할 수 있지만 컴퓨터 연산에서 표현할 수 있는 범위내인 세제곱 유클리드 거리를 사용하였다.
- n의 크기가 커 질수록 유클리드 거리간의 차이를 분명하게 할 수 있지만 컴퓨터 연산에서 표현할 수 있는 범위내인 세제곱 유클리드 거리를 사용하였다. 세제곱 유클리드 거리 중 가장 큰 값을 DMAX로 설정한 뒤 Dsum대비 DMAX의 비율을 통하여 1번 모델과 2번 모델을 분류 한다. 이때 Dsum은 식 (6)을 통해 계산한다.
- 손 영상에서 손가락에 해당하는 영역을 판단하기 위하여 굴곡점(curvature point)들을 검출한다. 검출된 굴곡점들을 토대로 손 영상이 얼마나 회전 되어있는지를 각도로 판단한 뒤, 산출된 각도만큼 강체(rigid) 변환을 수행한다.
- 제안하는 방법에서는 손가락의 기하학적 특징을 이용하여 손가락 모델을 인식하기 때문에 손가락 모델에 따라 손가락의 길이 혹은 모양 변화 등을 관찰하게 된다. 손 영상의 최 상단, 최 좌측, 최 우측 화소의 좌표를 획득하여 손 영역의 중심 좌표와 가상의 선분을 생성하고 유클리드 거리(Euclidean distance)를 측정하거나 각 선분 사이의 각도 차이를 관찰함으로써 손가락 모델을 인식한다.
- 위치에서 화소의 좌표 기울기를 의미한다. 손 영상이 얼마나 회전되어 있는지를 판단하기 위하여 손 영상에서 손가락에 해당되는 영역을 검출한다. 손가락에 해당되는 영역을 검출 시 x축의 기울기 변화와 y축의 기울기 변화를 동시에 관찰하기 위하여 식 (4)로부터 기울기 변화량의 크기 |G(k)|를 구한다.
- 손가락 모델 인식 성능을 평가하기 위하여 8명의 사용자가 다섯 개의 서로 다른 모델에 대하여 100번씩 총 4,000회의 손 동작을 취하였다. 그림 15는 실험자들의 입력 손영상과 본 논문에서 제안하는 기법으로 회전 각도가 보상된 영상을 보여준다.
- 손가락 모델을 인식하기 위해 새로이 제안된 기법은 Microsoft 사의 Microsoft Visual Studio C++ 2010과 OpenCV 2.4.8 라이브러리를 이용하여 구현하고, 3.40GHz의 CPU 응답 속도에서 동작하는 듀얼코어 프로세서 컴퓨터를 이용한다. 카메라 입력 장치는 Microsoft사의 Kinect for Windows를 이용하였으며 Kinect로 촬영되는 깊이 지도의 시각화를 위하여 Kinect SDK 1.
- 디지털 영상내의 사람의 손가락의 길이는 사람마다 상이하고 사람의 손과 카메라와의 거리에 따라 다르게 나타나지만 각 손가락 모델 별 기하학적 특징은 크게 변하지 않기에 이를 이용하여 손가락을 인식할 수 있었다. 실험을 통하여 실시간의 반응속도를 확인하였고 각도 변화에 강인한 특성을 보이는 것도 확인하였다.
- 이러한 문제를 해결하기 위하여 3번과 4번의 모델 군으로 분류된 영상의 PT, PL, PR의 인접여부를 판단한다. 두 화소의 유클리드 거리가 10 이내의 경우에는 인접한다고 판단하였고 이 경우에 대하여 2번 모델로 인식한다.
- 이러한 문제점을 해결하기 위하여 검출된 P1, P2, P3 세 좌표의 무게중심 좌표가 손바닥 영역에 있는 경우에는 잘못된 탐색으로 판단하고 손가락 영역 탐색을 다시 진행한다. 검출된 P1, P2, P3 좌표들을 바탕으로 손영상의 회전 각도를 계산하게 된다.
- 좌표들을 보여준다. 입력된 손 영상이 수직축을 기준으로 어느 방향으로 회전되어있는지 판단을 한 뒤 P1과 P2로 정의되는 가상의 직선을 정의하여 직선과 수평축이 이루는 각도를 계산하여 손가락 영상의 회전 각도로 설정한다. 입력영상은 왼쪽으로 회전된 영상 혹은 오른쪽으로 회전된 영상 그리고 회전 되지 않은 영상, 세 가지 영상으로 구분 할 수 있다.
- 그림 11은 제안하는 기법의 손가락 모델 분류 기술의 흐름도이다. 제안하는 기법에서는 두 단계의 분류 과정을 통해 손가락 모델을 인식한다.
- 본 논문에서는 기하학적 특징을 이용하여 각도 변화에 강인한 새로운 손가락 인식 기법을 제안하였다. 제안하는 기법에서는 먼저 깊이 영상에서 손 영역을 분리하기 위하여 손의 중심점을 시작으로 군집화를 수행하고, 각도 변화에 강인한 인식을 위하여 입력 손 영상을 모두 회전되었다고 가정하여 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 수행하였다. 마지막으로 손가락 모델을 인식하기 위하여 손 영상의 최 상단, 최 좌우측 좌표를 회득한 뒤 손가락 모델마다 변화하는 좌표 간의 유클리드 거리나 각도 변화 등의 기하학적 특징을 관찰하였다.
- 그림 3은 본 논문에서 인식하고자 하는 다섯 가지 손가락 모델과 그에 따른 깊이 손 영상의 이진화 영상을 나타낸다. 제안하는 방법에서는 손가락의 기하학적 특징을 이용하여 손가락 모델을 인식하기 때문에 손가락 모델에 따라 손가락의 길이 혹은 모양 변화 등을 관찰하게 된다. 손 영상의 최 상단, 최 좌측, 최 우측 화소의 좌표를 획득하여 손 영역의 중심 좌표와 가상의 선분을 생성하고 유클리드 거리(Euclidean distance)를 측정하거나 각 선분 사이의 각도 차이를 관찰함으로써 손가락 모델을 인식한다.
- 는 x와 y축에 대한 평행 이동량을 의미한다. 제안하는 방법에서는 입력 손 영상 위치에서의 회전만을 고려하므로 0으로 설정한다. x와 y는 변환 전 화소 좌표, #와 #는 변환 후 화소 좌표이다.
- 그림 7은 추출된 윤곽선 영상과 화소 좌표의 기울기 변화를 관찰하는 과정을 보여준다. 좌측 최 상단 화소의 좌표를 시작으로 탐색을 진행하며, 현재 선택된 화소의 좌표를 기준으로 4방향 인접성(4-adjacency)을 만족하는 화소에 대하여 화소 좌표의 기울기 변화를 계산한다. 처음 시작 화소의 위치인 f0부터 마지막 화소의 위치 fn-1까지 탐색을 진행한다.
- 깊이 영상에서 손 영역만을 분리해 내기 위하여 손에 해당되는 화소 좌표를 군집화의 시작점으로 설정한다. 중심 화소를 기준으로 여덟 방향 탐색을 진행하면서 군집화를 진행한다. 이때 손 영역과 배경 영역의 경계지점에서는 깊이 영상의 화소값의 기울기가 급격히 변하게 되고 이 지점에서 탐색을 멈춤으로써 손에 해당하는 영역을 배경영역에서 분리해 낼 수 있다.
- 손 영상에 대하여 팽창(dilation) 연산을 수행한 뒤, 해당 영상에서 원본 손 영상에 대한 차연산을 통하여 윤곽선을 추출할 수 있다. 추출된 윤곽선은 시작점과 끝점이 동일한 폐곡선의 형태이며 손가락이라 판단할 수 있는 지역적 굴곡점들을 검출하기 위하여 추출된 윤곽선을 따라 화소 좌표의 수직 좌표와 수평 좌표에 대한 기울기 변화를 관찰하게 된다.
- 윤곽선 영상은 폐곡선의 형태이므로 f0 = fn-1을 만족한다. 화소 좌표의 기울기 변화를 버퍼에 저장한 뒤, 손가락의 지역적 굴곡점들을 검출 한다. 식(3)을 이용하여 화소 좌표의 기울기 변화를 계산할 수 있다.
- 이를 해결하기 위하여 제안하는 방법에서는 입력 손 영상이 회전되었다고 가정한 뒤 회전 보상 각도를 계산하고 강체(rigid) 변환을 통하여 각도 보상을 먼저 수행한다. 회전 보상 각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소 좌표의 기울기 변화를 관찰한다. 계산된 회전 각도를 바탕으로 강체 변환을 수행한 뒤 지정된 손가락 모델로 분류한다.
- 손가락 모델의 분류는 입력 손 영상의 최상단 화소 좌표(PT), 최좌측 화소 좌표(PL), 최 우측 화소 좌표(PR)를 획득하는 것으로부터 시작된다. 획득한 각각의 세 좌표로부터 손의 중앙 좌표(PC)의 유클리드 거리 DL, DT, DR을 계산한다. DL, DT, DR 의 분산(#)값의 비교를 통해 1, 2번 모델 군과 3, 4번 모델 군을 분리한다.
대상 데이터
- 실험에 필요한 데이터를 수집하기 위하여 5명의 사용자로부터 각 손가락 모델에 해당되는 손가락 모양을 100회씩 입력 받았다. 실험은 키넥트 앞 1m(±10cm) 에서 진행하였고 입력 손가락 모델들은 회전 각도가 없도록 입력 받았다.
- 7 라이브러리를 이용한다. 카메라는 640x480의 해상도를 제공하며 33fps의 환경에서 실험을 진행하였다.
이론/모형
- 40GHz의 CPU 응답 속도에서 동작하는 듀얼코어 프로세서 컴퓨터를 이용한다. 카메라 입력 장치는 Microsoft사의 Kinect for Windows를 이용하였으며 Kinect로 촬영되는 깊이 지도의 시각화를 위하여 Kinect SDK 1.7 라이브러리를 이용한다. 카메라는 640x480의 해상도를 제공하며 33fps의 환경에서 실험을 진행하였다.
성능/효과
- 제안하는 기법에서는 입력 영상의 회전여부를 판단하여 회전 각도 보상을 수행한 뒤 손가락의 기하학적 특징을 이용하여 기존의 기법들의 문제를 해결할 수 있었다. 기존 기법2와의 비교에서는 모든 모델에서 제안하는 기법의 성능이 더 우수함을 보였고 1번 모델부터 4번 모델까지 평균 5.43%의 인식률 증가를 확인하였다. 기존 기법1과의 비교에서는 평균 -0.
- 계산된 회전 각도를 바탕으로 강체 변환을 수행한 뒤 지정된 손가락 모델로 분류한다. 본 논문에서는 다양한 실험을 통해 제안하는 기법이 기존 기법보다 성능이 우수한 것을 확인하였다.
- 제안하는 기법에서는 입력 영상의 회전여부를 판단하여 회전 각도 보상을 수행한 뒤 손가락의 기하학적 특징을 이용하여 기존의 기법들의 문제를 해결할 수 있었다. 기존 기법2와의 비교에서는 모든 모델에서 제안하는 기법의 성능이 더 우수함을 보였고 1번 모델부터 4번 모델까지 평균 5.
- 하지만 기존 기법1에서는 높은 인식률을 위하여 손가락의 정확한 입력 각도를 요구하고 입력 각도가 조금만 변하여도 심각한 인식률 저하의 문제를 지닌다. 제안하는 기법이 기존 기법1보다 미세하게 저조한 인식률을 나타내지만 각도변화에 강인한 특성을 지닌다는 점에서 기존의 기법보다 제안하는 기법의 성능이 더 우수하다고 할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.