초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

최근 가상현실 분야에 대한 관심이 대두되면서 중요한 요소로 자리 잡게 된 것이 Natural User Interface (NUI)이다. 사용자가 기기와 상호작용을 할 때, 마우스와 같은 입력 도구를 사용하게 된다면 사용자의 몰입 도는 낮아질 수밖에 없다. 가상으로 만들어진 현실과 어떠한 방식으로 상호작용이 되어야 사용자에게 더욱 몰입 감을 줄 수 있을 것인가라는 문제점이 계속해서 제시되어왔고, 이에 대한 대안으로 나온 것이 NUI이다. NUI는 무엇보다 사용자가 자연스럽게 행동하고 있다는 것을 느껴야하기 때문에 사람들이 평소에 소통을 하는 방식들을 모티브로 하여 설계되어야 한다. 그중에서도 손동작은 사람들이 현실에서 비교적 사용빈도가 높고, 동작 자체만으로 의미를 담고 있는 경우가 많기 때문에 NUI의 목적으로 사용하기에 알맞다. 지금까지 손동작 인식 분야에서 가장 크게 자리 잡았던 것은 수화 해석과 같이 특수한 상황 하의 손동작을 인식하는 것이다. 수화도 알파벳과 같이 글자 모양에서 따온 손 모양이 기본이기 때문에 배우는 것에 있어서 어려움을 느끼진 않아도, 결국 일상에서 사람들이 소통을 위해 사용하는 자연스러운 동작과는 다르기 때문에 일반적인 상황을 대상으로 하는 손동작 인식 연구가 필요하다. 또한 자연스럽지 못한 동작이 되는 이유 중 하나가 동작의 시작과 끝에 제약이 있어야한다는 점이기 때문에 이에 대한 해결책이 필요하다.
본 논문에서는 사람들의 자연스러운 손동작 즉 일상적 손동작을 고정적 손동작과 동적인 손동작의 조합인 연속적인 손동작이라 정의하였고 따라서 연속적인 손동작을 인식하기 위해 고정적 손동작 인식과 동적인 손동작 인식을 각각 진행한 후 인식 결과를 조합하여 최종적으로 사용자의 손동작을 분류하도록 한다. 모든 실험은 ...

최근 가상현실 분야에 대한 관심이 대두되면서 중요한 요소로 자리 잡게 된 것이 Natural User Interface (NUI)이다. 사용자가 기기와 상호작용을 할 때, 마우스와 같은 입력 도구를 사용하게 된다면 사용자의 몰입 도는 낮아질 수밖에 없다. 가상으로 만들어진 현실과 어떠한 방식으로 상호작용이 되어야 사용자에게 더욱 몰입 감을 줄 수 있을 것인가라는 문제점이 계속해서 제시되어왔고, 이에 대한 대안으로 나온 것이 NUI이다. NUI는 무엇보다 사용자가 자연스럽게 행동하고 있다는 것을 느껴야하기 때문에 사람들이 평소에 소통을 하는 방식들을 모티브로 하여 설계되어야 한다. 그중에서도 손동작은 사람들이 현실에서 비교적 사용빈도가 높고, 동작 자체만으로 의미를 담고 있는 경우가 많기 때문에 NUI의 목적으로 사용하기에 알맞다. 지금까지 손동작 인식 분야에서 가장 크게 자리 잡았던 것은 수화 해석과 같이 특수한 상황 하의 손동작을 인식하는 것이다. 수화도 알파벳과 같이 글자 모양에서 따온 손 모양이 기본이기 때문에 배우는 것에 있어서 어려움을 느끼진 않아도, 결국 일상에서 사람들이 소통을 위해 사용하는 자연스러운 동작과는 다르기 때문에 일반적인 상황을 대상으로 하는 손동작 인식 연구가 필요하다. 또한 자연스럽지 못한 동작이 되는 이유 중 하나가 동작의 시작과 끝에 제약이 있어야한다는 점이기 때문에 이에 대한 해결책이 필요하다.
본 논문에서는 사람들의 자연스러운 손동작 즉 일상적 손동작을 고정적 손동작과 동적인 손동작의 조합인 연속적인 손동작이라 정의하였고 따라서 연속적인 손동작을 인식하기 위해 고정적 손동작 인식과 동적인 손동작 인식을 각각 진행한 후 인식 결과를 조합하여 최종적으로 사용자의 손동작을 분류하도록 한다. 모든 실험은 Kinect 카메라를 통한 깊이 기반 이미지를 사용하였으며 노이즈를 줄이기 위해서만 적외선 이미지와 컬러 이미지를 사용하였다. 먼저 고정적 손동작의 경우, 깊이 이미지의 기울기를 기반으로 하여 물체의 모양을 인식할 수 있는 Histogram of Oriented Gradients (HOG) 알고리즘을 사용하였으며 HOG는 급격하게 변하는 모양에 대해 인식률이 떨어지기 때문에 한 가지 일상적 손동작에 대해 두, 세 가지 정도의 고정적 손동작을 정의하여 일정 값 이상의 횟수가 나오면 해당 손동작으로 분류하도록 한다. 이 때 연속적인 손동작은 결국 여러 개의 프레임으로 구성되므로 한 프레임내로 분류 가능한 고정적 손동작 인식도 사람들이 손동작을 취하는데 평균적으로 걸리는 최소 프레임인 8, 16, 32개의 프레임 단위로 이루어지도록 하며 8프레임, 16프레임, 32프레임으로부터 고정적 손동작 분류 값이 나오면 신뢰 값이 가장 높은 결과 값에 가중치를 두어 결과를 결정하는 방식을 사용하였다. 동적인 손동작의 경우는 각 프레임의 손 중심점이 움직이는 방향과 움직인 거리 변화량 두 가지 데이터 값을 이용하여 인식을 하는데, 사람들의 일상적 손동작은 반복적인 궤적을 그리는 손동작이 많다는 점에 초점을 맞추어 두 가지 데이터 값을 시간의 축으로 나열한 후 Fast Fourier Transform을 통해 어느 부분에서 주기가 나오는 지를 통해 인식하도록 한다. 손 중심점의 좌표는 3차원 좌표를 이용하며 좌표를 각각 세 가지 평면인 XY 평면, YZ평면, XZ평면으로 투사시켜 손 중심점의 프레임 간 이동방향과 이동거리 데이터 값을 구하도록 한다. 이 때 고정적 손동작 부분과 마찬가지로 8,16,32프레임 단위로 인식을 진행하며 신뢰도가 가장 높은 결과 값에 가중치를 높게 준다. 이렇게 분류된 고정적 손동작과 동적인 손동작의 결과 값을 조합하여 결과적으로 사람의 자연스러운 손동작을 인식하는 것이 가능해진다. 본 논문에서의 실험은 앞서 서술했듯이 PC를 통한 Kinect 카메라를 이용하여 진행되었으며 손의 깊이 이미지만 획득할 수 있다면 어떠한 디바이스 기반에서도 자연스러운 손동작 인식이 가능하기 때문에 사용자에게 편리함을 제공할 수 있을 것이다.

주제어