선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 하지만 영상에서 인체를 분할하는 것은 매우 복잡하고 어려운 과정이다. 본 논문에서는 포즈의 특징을 정의하고 인식하는 것에 중점을 두고 있기 때문에 인체 형상을 분할하는 문제를 간단히 하기 위해 Microsoft사의 Kinect[9] 카메라와 NUI Skeleton API를 사용해 인체 영역을 분할하고 인체의 관절각 정보를 획득하였다. NUI Skeleton API는 Kinect 센서 앞에 있는 사람을 인식해 신체의 주요 20개 부위에 해당하는 관절 좌표와 회전 정보를 제공해 준다.
- 본 논문은 신체 제스처 인식을 입력인터페이스로 사용하는 콘텐츠에 대해서 기술한다. 논문에서 제안하는 콘텐츠는 프로젝션 컴퓨터를 통해 대형 스크린에 투사되고, 사용자는 대형 스크린 앞에서 제스처를 사용함으로써 자연스런 상호작용이 가능하다.
제안 방법
- 그리고 획득한 신체 관절에 대한 3차원 좌표는 그림5와 같이 정지동작인 포즈 템플릿으로 구성된다. 그 후, 미리 학습된 포즈 템플릿과 획득된 포즈 템플릿을 비교하여 제스처 인식에 사용될 포즈를 구분한다. 정지동작인 포즈들로 구성된 제스처는 시계열 정보에 대해 효과적으로 인식이 가능한 HMM을 사용하였다.
- 제스처 인식을 입력인터페이스로 사용하였다. 그리고 사용자가 제작된 콘텐츠를 체험하는데 있어서 콘텐츠 속의 캐릭터와 사용자의 행동을 매핑하여 몰입도와 재미를 느낄 수 있도록 하였다.
- 그리고 스테이지를 공략하기 위해서 비전 기반 제스처 인식 시스템을 적극 활용하여 별도의 디바이스를 요구하지 않는 신체의 동작을 통해 도깨비와 결투 장면을 구현하였다. 그리하여 사용자는 양 손과 몸의 움직임으로 이루어진 신체 제스처를 이용하여 콘텐츠를 진행할 수 있으며 콘텐츠에 몰입할 수 있는 체험효과를 받을 수 있다.
- 대해서 기술한다. 논문에서 제안하는 콘텐츠는 프로젝션 컴퓨터를 통해 대형 스크린에 투사되고, 사용자는 대형 스크린 앞에서 제스처를 사용함으로써 자연스런 상호작용이 가능하다. 제작된 콘텐츠는 아시아 공통문화요소인 도깨비를 소재로 사용하고 있으며 사용자는 콘텐츠를 체험함으로써 아시아 및 지역 문화에 대한 이해와 함께 콘텐츠를 즐길수 있게 한다.
- 본 논문에서 기술한 콘텐츠는 양 손의 동작을 기반으로 구성된 신체 제스처 인식을 입력인터페이스로 사용하였다. 그리고 사용자가 제작된 콘텐츠를 체험하는데 있어서 콘텐츠 속의 캐릭터와 사용자의 행동을 매핑하여 몰입도와 재미를 느낄 수 있도록 하였다.
- 본 논문에서는 제스처 인식을 위해 제스처를 구성하는 포즈를 인식하는 방법을 사용하였다. 인체에서 특징이 되는 14개 관절의 3차원 좌표 값을 이용해 각 포즈에 대한 포즈 템플릿을 구성하고, 현재 포즈와 포즈 템플릿의 거리를 비교해 포즈를 인식했다.
- 본 논문에서는 총 13개의 제스처를 정의하였고 제스처에 필요한 포즈의 개수로 키포즈와 주변포즈를 포함하여 각 제스처마다 3~6개의 포즈로 구성하였다.
- 본 논문에서는 총 28개의 포즈를 정의하였으며, 각 포즈별로 개별적인 포즈 템플릿을 구성해 포즈를 인식하였다.
- 이 시스템은 사용자가 들어오면 칼리브레이션 및 배경 제거 후각 사용자에 대한 3차원 좌표 정보를 획득한다. 사용자가 정의된 28가지 포즈 중 임의의 포즈를 취하면 사용자의 포즈와 가장 가까운 포즈 템플릿을 계산해서 구한다. 포즈 번호를 구하기 위한 방법은 아래 식(2)로 표현한다.
- 기준에 따라 생성된다. 생성된 HMMe 학습 데이터를 이용한 학습을 통해 적절한 제스처 모델을 구성한다.
- 이러한 기본동작들로 구성된 제스처를 사용하여 제작된 콘텐츠에서는 세 개의 장면에 따라 그림7, 8, 9와 같이 입력 인터페이스를 위한 제스처를 정의하였다.
- 그리고 3차원 좌표 값만을 이용해 포즈를 인식했기 때문에 비교적 간단하지만 높은 인식률로 정의한 포즈를 인식할 수 있었다. 이렇게 인식된 포즈들을 이용하여 제스처를 구성하고 인식된 제스처를 콘텐츠의 인터페이스로 사용하였다.
- 인식과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 모든 HMM의 제스처 모델을 비교한다. 그리하여, 가장 유사하다고 판단되는 제스처 모델을 선택하고 결과를 확률로 나타낸다.
- 본 논문에서는 제스처 인식을 위해 제스처를 구성하는 포즈를 인식하는 방법을 사용하였다. 인체에서 특징이 되는 14개 관절의 3차원 좌표 값을 이용해 각 포즈에 대한 포즈 템플릿을 구성하고, 현재 포즈와 포즈 템플릿의 거리를 비교해 포즈를 인식했다. 그리고 3차원 좌표 값만을 이용해 포즈를 인식했기 때문에 비교적 간단하지만 높은 인식률로 정의한 포즈를 인식할 수 있었다.
- 그 후, 미리 학습된 포즈 템플릿과 획득된 포즈 템플릿을 비교하여 제스처 인식에 사용될 포즈를 구분한다. 정지동작인 포즈들로 구성된 제스처는 시계열 정보에 대해 효과적으로 인식이 가능한 HMM을 사용하였다.
- 제안하는 포즈 시스템은 사용자의 포즈를 각각 인식할 수 있게 구성하였다. 이 시스템은 사용자가 들어오면 칼리브레이션 및 배경 제거 후각 사용자에 대한 3차원 좌표 정보를 획득한다.
- 학습은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 신체포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로 EM 알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다.
- 학습을 위해 미리 정의 해놓은 포즈를 이용하여 상태천이 확률변수를 생성한 후, 인식할 포즈의 상태천이 확률변수를 이용하여 제스처를 인식한다.
- 제외시킨 6개의 관절은 포즈가 달라져도 큰 변화를 갖지 않거나 손, 발과 같은 관절과 매우 가까워 해당 관절 값의 사용 유무가 포즈를 정의함에 있어 큰 의미를 갖지 않는 관절이다. 획득한 14개 신체 관절(그림 5)의 3차원 좌표(x, y, z)를 얻은 후 14 개 신체 관절의 3차원 위치 좌표 정보를 바탕으로 각 포즈에 대한 개별적인 포즈 템플릿을 구성하였다. 각 포즈 템플릿은 14개 관절에 대한 관절 벡터로 구성된다.
대상 데이터
- 수 있다. 각 포즈에 대한 특징을 추출하기 위해 NUI Skeleton API에서 제공하는 20개의 인체 관절 중 왼쪽 손목, 오른쪽 손목, 왼쪽 발꿈치, 오른쪽 발꿈치, 어깨 중심점 그리고 엉덩이 중심점을 제외하고 14개 관절(머리, 오른쪽 어깨, 왼쪽 어깨, 오른쪽 팔꿈礼 왼쪽 팔꿈치, 오른 손 왼 손 몸 중심, 오른쪽 엉덩이, 왼쪽 엉덩이, 오른쪽 무릎, 왼쪽 무릎, 오른 발, 왼 발을 사용했다. 제외시킨 6개의 관절은 포즈가 달라져도 큰 변화를 갖지 않거나 손, 발과 같은 관절과 매우 가까워 해당 관절 값의 사용 유무가 포즈를 정의함에 있어 큰 의미를 갖지 않는 관절이다.
- 공간을 이동할 수 있는 혼천의로 이동된다. 사용자는 혼천의를 돌리는 제스처를 통하여 시.공간을 선택하고, 시.
- 논문에서 제안하는 콘텐츠는 프로젝션 컴퓨터를 통해 대형 스크린에 투사되고, 사용자는 대형 스크린 앞에서 제스처를 사용함으로써 자연스런 상호작용이 가능하다. 제작된 콘텐츠는 아시아 공통문화요소인 도깨비를 소재로 사용하고 있으며 사용자는 콘텐츠를 체험함으로써 아시아 및 지역 문화에 대한 이해와 함께 콘텐츠를 즐길수 있게 한다.
- 콘텐츠에 등장하는 도깨비는 한국, 중국(인도), 일본의 도깨비를 참고하여 디자인하였다. 한국의 도깨비는 사람을 흘리거나 장난을 치기도 하지만 특별한 악의는 없으며, 때로는 자신에게 먹을 것을 대접한 사람에게 큰 돈을 가져다주어 부자로 만들어 주기도 하는 매우 순박한 존재이다.
이론/모형
- 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 신체포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로 EM 알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다. HMM 의 인식 과정은 전처리 모듈을 통해 변환된 체인코드가 어느 숫자의 은닉 마르코프 모델에서 나타날 확률이 높은가를 판단하는 과정으로, 각각의 숫자 모델에 전향(Forward) 알고리즘을 적용하여 가장 높은 확률을 보이는 숫자 모델을 최종 인식 결과로 출력한다.
- 인식한다. 본 논문에서는 제스처 인식을 위해 HMM을 사용하였다. HMMe 시간적으로 제약을 받는 정보의 구조를 모델링하는데 뛰어난 모델이다.
성능/효과
- 동일한 제스처라고 할지라도 제스처에 포함되는 포즈의 개수가 많을수록 인식률이 낮아지는 결과를 보였다. 그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.
- 2과 같다. 동일한 제스처라고 할지라도 제스처에 포함되는 포즈의 개수가 많을수록 인식률이 낮아지는 결과를 보였다. 그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.
후속연구
- 그러므로 앞으로는 제스처 인식 기술을 해당 콘텐츠에 최적화시킬 뿐만 아니라 학습과 인식과정을 개선하여 일반적인 제스처에서도 쉽게 반옹하는 제스처 인식 모듈을 제작하여 제스처 인식결과 개선 및 인식 시간을 단축하여야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.