본 논문에서는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라를 이용하여 사람 움직임을 추적하고 본 논문에서 제안한 몸동작 모델 인식을 통하여 3D콘텐츠를 제어하는 기법을 제안 한다. 본 논문에서 제안하는 사람의 동작 인식 모델은 사람의 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 인식한다. 본 연구에서 제안한 키넥트 기반의 동작 인식 모델은 기존의 접촉식 방식의 인터페이스와 비교할 때 특정센서 또는 장비 부착에 대한 불편함을 없애고 고비용의 하드웨어 시스템을 이용하지 않음으로서 사람의 자연스런 몸동작 이동에 따른 저 비용 3D 콘텐츠 제어 기술을 보여준다.
본 논문에서는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라를 이용하여 사람 움직임을 추적하고 본 논문에서 제안한 몸동작 모델 인식을 통하여 3D 콘텐츠를 제어하는 기법을 제안 한다. 본 논문에서 제안하는 사람의 동작 인식 모델은 사람의 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 인식한다. 본 연구에서 제안한 키넥트 기반의 동작 인식 모델은 기존의 접촉식 방식의 인터페이스와 비교할 때 특정센서 또는 장비 부착에 대한 불편함을 없애고 고비용의 하드웨어 시스템을 이용하지 않음으로서 사람의 자연스런 몸동작 이동에 따른 저 비용 3D 콘텐츠 제어 기술을 보여준다.
This paper proposes a kinect-based human motion recognition model for the 3D contents control after tracking the human body gesture through the camera in the infrared kinect project. The proposed human motion model in this paper computes the distance variation of the body movement from shoulder to r...
This paper proposes a kinect-based human motion recognition model for the 3D contents control after tracking the human body gesture through the camera in the infrared kinect project. The proposed human motion model in this paper computes the distance variation of the body movement from shoulder to right and left hand, wrist, arm, and elbow. The human motion model is classified into the movement directions such as the left movement, right movement, up, down, enlargement, downsizing. and selection. The proposed kinect-based human motion recognition model is very natural and low cost compared to other contact type gesture recognition technologies and device based gesture technologies with the expensive hardware system.
This paper proposes a kinect-based human motion recognition model for the 3D contents control after tracking the human body gesture through the camera in the infrared kinect project. The proposed human motion model in this paper computes the distance variation of the body movement from shoulder to right and left hand, wrist, arm, and elbow. The human motion model is classified into the movement directions such as the left movement, right movement, up, down, enlargement, downsizing. and selection. The proposed kinect-based human motion recognition model is very natural and low cost compared to other contact type gesture recognition technologies and device based gesture technologies with the expensive hardware system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라에 찍힌 영상속의 사람 움직임을 추적하고 본 논문에서 제안한 동작 모델 인식을 통하여 3D 콘텐츠를 제어하는 기법을 제안 하였다. 본 논문에서는 키넥트 SDK를 이용하여 사람 신체 부위의 3D 위치를 분석하여 사람의 골격(Skeleton)을 생성한 후, 신체 길이와 관련된 연결 포인트의 거리를 계산하여 사람의 동작 모델을 인식한다.
본 논문에서는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라에 찍힌 영상속의 사람 움직임을 추적하고 본 논문에서 제안한 몸동작 모델 인식을 통하여 3D 콘텐츠를 제어하는 기법을 제안 한다. 본 논문에서는 키넥트 SDK를 이용하여 사람 신체 부위의 3D 위치를 분석하여 사람의 골격(Skeleton)을 생성한 후, 신체 길이와 관련된 연결 포인트의 거리를 계산하여 사람의 동작 모델을 인식한다.
제안 방법
본 논문에서 키넥트 기반의 동작 모델 인식 알고리즘의 성능 실험을 위하여 H/W는 팬티엄 4 듀얼 코어 64Bit CPU i7 2600 및 16GB RAM, 라데 온 HD 6950 그래픽 카드를 가진 PC에서 키넥트 설치하여 실험하였다. S/W는 64Bit Windows 7 운영체제에서 벤투즈 3 Designer 설치하여 사전에 미리 제작된 전남 관광 문화 3D 콘텐츠를 제어하는 실험을 하였다. 키넥트 기반의 동작 모델 인식 알고리즘 개발 언어는 C#을 이용하여 비쥬얼 스튜디오에서 구현하였다.
본 논문에서는 키넥트 SDK를 이용하여 사람 신체 부위의 3D 위치를 분석하여 사람의 골격(Skeleton)을 생성한 후, 신체 길이와 관련된 연결 포인트의 거리를 계산하여 사람의 동작 모델을 인식한다. 본 논문에서 사람의 동작 모델은 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 파악하였다.
본 논문에서는 키넥트 SDK를 이용하여 사람 신체 부위의 3D 위치를 분석하여 사람의 골격(Skeleton)을 생성한 후, 신체 길이와 관련된 연결 포인트의 거리를 계산하여 사람의 동작 모델을 인식한다. 본 논문에서 사람의 동작 모델은 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 파악한다. 이러한 7가지 동작 상태의 값의 변화를 추적하여 3D 콘텐츠 제어를 위한 동작 인식 모델을 설계하고, 이를 사전에 제작된 3D 콘텐츠 제어를 위한 사용자 체험형(User eXperienced : UX) 인터페이스로 활용한다.
본 논문에서 제안한 키넥트 기반의 동작 인식 모델은 기존의 접촉식 방식의 인터페이스와 비교할 때 특정센서 또는 장비 부착에 대한 불편함을 없애고 고비용의 하드웨어 시스템을 이용하지 않음으로서 사람의 자연스런 몸동작 이동에 따른 저 비용 3D 콘텐츠 제어 기술을 보여준다. 본 논문에서 제안한 사용자 체험형 3D 콘텐츠 제어 기법은 가상현실, 증강현실, 3D 게임, 3D 교육용 실감 콘텐츠 등 다양한 용용 콘텐츠에 활용 가능하다.
본 논문에서는 [그림 2]에서 설계한 사람의 동작 모델에서 7가지 기능별 동작 인식 알고리즘을 [표 1] 같이 제안한다. [표 1]에서는 [그림 1]의 사람 신체 간 연결 포인트 위치를 설정하고, 연결 포인트 간 이동거리 값의 X, Y, Z 값 변화량을 구하여 사람의 동작 모델을 인식 한다.
본 논문에서는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라에 찍힌 영상속의 사람 움직임을 추적하고 본 논문에서 제안한 몸동작 모델 인식을 통하여 3D 콘텐츠를 제어하는 기법을 제안 한다. 본 논문에서는 키넥트 SDK를 이용하여 사람 신체 부위의 3D 위치를 분석하여 사람의 골격(Skeleton)을 생성한 후, 신체 길이와 관련된 연결 포인트의 거리를 계산하여 사람의 동작 모델을 인식한다. 본 논문에서 사람의 동작 모델은 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 파악한다.
본 실험에서는 5명의 실험대상 학생이 10차례씩 7가지 모델에 따른 각각의 제스쳐를 3-4 미터, 5-6미터, 7미터 이상으로 구분하여 실험 하였다. 실험 결과 키넥트 적외선 프로젝트는 카메라로부터 3-4 미터 내에서 7가지 동작 모델별로 훈련된 사용자는 매우 자연스럽고 효과적으로 사람 동작을 99.
[그림 3]는 키넥트기반의 동작 인식 모델을 이용한 3D 콘텐츠 제어 구현 결과이다. 본 연구에서 실험한 키넥트 기반의 사람 동작 인식 모델은 [그림 3]에서와 같이 초기화면에서 7가지 동작 모델에 따라 실험하였다.
본 연구에서 제안한 키넥트 기반의 동작 인식 모델은 기존의 접촉식 방식의 인터페이스와 비교할 때 특정센서 또는 장비 부착에 대한 불편함을 없애고 고비용의 하드웨어 시스템을 이용하지 않음으로서 사람의 자연스런 몸동작 이동에 따른 저 비용 3D 콘텐츠 제어 기술을 보여준다.
[그림 1]은 키넥트를 이용한 사람의 동작 모델 기본 개념도 이다. 사람의 동작 모델 기능은 손목, 팔꿈치, 어깨선을 중심으로 좌로 이동, 우로 이동, 위로 이동, 아래로 이동, 확대, 축소, 선택 등 7가지 기능으로고 구분한다.
입력된 2개의 화상 정보를 디지털 필터링을 통해 가공 후 사람의 동작 인식 정보를 3D Skeleton 데이터로 생성 한다. 생성된 사람의 동작 3D Skeleton 정보는 키넥트의 제스처 인식 알고리즘을 통해 선형데이터로 재가공 하여 UX 기 반 비 접촉식 인터페이스로 3D 콘텐츠를 제어한다. 또한, Kinect 센서는 레이저를 이용해 사용자에게 적외선을 투사하고 연결점(dot)들의 반사파 강도를 측정하고, 반사강도를 통해 거리를 측정하고 반사강도가 약한 점들은 멀리서부터, 강도가 높은 점들은 전면에 있는 사용자로부터 온 것으로 추정한다.
본 논문에서 사람의 동작 모델은 오른팔과 왼팔의 손목, 팔꿈치, 어께 움직임의 거리를 계산하여 좌, 우, 상, 하, 확대, 축소, 선택 등의 7가지 동작 상태를 파악한다. 이러한 7가지 동작 상태의 값의 변화를 추적하여 3D 콘텐츠 제어를 위한 동작 인식 모델을 설계하고, 이를 사전에 제작된 3D 콘텐츠 제어를 위한 사용자 체험형(User eXperienced : UX) 인터페이스로 활용한다.
키넥트 적외선 카메라가 사람의 골격을 인지하는 기법을 이용하여 사람의 손목, 팔목, 어깨 움직임에 기반 한 7가지 동작 기능 모델을 설계한다[6][8]. [그림 1]은 키넥트를 이용한 사람의 동작 모델 기본 개념도 이다.
대상 데이터
본 논문에서 키넥트 기반의 동작 모델 인식 알고리즘의 성능 실험을 위하여 H/W는 팬티엄 4 듀얼 코어 64Bit CPU i7 2600 및 16GB RAM, 라데 온 HD 6950 그래픽 카드를 가진 PC에서 키넥트 설치하여 실험하였다. S/W는 64Bit Windows 7 운영체제에서 벤투즈 3 Designer 설치하여 사전에 미리 제작된 전남 관광 문화 3D 콘텐츠를 제어하는 실험을 하였다.
성능/효과
본 논문에서 제안한 키넥트 기반의 동작 인식 모델은 기존의 접촉식 방식의 인터페이스와 비교할 때 특정센서 또는 장비 부착에 대한 불편함을 없애고 고비용의 하드웨어 시스템을 이용하지 않음으로서 사람의 자연스런 몸동작 이동에 따른 저 비용 3D 콘텐츠 제어 기술을 보여준다. 본 논문에서 제안한 사용자 체험형 3D 콘텐츠 제어 기법은 가상현실, 증강현실, 3D 게임, 3D 교육용 실감 콘텐츠 등 다양한 용용 콘텐츠에 활용 가능하다. 또한, 실감형 스마트 TV 사용자 인터랙션 핵심 기술로 활용 할 수 있어 차세대 실감 산업 기술 발전에 크게 활용 가능하다.
실험 결과 3-4미터 이내에서는 훈련된 사람의 동작에 의거 매후 효과적으로 3D 콘텐츠가 제어 되었고, 동작이 훈련되지 않거나 거리가 카메라로부터 멀어질 때는 동작이 효과적으로 인식되지 않았다. 따라서 수차례 실험 결과 사람의 동작 모델의 인식 거리 및 외부 조명 상태를 정립하였다.
본 실험에서는 5명의 실험대상 학생이 10차례씩 7가지 모델에 따른 각각의 제스쳐를 3-4 미터, 5-6미터, 7미터 이상으로 구분하여 실험 하였다. 실험 결과 키넥트 적외선 프로젝트는 카메라로부터 3-4 미터 내에서 7가지 동작 모델별로 훈련된 사용자는 매우 자연스럽고 효과적으로 사람 동작을 99.8% 정도인식 하였고, 5-6미터에서는 90.6% 정도 인식 하였다. 7미터 이상에서는 인식율이 좋지 않았다.
후속연구
본 논문에서 제안한 사용자 체험형 3D 콘텐츠 제어 기법은 가상현실, 증강현실, 3D 게임, 3D 교육용 실감 콘텐츠 등 다양한 용용 콘텐츠에 활용 가능하다. 또한, 실감형 스마트 TV 사용자 인터랙션 핵심 기술로 활용 할 수 있어 차세대 실감 산업 기술 발전에 크게 활용 가능하다.
따라서 수차례 실험 결과 사람의 동작 모델의 인식 거리 및 외부 조명 상태를 정립하였다. 본 연구에서는 7가지 동작모델을 중심으로 3D 콘텐츠 제어 기술을 집중 실험 하였으나, 향후 에는 현 동작 모델을 확장하여 좀 더 세부적인 손동작과 다른 몸동작 인식 모델을 재정의 하고, 해당 동작에 따른 실감형 3D 콘텐츠 제어기술을 구현할 예정이다.
본 연구의 향후 계획은 본 논문의 동작 모델을 확장하여 좀 더 세부적인 손동작이나 다른 몸동작 인식 모델을 정의 하고, 해당 동작에 따른 실감형 3D/4D 콘텐츠 제어기술을 더욱 심도 있게 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
사람의 동작인식 기술 중 접촉식 방식이란?
사람의 동작인식 기술은 센서나 특정 장치를 사람의 신체에 부착하여 신체의 움직임으로 감지한 데이터를 동작인식에 활용하는 접촉식 방식과 카메라를 이용하여 사람의 움직임 영상을 추적하여 동작인식 정보를 추출하는 비 접촉식 방식으로 구분 된다. 접촉식 방식은 사용자의 움직임을 감지할 수 있는 센서나 장치를 사람의 몸에 직접 부착해 정보를 획득하는 방식으로 직접 센서를 통하여 비교적 정확한 정보를 얻을 수 있는 장점이 있지만, 사용자가 센서나 장비를 착용해야하는 불편함이 매우 큰 단점이다. 비 접촉식 방식은 대부분 사람의 움직임을 영상으로 촬영한 후 움직임 정보를 추출한 비전 기술을 이용 한다[2][3][5].
비 접촉 방식 중 마커 방식의 장/단점은?
마커 방식은 영상의 컬러, 형태, LED, 적외선 등을 마커 속성에 미리 정해두고 그 마카를 추적하는 것으로 비교적 쉽고 빠르게 사용자의 동작을 추적할 수 있다. 이 방업은 영상의 특징점 추출을 상대적으로 빠르게 할 수 있으나 사용자는 여전히 부자연스러운 마커를 부착해야 하는 단점이 있다. 마커리스 방식은 옵티컬 플로우, 배경분리 기법, 모션 히스토리이미지 등의 기법을 이용하여 사용자 움직임의 방향 및 속도 등을 감지하여 움직임을 실시간으로 빠르게 추적할 수 있고 광원의 밝기를 추적하여 움직임을 추적하기도 한다.
사람의 동작인식 기술은 어떻게 구분될 수 있는가?
사람의 동작인식 기술은 센서나 특정 장치를 사람의 신체에 부착하여 신체의 움직임으로 감지한 데이터를 동작인식에 활용하는 접촉식 방식과 카메라를 이용하여 사람의 움직임 영상을 추적하여 동작인식 정보를 추출하는 비 접촉식 방식으로 구분 된다. 접촉식 방식은 사용자의 움직임을 감지할 수 있는 센서나 장치를 사람의 몸에 직접 부착해 정보를 획득하는 방식으로 직접 센서를 통하여 비교적 정확한 정보를 얻을 수 있는 장점이 있지만, 사용자가 센서나 장비를 착용해야하는 불편함이 매우 큰 단점이다.
H. S. Choi and M. U. Kang, "A User Experienced 3D Contents Control Using the Face Tracking," International Conference on Convergence Content 2012, pp.89-90, 2012(12).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.