선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존의 스켈레톤 프레임 안정화 방법으로 얻은 스켈레톤은 위의 추적 상태 만을 이용하여 스켈레톤 정보의 신뢰성을 판단하기 때문에, 실제로 스켈레톤이 심하게 깨진 상황임에도 불구하고 스켈레톤 추적 상태가 “tracked”이기 때문에 신뢰성이 높다고 판단하여 스켈레톤을 잘못 보정하는 일이 생긴다. 따라서 본 논문에서는 이를 보완하기 위하여 추가적으로 비정상적인 스켈레톤 관절 위치를 수정하는 방법을 제안한다. 대부분의 경우 스켈레톤 정보가 안정되게 나오지만, 상황에 따라 심하게 찌그러지거나 꼬이는 경우가 발생한다.
- 본 논문에서는 스크린 클라이밍 콘텐츠에서 클라이머의 정확한 자세인식을 위하여 신체영역에 기반하여 스켈레톤을 보정하는 방법을 제안하였다. 이 방법은 인공 암벽이 있는 환경에서 배경 영상과 클라이머가 있는 전경 영상 간의 뎁스맵 차영상으로 구한 클라이머 신체영역 정보와 스켈레톤 정보를 함께 사용한다.
제안 방법
- 3cm 정도이다. 따라서 본 논문에서는 위의 등반 속도에 약간의 여유를 두어 프레임 간 특정 관절의 이동거리를 10cm(초속 3m 상당)로 설정한다.
- Cha에 의해 제안된 콘텐츠[8]로, 클라이밍의 동작과 움직임을 분석하여 스포츠 클라이밍 학습에 도움을 주고자 제작되었다. 따라서 이상적인 동작을 얻기 위하여 전문 클라이밍 선수의 동작을 추적하였으며, 클라이밍 시의 움직임을 네 단계로 분류하였다. 앞에서 얻은 등반 자세 및 움직임 정보를 이용하여[Fig.
- 이 방법은 인공 암벽이 있는 환경에서 배경 영상과 클라이머가 있는 전경 영상 간의 뎁스맵 차영상으로 구한 클라이머 신체영역 정보와 스켈레톤 정보를 함께 사용한다. 스켈레톤 정보는 키넥트에서 제공하는 정보를 그대로 사용하는 대신 비정상적인 스켈레톤 정보를 수정하는 개선된 프레임 안정화 방법과 손발 보정 과정을 거쳐 신뢰도를 높인 것을 사용한다. 위에서 구한 스켈레톤 관절들을 이용하여 관절부위 영역을 구하며, 스켈레톤을 각 관절부위 영역의 중점으로 보정한다.
- 따라서 이상적인 동작을 얻기 위하여 전문 클라이밍 선수의 동작을 추적하였으며, 클라이밍 시의 움직임을 네 단계로 분류하였다. 앞에서 얻은 등반 자세 및 움직임 정보를 이용하여[Fig. 1]과 같이 3D 캐릭터 애니메이션으로 구현하였다. 프로젝터를 이용하여 인공암벽에 투사되며,사람들이 캐릭터가 취하는 자세 및 움직이는 경로를 보고 따라하도록 유도한다.
- 여기에서는 제안한 방법으로 비정상적인 스켈레톤 정보를 수정하고, 클라이머 신체 영역을 관절부위 별로 구분해 보고, 구분된 정보를 이용하여 스켈레톤을 보정하는 과정을 알아보는 실험을 진행하였다. 실험을 위한 환경은 [Fig.
- 비정상적인 스켈레톤 관절 수정 과정은 다음과 같다. 우선 직전 프레임과 비교해서 각 관절별로 이동거리를 구한다. 이 때 이동거리가 특정 한계치(프레임 당 10cm)를 넘기면 잘못된 것으로 판단하고 해당 관절의 추적상태를 “inferred”로 재정의한다.
- 스켈레톤 정보는 키넥트에서 제공하는 정보를 그대로 사용하는 대신 비정상적인 스켈레톤 정보를 수정하는 개선된 프레임 안정화 방법과 손발 보정 과정을 거쳐 신뢰도를 높인 것을 사용한다. 위에서 구한 스켈레톤 관절들을 이용하여 관절부위 영역을 구하며, 스켈레톤을 각 관절부위 영역의 중점으로 보정한다. 이렇게 보정한 스켈레톤 정보는 등반자의 자세를 이전 연구들보다 정확하게 감지할 수 있다.
- 두 대의 키넥트를 이용하여 실시간으로 스켈레톤을 추적하고 보정하는 방법은 Kwok-Yun Yeung[11]에 의해 제안되었다. 이 연구에서는 키넥트 한 대로는 스켈레톤 정보를 정확하게 얻기 어렵다고 지적하면서 두 대의 키넥트를 이용하여 초기 설정에서 얻은 스켈레톤의 관절 간 거리 정보와, 각 키넥트에 대한 스켈레톤 내 관절 위치 정보의 신뢰도에 따른 가중치를 이용하는 방식으로 스켈레톤을 보다 안정된 형태로 추출하는 방식을 사용하였다. 하지만 키넥트에서 제공한 스켈레톤 정보만을 이용하여 보정하는 방식이어서 처음부터 스켈레톤 정보가 크게 왜곡된 상황에서는 정확도가 떨어지며, 추가 설치에 따른 비용 및 기기 간의 스켈레톤 좌표계를 맞추는 보정작업이 필요하다.
- 클라이머 신체 영역을 관절역역으로 구분하기 위해서 손발 보정된 스켈레톤 정보가 이용된다. 클라이머 신체 영역과 스켈레톤 정보를 같은 위치상에 두고, 스켈레톤 각 조인트 마다 인식 영역을 확장하여 클라이머 신체 영역을 [Fig. 8]과 같이 신체 부위별로 구분한다. 인식 영역은 [Fig.
- 위와 같은 기존 방법들의 한계를 극복하기 위해 다음의 방법을 제안한다. 키넥트에서 제공하는 정보를 바탕으로 스켈레톤 프레임 안정화 방법을 이용해 불안정성을 줄이며, 관절 위치를 원점으로 감지한 신체 영역 상의 한 점이 어느 관절에 가장 가까운지 판별해 신체영역을 스켈레톤 관절 위치를 기준으로 한 관절부위로 나눈다. 이렇게 나누어진 관절부위 상의 중점으로 스켈레톤 관절 위치를 보정한다.
대상 데이터
- 이 자세들을 대상으로 본 논문에서 제안한 방법으로 보정한 스켈레톤 정보와 기존의 스켈레톤 정보와 비교하였다. 비교 대상은 키넥트에서 제공한 기본적인 스켈레톤 정보와 [14]에서 제안한 스켈레톤 프레임 안정화 및 손발 스켈레톤 보정을 적용한 스켈레톤 정보이다.
- 여기에서는 제안한 방법으로 비정상적인 스켈레톤 정보를 수정하고, 클라이머 신체 영역을 관절부위 별로 구분해 보고, 구분된 정보를 이용하여 스켈레톤을 보정하는 과정을 알아보는 실험을 진행하였다. 실험을 위한 환경은 [Fig. 12]와 같이 인공암벽, 빔 프로젝터, 키넥트, 클라이언트로 구성된다. 인공 암벽의 크기는 가로 4m, 세로 3m 이며, 빔프로젝터는 인공 암벽에 콘텐츠를 출력하기 위해서 사용되며, 인공 암벽 전체에 영상이 투사되도록 설정하였다.
- 12]와 같이 인공암벽, 빔 프로젝터, 키넥트, 클라이언트로 구성된다. 인공 암벽의 크기는 가로 4m, 세로 3m 이며, 빔프로젝터는 인공 암벽에 콘텐츠를 출력하기 위해서 사용되며, 인공 암벽 전체에 영상이 투사되도록 설정하였다. 키넥트는 Kinect v2 for windows를 사용하였으며, 배치된 인공 암벽이 모두 촬영 가능하도록 정면에 배치하였다.
데이터처리
- 13](e))이다. 이 자세들을 대상으로 본 논문에서 제안한 방법으로 보정한 스켈레톤 정보와 기존의 스켈레톤 정보와 비교하였다. 비교 대상은 키넥트에서 제공한 기본적인 스켈레톤 정보와 [14]에서 제안한 스켈레톤 프레임 안정화 및 손발 스켈레톤 보정을 적용한 스켈레톤 정보이다.
이론/모형
- 두 대의 키넥트를 이용하여 실시간으로 스켈레톤을 추적하고 보정하는 방법은 Kwok-Yun Yeung[11]에 의해 제안되었다. 이 연구에서는 키넥트 한 대로는 스켈레톤 정보를 정확하게 얻기 어렵다고 지적하면서 두 대의 키넥트를 이용하여 초기 설정에서 얻은 스켈레톤의 관절 간 거리 정보와, 각 키넥트에 대한 스켈레톤 내 관절 위치 정보의 신뢰도에 따른 가중치를 이용하는 방식으로 스켈레톤을 보다 안정된 형태로 추출하는 방식을 사용하였다.
- 이러한 운동 소재 콘텐츠에서 자세인식을 위한 도구로 Microsoft에서 출시한 키넥트(Kinect)를 사용한다. 키넥트는 원래 동작인식 게임에 활용하기 위해 만들어졌으나, 동작인식 기능을 구현하기에 가격대 성능비가 뛰어나 이를 이용해 신체 활동을 감지하는 여러 연구들이 있다.
- 2절에서 설명한 스켈레톤 프레임 안정화 방법으로 키넥트 스켈레톤 정보의 불안정성을 어느 정도 해소할 수 있지만, 클라이머 자세인식에는 충분치 않다. 이를 보완하고 보다 높은 신뢰도를 가지는 스켈레톤 정보를 얻기 위해 관절부위를 이용한 스켈레톤 보정 방법을 사용한다. 전체적인 과정은[Fig.
성능/효과
- 2.2절에서 설명한 스켈레톤 프레임 안정화 방법으로 키넥트 스켈레톤 정보의 불안정성을 어느 정도 해소할 수 있지만, 클라이머 자세인식에는 충분치 않다. 이를 보완하고 보다 높은 신뢰도를 가지는 스켈레톤 정보를 얻기 위해 관절부위를 이용한 스켈레톤 보정 방법을 사용한다.
- 5m를 약간 넘는 수준이다. 본 논문에서 제안한 방법을 구현하는 데 사용한 키넥트 기기에서는 스켈레톤 정보를 초당 30회 얻을 수 있으므로, 초속 2.5m의 이동 속도는 프레임 당 약 8.3cm 정도이다. 따라서 본 논문에서는 위의 등반 속도에 약간의 여유를 두어 프레임 간 특정 관절의 이동거리를 10cm(초속 3m 상당)로 설정한다.
- 제안한 방법은 모든 유형의 자세에 대하여 스켈레톤 관절이 신체 영역 안으로 들어가 있음을 확인할 수 있으며, 기존 방법에서 신체 영역 안에 위치하더라도 가장자리로 치우쳤던 스켈레톤 관절의 경우에도 신체영역 중심으로 수정되었음을 확인할 수 있다. 신체 영역과 스켈레톤 관절을 비교해볼 때 제안한 방법이 기존의 방법들보다 더 유사한 형태로 스켈레톤을 구성함을 알 수 있다.
- 스켈레톤 프레임 안정화와 손발 스켈레톤 보정 방법을 적용한 방법에서는 손발 부위가 닿은 홀드 영역으로 보정된 것 이외에는 키넥트 제공 기본 정보의 경우와 큰 차이가 없다. 제안한 방법은 모든 유형의 자세에 대하여 스켈레톤 관절이 신체 영역 안으로 들어가 있음을 확인할 수 있으며, 기존 방법에서 신체 영역 안에 위치하더라도 가장자리로 치우쳤던 스켈레톤 관절의 경우에도 신체영역 중심으로 수정되었음을 확인할 수 있다. 신체 영역과 스켈레톤 관절을 비교해볼 때 제안한 방법이 기존의 방법들보다 더 유사한 형태로 스켈레톤을 구성함을 알 수 있다.
후속연구
- 이 연구에서는 키넥트 한 대로는 스켈레톤 정보를 정확하게 얻기 어렵다고 지적하면서 두 대의 키넥트를 이용하여 초기 설정에서 얻은 스켈레톤의 관절 간 거리 정보와, 각 키넥트에 대한 스켈레톤 내 관절 위치 정보의 신뢰도에 따른 가중치를 이용하는 방식으로 스켈레톤을 보다 안정된 형태로 추출하는 방식을 사용하였다. 하지만 키넥트에서 제공한 스켈레톤 정보만을 이용하여 보정하는 방식이어서 처음부터 스켈레톤 정보가 크게 왜곡된 상황에서는 정확도가 떨어지며, 추가 설치에 따른 비용 및 기기 간의 스켈레톤 좌표계를 맞추는 보정작업이 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.