인체 추적은 차세대 인간과 컴퓨터사이의 상호작용 (HCI)의 필수요소이다. 본 논문에서는 구성요소에 기반을 둔 인체 모델을 이용하여 인체의 각 부위를 검출하여 자세를 추정하고 아바타의 동작을 구현하는 방법을 제안한다. 인체 각 부위의 색상정보와 함께 연결정보, 위치정보 등을 이용하여 인체 각 부위가 검출되고 인체 모델의 각 구성요소에 매칭된다. 이렇게 구한 2D의 인체 자세 정보는 다음 프레임에서 유사도 계산을 통해 사람 추적에 이용될 수 있다. 이 때, 각 구성요소의 상대적인 위치 관계를 이용하여 깊이 정보를 추출하고 이를 움직임 방향으로 변환하여 2-1/2D 인체 모델을 구한다. 인체 각 부위는 자세와 방향성으로 모델링 되고 연결된 3D 아바타의 각 부분은 인체 모델로부터 넘겨받은 정보를 이용하여 3D 회전을 적용함으로써 실시간 아바타 애니메이션을 구현하게 된다. 다양한 자세를 포함하고 있는 실험 동영상에 대해 90%의 인체 추적율을 얻었고, 처리된 프레임 수가 늘어남에 따라 모델이 체계화되어 추적율이 꾸준히 증가하는 결과를 나타냈다.
인체 추적은 차세대 인간과 컴퓨터사이의 상호작용 (HCI)의 필수요소이다. 본 논문에서는 구성요소에 기반을 둔 인체 모델을 이용하여 인체의 각 부위를 검출하여 자세를 추정하고 아바타의 동작을 구현하는 방법을 제안한다. 인체 각 부위의 색상정보와 함께 연결정보, 위치정보 등을 이용하여 인체 각 부위가 검출되고 인체 모델의 각 구성요소에 매칭된다. 이렇게 구한 2D의 인체 자세 정보는 다음 프레임에서 유사도 계산을 통해 사람 추적에 이용될 수 있다. 이 때, 각 구성요소의 상대적인 위치 관계를 이용하여 깊이 정보를 추출하고 이를 움직임 방향으로 변환하여 2-1/2D 인체 모델을 구한다. 인체 각 부위는 자세와 방향성으로 모델링 되고 연결된 3D 아바타의 각 부분은 인체 모델로부터 넘겨받은 정보를 이용하여 3D 회전을 적용함으로써 실시간 아바타 애니메이션을 구현하게 된다. 다양한 자세를 포함하고 있는 실험 동영상에 대해 90%의 인체 추적율을 얻었고, 처리된 프레임 수가 늘어남에 따라 모델이 체계화되어 추적율이 꾸준히 증가하는 결과를 나타냈다.
Human tracking is a requirement for the advanced human-computer interface (HCI), This paper proposes a method which uses a component-based human model, detects body parts, estimates human postures, and animates an avatar, Each body part consists of color, connection, and location information and it ...
Human tracking is a requirement for the advanced human-computer interface (HCI), This paper proposes a method which uses a component-based human model, detects body parts, estimates human postures, and animates an avatar, Each body part consists of color, connection, and location information and it matches to a corresponding component of the human model. For human tracking, the 2D information of human posture is used for body tracking by computing similarities between frames, The depth information is decided by a relative location between components and is transferred to a moving direction to build a 2-1/2D human model. While each body part is modelled by posture and directions, the corresponding component of a 3D avatar is rotated in 3D using the information transferred from the human model. We achieved 90% tracking rate of a test video containing a variety of postures and the rate increased as the proposed system processed more frames.
Human tracking is a requirement for the advanced human-computer interface (HCI), This paper proposes a method which uses a component-based human model, detects body parts, estimates human postures, and animates an avatar, Each body part consists of color, connection, and location information and it matches to a corresponding component of the human model. For human tracking, the 2D information of human posture is used for body tracking by computing similarities between frames, The depth information is decided by a relative location between components and is transferred to a moving direction to build a 2-1/2D human model. While each body part is modelled by posture and directions, the corresponding component of a 3D avatar is rotated in 3D using the information transferred from the human model. We achieved 90% tracking rate of a test video containing a variety of postures and the rate increased as the proposed system processed more frames.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
사람이 걷는 동작의 추적은 두 다리의 y 좌표 값의 차이가 커지게 되면 다리를 들었다는 것을 알 수 있다는 점을 이용해 이루어진다. 또한 다리를 사선으로 들었을 경우의 다리의 압축률이 다리를 곧게 세우고 있을 때보다 적어진다는 점을 이용해 추적해낸다. 그림 7은 팔과 다리 관절이 분리된 상세한 인체 모델의 움직임 추적을 보여준다.
본 논문에서는 마커를 부착하지 않고(marker-free), 한 대의 카메라에서 획득한 2D 동영상으로부터 3D 아바타의 동작을 애니메이션 시키는 방법을 제안한다. 우선, 인체의 각 부위를 구성요소로 정의하고 색상정보, 연결정보, 위치정보 등을 포함하는 구성 요소 모델을 이용하여 단일 카메라로부터 획득된 2D 동영상에서 인체의 각 부위를 검출하고 동작을 추적한다.
가설 설정
. 계층적 구조정보는 조합의 탐색 범위를 줄여 동작 추적이 시간 효율적이다.
이 세부위의 움직임을 추적하고 팔의 각도를 구하여 보다 자세한 팔의 움직임 추적이 가능하게 한다. 몸통과 가장 가까운 부분이 어깨이고 몸통과 가장 거리가 먼 부분이 손끝이라고 가정한다. 팔꿈치는 어깨에서 팔 상단의 길 이만큼 가로(20) * 세로(20) 영역을 검색 범위로 한다(그림 6).
사람은 다양한 의상 및 장신구를 착용할 수 있으므로 피부색만으로 인체 자세를 추정하는 것은 실제로 많은 어려움이 있다. 본 논문에서는 최소한 얼굴이 피부색으로 검출가능하다고 가정한다. 컬러 영상이 주어지면 (그림 4(a)), RGB 색공간에서 미디언 필 터로 평활화시키고, YCbCr 색공간에서 피부색 필터인 식 (4)을 이용하여 식 (5)과 같이 이진화를 시킨다[3] (그림 4(b)).
제안 방법
. 제안하는 구성요소에 기반을 둔 인체 모델은 인체 구성요소의 색상정보, 크기 등의 외형 정보, 유연한 연결정보, 계층적 관계정보 등을 이용한다. 색상정보를 이용하여 인체부위 또는 인체 부위 집합을 검출한 후, 외형정보와 연결정보 등을 이용하여 인체 부위를 조합하여 자세를 추정한다.
특호], Colombo et. ale 두 대의 카메라에서 얻은 2D 영상에서 3D 동작을 추출하여 아바타를 애니메이션 시키는 저렴하지만 강인한 시각기반 방법을 제안하였다[1]. 이렇게 마커를 부착하지 않고 동작을 애니메이션 시키는 방법은 가상 회의 및 원격 회의와 같은 실제적인 분야에 응용될 수 있다.
추적민감도는 사람이 모델에 의해 옳게 추적될 확률을 의미하고, 추적정확도는 추적된 모델이 사람일 확률을 의미한다. 각 추적 단계에서 사람으로 추적된 모델의 수를 세고 전체 사람 수에 대한 비율을 계산하였다.
(그림 5(b)). 검출된 인체 후보 영역 리스트를 검색하여 몸통과 연결된 팔/다리를 검출한다. 몸통과 두 다리, 두 팔의 연결 정보를 조합하여 몸통과 연결된 요소들 중 두 다리와 두 팔을 검출한다 (그림 5(c)와 (d)).
구성요소에 기반한, 방법은 매칭을 위한 탐색시간을 줄임으로써 시간 효율적인 알고리즘을 작성하기 위해 구성요소들을 계층적으로 연결할 수 있다[2]. 그러나 논문[2]에서 사용된 별구조 형태의 트리구조와는 달리, 본 논문에서는 일반 3계층의 트리구조를 가진 모델을 사용한다(그림 3). 가장 상위 노드인 사람은 머리, 몸통, 오른쪽 팔, 왼쪽 팔, 오른쪽 다리, 왼쪽 다리의 자식 노드를 가진다.
al 의 추적율은 머리와 손, 팔에 대해만 측정되었으며, 신체 부위의 모양이나 회전을 포함하지 않은 고정된(rigid) 추적들의 평균값으 로 구해졌다. 그러나 제안된 방법은 10개의 구성요소로 표현된 인체 부위 모두를 추적하였으며, 손과 발보다 복잡한 팔과 다리를 상단과 하단으로 나누어 추적하였다. 또한 제안하는 방식은 회전에 의한 모양 및 크기 변형, 겹침에 의한 변형 등을 모두 포함하고 있으므로 보다 유연하게 추적한다고 할 수 있다.
팔꿈치의 검색은 안에서 밖으로, 아래에서 위로 피부색 영역을 따라가며 대략적인 경계선을 구하고 그 중심점을 구하는 것으로 이루어진다. 보다 정확한 팔자세의 추정을 위해서 왼쪽 팔을 들었을 때와 내렸을 때, 오른쪽 팔을 들었을 때와 내렸을 때의 4가지 경우와 허리에 손을 얹은 포즈의 경우로 나누어 자세를 추정한다. 그림 6은 4가지 경우의 각각의 팔꿈치 검색 방향을 보여주고 있다.
본 논문에서 제안된 알고리즘은 운영체제 Windows 2000XP 상에서 JAVA, JMF, JAVA 3D를 이용하여 구현되었으며, 실험은 Pentium-IV 1.8GHz인 CPU와 512MB 메모리 사양의 Windows 2000 XP 환경에서 수행되었다. 실험에 사용된 동영상은 Sony 디지털 카메라에서 획득하였다.
그러나 2D 움직임으로 3D 공간에 존재하는 아바타의 동작을 애니메이션하는 것은 매우 부자연스럽다. 본 논문에서는 깊이 정보를 구하는 대신에, 인체의 외형 정보와 연결정보를 이용하여 2-1/2D 움직임을 구한다. 일반적으로 뒤에 있는 인체 부위는 앞에 있는 인체 부위에 의해 가려질 수 있으므로 부위 매칭율이 떨어진다.
본 논문에서는 지난 배경 프레임의 통계적 정보인 표준편차(사)와 평균값(#)을 이용하여 현재의 영상에 대한 차연산을 적용시킴으로써 조명 변화에 강건한 전경 영상의 추출이 가능하다. 우선, 첫 번째 프레임을 배경으로 사용시키므로 통계적 정보를 0으로 초기화한다.
동영상에서의 추적은 각 부위의 정보가 아바타로 전달됨으로써 애니메이션으로 구현된다. 본 논문의 3D 아바타 모델의 동작을 구현하기 위해서, 각 인체 부위 Pt 중 c의 연결 가능한 면을 가진 부위들 - 목, 어깨, 무릎, 팔꿈치, 발목 -의 연결 부분이 회전 가능하여야 한다. 각 연결 부분의 회전을 위해 관절 회전값과 깊이 정보 df을 이용하여 3D 회전을 수행함으로써 각 구성요소의 움직임을 표현한다.
본 장에서는 주어진 동영상에서 사람 검출, 대략적인 인체 부위 검출, 팔과 다리의 상세한 인체 부위 검출, 3D 동작을 위한 2-1/2D 움직임 추출 등을 소개한다.
제안하는 구성요소에 기반을 둔 인체 모델은 인체 구성요소의 색상정보, 크기 등의 외형 정보, 유연한 연결정보, 계층적 관계정보 등을 이용한다. 색상정보를 이용하여 인체부위 또는 인체 부위 집합을 검출한 후, 외형정보와 연결정보 등을 이용하여 인체 부위를 조합하여 자세를 추정한다.
여기서 MpJ는 p의 매칭율로 본 논문에서는 거리 측정법을 이용하여 검출된 부위와 모델의 각 구성요소 간의 유사도를 구한다.
본 논문에서는 마커를 부착하지 않고(marker-free), 한 대의 카메라에서 획득한 2D 동영상으로부터 3D 아바타의 동작을 애니메이션 시키는 방법을 제안한다. 우선, 인체의 각 부위를 구성요소로 정의하고 색상정보, 연결정보, 위치정보 등을 포함하는 구성 요소 모델을 이용하여 단일 카메라로부터 획득된 2D 동영상에서 인체의 각 부위를 검출하고 동작을 추적한다. 검출된 부위는 역시 구성요소로 이루어진 3D 아바타의 각 구성요소에 매칭될 것이다.
정확한 인체 자세 추정을 위한 전단계로서 색과 같은 외형 정보와 신체 비율, 인체의 위치와 같은 기하 정보와 연결 정보를 조합하여 머리, 몸통, 왼쪽과 오른쪽 팔, 왼쪽 다리, 오른쪽 다리로 이루어진 대략적인 인체 부위를 검출한다. 이 단계에서 추적된 인체의 움직임은 이전 프레임과 다음 프레임에서의 인체의 움직임의 연결 관계를 반영하고 있지 않기 때문에 추적된 움직임이 불완전하고 오차를 포함하고 있다.
중에서도 가장 피부색이 조밀하다는 외형 정보 와 몸통과 가장 가깝다는 연결 정보를 이용해 검출한다. 몸통은 후보 영역 중에서 위치적으로 상위에 위치하고 면적이 조건 이상이라는 점을 이용해 검 출한다.
상하관계로 표현된 인체 모델은 일반-상세(coa- rse-to-fme) 탐색법에 의한 매칭을 적용한다. 즉, 팔(arm)을 먼저 찾은 후, 팔의 영역 안에서 왼쪽/ 오른쪽 팔을 정하고 팔의 상단(LUarm/RUarm)과 하단(LLarm/RLarm) 등의 순서로 탐색을 수행한다.
대상 데이터
8GHz인 CPU와 512MB 메모리 사양의 Windows 2000 XP 환경에서 수행되었다. 실험에 사용된 동영상은 Sony 디지털 카메라에서 획득하였다.
이론/모형
상하관계로 표현된 인체 모델은 일반-상세(coa- rse-to-fme) 탐색법에 의한 매칭을 적용한다. 즉, 팔(arm)을 먼저 찾은 후, 팔의 영역 안에서 왼쪽/ 오른쪽 팔을 정하고 팔의 상단(LUarm/RUarm)과 하단(LLarm/RLarm) 등의 순서로 탐색을 수행한다.
제안된 인체추적 알고리즘의 성능을 평가하기 위해서 추적민감도와 추적정확도로 구성된 ROC (Receiver Operating Characteristics)를 이용하였다. 추적민감도는 사람이 모델에 의해 옳게 추적될 확률을 의미하고, 추적정확도는 추적된 모델이 사람일 확률을 의미한다.
성능/효과
그림 8은 인체의 각 구성요소인 머리, 몸통, 양 팔, 양 다리를 추적한 ROC 그래프를 보여준다. 각 구성요소 중 머리는 100%, 몸통은 99%, 양팔은 91%, 양다리는 95%의 추적율을 보이며, 전체적으로 90%의 추적율을 얻었다. 모델이 체계화되지 않는 초기에는 그래프의 기복이 심했지만, 처리된 프레임 수가 늘어남에 따라 모델이 체계화되어 추적율이 꾸준히 증가하는 결과를 나타냈다.
본 논문에서 제안하는 구성요소에 기반한 사람 동작 추적을 통한 실시간 애니메이션 구현은 마커를 부착하지 않고 동영상의 주어진 정보만으로 관절의 움직임까지 추적하였다는데 의의를 가질 수 있다. 색상 정보를 이용하여 각 부위를 검출할 때, 겹치는 부위들은 구성요소 모델을 이용하여 분리되므로 동작 추적에 있어서의 성공률을 늘릴 수 있었다.
본 논문에서 제안하는 구성요소에 기반한 사람 동작 추적을 통한 실시간 애니메이션 구현은 마커를 부착하지 않고 동영상의 주어진 정보만으로 관절의 움직임까지 추적하였다는데 의의를 가질 수 있다. 색상 정보를 이용하여 각 부위를 검출할 때, 겹치는 부위들은 구성요소 모델을 이용하여 분리되므로 동작 추적에 있어서의 성공률을 늘릴 수 있었다.
후속연구
그러나 제안된 방법은 10개의 구성요소로 표현된 인체 부위 모두를 추적하였으며, 손과 발보다 복잡한 팔과 다리를 상단과 하단으로 나누어 추적하였다. 또한 제안하는 방식은 회전에 의한 모양 및 크기 변형, 겹침에 의한 변형 등을 모두 포함하고 있으므로 보다 유연하게 추적한다고 할 수 있다.
구성요소에 기반을 둔 방법은 겹침 등으로 인하여 부분적으로 왜곡되어 모든 구성요소가 명확하게 검출되지 못하여도 적당한 인체 자세를 추정할 수 있다. 앞으로 할 일은 깊이 정보를 구하기 위해 구성 요소의 위치 관계에 의해 전/후가 결정하는 대신에, 구성요소의 크기 변화 등을 이용하여 깊이 정보를 보다 정교화 시키는 것이다. 이는 아바타의 동작을 보다 사실적으로 표현하는데 도움을 줄 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.