선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 통상적으로는 블럽 해석을 하게 되면 2차원 영역 해석과 관련되는 연산이 많게 되어 외곽선을 해석하는 경우보다 많은 계산량이 필요하지만, 본연구에서는 단계적인 후보 블럽 선별 작업을 할 수 있는 방법을 개발함으로써 실시간 처리가 가능하도록 하였다.
가설 설정
- 움직임 예측을 위한 기본 가정으로 영상에서 얻은 특징의 데이터는 조명 조건, 동작자의 자세, 픽셀 연산의 오차 등으로 인해 잡음이 포함되어 있다고 간주한다. 이러한 환경에서 인체 영역의 움직임을 추적하기 위해 칼만 필터 (Kalman filter) 를 이용한다.
제안 방법
- 3차원 공간에서 움직이는 인체 부위가 2차원 영상에 투영되었을 때 발생하는 다양한 경우, 예를 들면 유사한 영역들이 인접하게 위치하거나 또는 다른 인체 영역으로 인해 특정 인체 영역이 영상에서 사라지거나, 서로간에 겹치는 경우에 대해서도 올바르게 3차원 정합을 할 수 있는 방법을 개발하였다.
- 각 신체 끝점을 감싸는 MBR(최소 외접사각형)의가로 길이와 세로 길이의 비, 각 신체 부위의 크기, MBR 에 대한 신체 부위 크기 비율과 같이 세 가지 요소로 정의하였다. (그림 4)에서 보는 바와 같이 형태 모델은 검출 대상 신체 부위의 대략적인 형태를 나타내도록 만들었다.
- 된다. 고안한 방법은 배경과 차이가 있는 동작자 후보 화소만 변환하여 soft shadow 를 제거할 수 있는 방법이므로 고속 처리가 가능하다.
- 시 . 공간적 매칭을 수행하여 3차원 좌표를 복원하고 이들 신체 끝점들을 추적하는 모듈과역운동학을 이용하여 신체 끝점들과 루트의 3차원 좌표로부터 20개의 관절체로 구성된 인체 모델의 동작 데이터로 복원하는 모듈로 구성된다. 그리고, 이들 3개의 모듈을 동기화 시키고 파이프라인 처리가 가능하도록 하는 동기화 모듈이 전체 시스템을 제어한다.
- 이를 위해, 시 . 공간적 해석법 (spatio-temporal analysis) 을 제안한다. 공간적 해석법(spatial analysis) 은 시간적 해석법 (temporal analysis) 에서 얻은 인체 부위의 예측 위치와 그루핑된 3차원 인체 영역을 매칭시키는 과정이다.
- 그리고, 조명 변화와 배경 변화에도 강건하게 신체 각 부분을 구분 검출할 수 있도록 신체 검출 및 구분을 위한 환경 적응적 모델을 고안함으로써 환경변화에도 안정적으로 구분 검출할 수 있도록 하였다. 또한, 동작자의 동작에 의해 필연적으로 형성되는 soft shadow 는 동작자 해석에 많은 영향을 주게 되는데, 이들 soft shadow 의 영향을 받지 않고 동작자 영역만을 선별할 수 있도록 soft shadow 실시간 제거 방법도 개발하였다.
- 추출된 특징과 미리 저장된 형태 모델과 유사한 블럽들을 검출하고, 각각의 모델에 대한 특징 공간에서의 거리를 이용하여 검출된 후보에 대한 신뢰도를 추출한다. 그리고, 추출된 신뢰도와 함께 신체 부위 상호간의 거리에 따른 거리 특징을 이용하여 최종적으로 신체 부위를 태깅한다. 이러한 태깅은 3차원 공간상에서의 정합과 추적에서의 정합과 대응에 대한 경우의 수를 줄일 수 있도록 한다.
- 동작자의 동작과 가장 유사한 동작을 생성하는 중간 관절의 위치 생성을 위해, 영상으로부터 복원된 루트(R)와 End-effector (En, n = 1 A 5) 의 3차원 위치정보와 각 관절을 연결하는 세그먼트 길이 정보 (必)를 이용하여 End-effector 들의 축과 활동반경을 따라 중간 관절의 위치를 계산한다.
- 두번째로, 계산된 회전각도와 평면의 법선벡터를 이용하여 중간관절의 3차원 위치를 추정한다. 이를 위해 본 연구에서는 [7], [8]에서 제안한 방식을 이용한다.
- 하였다. 또한, 동작자의 동작에 의해 필연적으로 형성되는 soft shadow 는 동작자 해석에 많은 영향을 주게 되는데, 이들 soft shadow 의 영향을 받지 않고 동작자 영역만을 선별할 수 있도록 soft shadow 실시간 제거 방법도 개발하였다.
- 그리고, 동작자자체 동작에 의해 필연적으로 유실되는 신체 부위에 대해서도 지속적인 추적을 통한 자연스러운 모션 복원이 가능하다. 또한, 초기 동작자 모델 취득 과정에서 확보한 신체 손, 발, 머리의 5개의 신체 끝점과 루트를 이용하여 온라인으로 중간 관절을 추정함으로써 20개의 관절체 모션으로 타당성 있게 복원한다. 현재 개발된 시스템은 동작자의 정확한 동작을 캡처하기 위해 개선해야 하는 사항이 있으나, 현재의 기술로서도 모션 인터페이스로 이용할 수 있으며 실시간 모션 캡처가 가능한 것을 확인하였다.
- 머리, 손, 발 각각을 나타낼 수 있는 대략적인 형태 모델을 정의하였고, 이들에 대한 색 범위, 신체 각 부위 간의 거리에 대한 모델을 정의하였다. 이들 모델은 동작자의 초기 자세에서 한 장의 영상을 취득하여 각 모델을 형성하도록 하였으며 불균일 조명과 동작자의 동작에 따른 신체 부위 형태, 색, 명암 변화에 대처할 수 있도록 각 모델을 위한 가중치 요소 (weighting factor) 를 두었다.
- 본 연구에서 개발한 모션캡처 방법 및 시스템은 실시간 그림자 제거 방법을 제공하고, 불균일 조명과 배경의 일부 변화를 허용한다. 또한, 신체 부위에 대해 정확하게 태깅을 할 수 있다.
- 하였다. 상의(上衣) 형태에 무관하게 인체 부위를 검출하기 위해 손 영역의 길이를 측정하여 각 모델에 대한가중치를 결정한다. 손의 영역이 긴 경우에는 팔의 움직임에 따라 손 영역의 형태 변화가 심하므로 형태 모델에 대한 가중치를 줄이고, 색 모델과 거리 모델에 대한 가중치를 높인다.
- 신체 크기와 복장 상태, 성별이 다른 15명의 동작자남자 11명, 여자 4명)에 대해 모션캡처를 실행하였다. 가로 4m, 세로 4m, 높이 3m 의 캡처 볼륨을 제공하는 실험실에서 수행하였으며, 일반적인 형광등 조명을 활용하였다.
- 이들 모델은 동작자의 초기 자세에서 한 장의 영상을 취득하여 각 모델을 형성하도록 하였으며 불균일 조명과 동작자의 동작에 따른 신체 부위 형태, 색, 명암 변화에 대처할 수 있도록 각 모델을 위한 가중치 요소 (weighting factor) 를 두었다.
- 이를 보정하기 위해 몸의 무게를 지탱하는 주축을 찾아 주축을 이루는 발의 움직임을 강제적으로고정시키는 발의 움직임 구속 (constraint of feet’s movement)' 알고리듬을 제안한다. 두 발이 모두 공중에 있다면 몸의 무게를 지탱하는 주축은 없고, 또한 이 주축에 포함된 발도 없다고 간주한다.
- 이를 위해 기존 연구에서의 실루엣 해석에 의한 인체 동작 영상 분석 방법으로 접근하지 않고, 블럽 (blob) 해석에 의해 신체 각 부위를 구분 검출하고, 이들의 3차원 위치 복원과 모션 구조화의 과정으로인 체 동작을 캡처하는 방법을 개발한다.
- 이와 같이 신체 부위의 대략적인 형태, 색 변화를 수용할 수 있는 색 요소, 신체 부위 간의 거리를 신체 부위 검출과 구분을 위한 모델로 정의함으로써 안정적인 신체 부위 검출과 구분이 가능하도록 하였다. 상의(上衣) 형태에 무관하게 인체 부위를 검출하기 위해 손 영역의 길이를 측정하여 각 모델에 대한가중치를 결정한다.
- 첫번째로, 중간 관절의 위치 데이터를 생성하기 위해 Y축과 벡터 V2 가 이루는 회전각 01과 관절 UME 가 이루는 삼각형에서 관절 UMn 과 U.E. 가 이루는 회전각 02를 계산한다. 회전각。1은 벡터의 내적을 이용하여 계산할 수 있으며 회전각 02는세그먼트 길이와 영상으로부터 계산된 End-effector E, 의 위치를 이용하여 (2)와 같이 구해진다.
- 후보 화소로 검출된 화소 군들에 대해 블럽 레이블링을 수행하고, 이들에 대해 형태 특징을 추출한다. 추출된 특징과 미리 저장된 형태 모델과 유사한 블럽들을 검출하고, 각각의 모델에 대한 특징 공간에서의 거리를 이용하여 검출된 후보에 대한 신뢰도를 추출한다. 그리고, 추출된 신뢰도와 함께 신체 부위 상호간의 거리에 따른 거리 특징을 이용하여 최종적으로 신체 부위를 태깅한다.
- 캡처된 영상에서 머리, 손, 발을 구성하는 블럽을직접 검출함으로써 외곽선 해석에 의한 방법보다 더 다양한 자세에 대해 서로 구분 검출 가능하도록 하였다. 통상적으로는 블럽 해석을 하게 되면 2차원 영역 해석과 관련되는 연산이 많게 되어 외곽선을 해석하는 경우보다 많은 계산량이 필요하지만, 본연구에서는 단계적인 후보 블럽 선별 작업을 할 수 있는 방법을 개발함으로써 실시간 처리가 가능하도록 하였다.
- 그리고, 이들 3개의 모듈을 동기화 시키고 파이프라인 처리가 가능하도록 하는 동기화 모듈이 전체 시스템을 제어한다. 특별한 하드웨어 가속기나 영상처리 라이브러리를 사용하지 않고 시제품을 구현하였으며, PC 에 탑재된 CPU만으로도 실시간 처리가 가능하도록 알고리듬을 개발하였다.
- 후보 화소를 검출하는 과정에서는 soft shadow 제거도 동시에 수행된다. 후보 화소로 검출된 화소 군들에 대해 블럽 레이블링을 수행하고, 이들에 대해 형태 특징을 추출한다. 추출된 특징과 미리 저장된 형태 모델과 유사한 블럽들을 검출하고, 각각의 모델에 대한 특징 공간에서의 거리를 이용하여 검출된 후보에 대한 신뢰도를 추출한다.
대상 데이터
- 가로 4m, 세로 4m, 높이 3m 의 캡처 볼륨을 제공하는 실험실에서 수행하였으며, 일반적인 형광등 조명을 활용하였다.
이론/모형
- 이러한 환경에서 인체 영역의 움직임을 추적하기 위해 칼만 필터 (Kalman filter) 를 이용한다. 칼만 필터는 시간의 흐름에 대해, 역학적 모델과 관측 모델에 잡음이 존재하는 물리적인 시스템의 상태를 예측, 제어하는데 적합하다 [6].
- 이를 위해 본 연구에서는 [7], [8]에서 제안한 방식을 이용한다. (그림 11)에서 회전각。는 팔꿈치의 평면상에 놓여진 원형의 호를 따라 움직인다.
성능/효과
- 또한, 영상에는 손 발 머리가 취득되었지만, 그들을 검출하지 못하는 경우는 없었다. 다만, 조명의 균일성이 매우 취약한 경우에는 초기에 취득된 모델과의 특징 공간에서의 거리가 멀어서 태그를 부여하지 않는 경우가 0.05% 정도로 나타났다. 따라서, 본 연구에서 개발한 신체 부위 검출 및 태깅 방법은 환경 변화에 매우 강인하고 적은 수의 카메라로 다양한 동작을 캡처할 수 있음을 알 수 있다.
- 보여준다. 동작자의 키와 관절의 길이, 특히 세 번째 캐릭터인 멧돼지와 같이 다리가 아주 짧은 경우에도 상관없이 동작은 캐릭터에 실시간으로 잘 매핑됨을 확인할 수 있다.
- 이 작업을 어렵게 만드는 요소는 첫째, 일반적으로는 두 손의 데이터가 서로 바뀌어도 인간의 인체 구조상 표현 가능한 자세가 되기 때문에 올바른 값으로 간주된다. 둘째, 손의 동작 범위는 아주 넓어서 사라짐과 겹침이 빈번히 발생한다. 특히 머리와 손이 겹쳐졌을 때에는 이 영역은 머리 영역으로 인식되기 때문에 손의 위치는 오직 확률적 예측 값으로 계산할 수 밖에 없다.
- 05% 정도로 나타났다. 따라서, 본 연구에서 개발한 신체 부위 검출 및 태깅 방법은 환경 변화에 매우 강인하고 적은 수의 카메라로 다양한 동작을 캡처할 수 있음을 알 수 있다.
- 본 연구에서 개발한 인체 부위 검출 및 태깅 모듈을 실험해 본 결과 99.95%의 태깅 성공률을 보인다. 특히, 다른 신체 부위로 잘못 태깅하는 경우는 없었다.
- 고스트는 영상에 표시하지 않았다. 손 영역의 매칭 후보는 (그림 15d) 와 같이 두 손이 겹쳐진 상태에서도 올바르게그루핑됨을 확인할 수 있고, (그림 15e) 와 같이 두 손의 좌, 우가 엇갈린 상태에서도 추적 알고리듬에 의해 올바르게 추적된 후 그루핑됨을 확인할 수 있다. 특히 (그림 15c~f) 의 경우에는 실제적으로 시스템에서는 얼굴 영역에 대한 추적도 함께 이루어져세 개의 영역이 동시에 겹치게 되어 추출된 인체 영역은 위치 오차를 포함하고 있지만 그루핑된 손 후보 영역들과 추적 알고리듬을 이용해 오류 없이 추적하고 있다.
- 02cm 이다. 인체 영역의 추적 성공률은 99.95%로 나타났다. 이것은 영역들이 서로 겹쳐졌다가 분리되거나 또는 사라진 후 다시 나타나는 동작이 포함된 다양한 동작의 실험에서 계산되었다.
- 또한, 초기 동작자 모델 취득 과정에서 확보한 신체 손, 발, 머리의 5개의 신체 끝점과 루트를 이용하여 온라인으로 중간 관절을 추정함으로써 20개의 관절체 모션으로 타당성 있게 복원한다. 현재 개발된 시스템은 동작자의 정확한 동작을 캡처하기 위해 개선해야 하는 사항이 있으나, 현재의 기술로서도 모션 인터페이스로 이용할 수 있으며 실시간 모션 캡처가 가능한 것을 확인하였다. 또한 앞으로 이 기술을 발전시키면 게임이나 애니메이션 분야와 같은 다양한 멀티미디어 분야에서도 이용 가능할 것이다.
후속연구
- 동작자의 동작에 따라 2차원 영상에 취득되는 신체 부위는 판이하게 달라질 수 있다. 따라서, 대략적인 형태만을 정의하여 유사한 형태를 가지는 화소군을 검출하고, 다른 모델과 융합하여 사용하여 안정적으로 검출하도록 하는 것이 더 현실적인 접근 방법이 될 것이다.
- 현재 개발된 시스템은 동작자의 정확한 동작을 캡처하기 위해 개선해야 하는 사항이 있으나, 현재의 기술로서도 모션 인터페이스로 이용할 수 있으며 실시간 모션 캡처가 가능한 것을 확인하였다. 또한 앞으로 이 기술을 발전시키면 게임이나 애니메이션 분야와 같은 다양한 멀티미디어 분야에서도 이용 가능할 것이다.
- 일반적인 환경에서도 구동 가능한 마커프리 모션 캡처 시스템이 개발된다면, 2007년에 876억 달러 규모로 확대될 전망인 영화, 방송물, 게임 등을 포함한 세계 영상 콘텐츠 시장에서 핵심 요소 기술 역할을 할 것이다. 그리고, 차세대 3D OS 에서 직관적 3D 포인팅 수단으로 활용될 수 있을 것이며, 2004 년에 18, 600만 대가 출고된 PC 시장을 고려하면 3D 인터페이스 기술을 필요로 하는 차세대 OS 에서는 폭발적 수요가 예측된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.