[논문]분위 회귀 분석을 이용한 비디오로부터의 3차원 인체 복원

한지수; 박인규

doi:10.5909/jbe.2019.24.2.264

분위 회귀 분석을 이용한 비디오로부터의 3차원 인체 복원
3D Human Reconstruction from Video using Quantile Regression 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.2, 2019년, pp.264 - 272

한지수 (인하대학교 정보통신공학과) , 박인규 (인하대학교 정보통신공학과)

초록
AI-Helper

본 논문은 비디오로부터 추출한 프레임으로부터 3차원 인체 형상과 자세 복원을 수행하고 이를 시간 축에서 자연스럽고 부드러운 움직임을 나타내도록 보정하는 기법을 제안한다. 제안하는 기법은 우선 비디오로부터 추출한 개별 프레임으로부터 convolutional neural network을 이용하여 관절의 위치와 인체의 윤곽을 추정한다. 인체의 형상 및 자세는 매개변수 기반의 3차원 변형가능 모델(morphable model)을 2차원 영상으로 투영후 정합하여 최적의 매개변수 값을 추정한다. 이 때 각 프레임에 대한 복원이 개별적으로 수행되면 시간 축에서 자세의 연속성과 체형의 일관성이 보장되지 못하고 올바르지 못한 복원 결과가 나타난다. 제안하는 기법은 이러한 문제점을 보완하기 위하여 각 프레임으로부터 복원된 3차원 변형가능 모델의 주성분 매개변수의 분석 및 보간을 수행한다. 실험결과 3차원 인체 복원에 오류가 발생한 프레임에 대해 이전과 이후 프레임들 사이의 관계를 통해 오류가 보정되어 개선된 복원 결과를 얻을 수 있음을 보인다.

Abstract ▼ AI-Helper

In this paper, we propose a 3D human body reconstruction and refinement method from the frames extracted from a video to obtain natural and smooth motion in temporal domain. Individual frames extracted from the video are fed into convolutional neural network to estimate the location of the joint and the silhouette of the human body. This is done by projecting the parameter-based 3D deformable model to 2D image and by estimating the value of the optimal parameters. If the reconstruction process for each frame is performed independently, temporal consistency of human pose and shape cannot be guaranteed, yielding an inaccurate result. To alleviate this problem, the proposed method analyzes and interpolates the principal component parameters of the 3D morphable model reconstructed from each individual frame. Experimental result shows that the erroneous frames are corrected and refined by utilizing the relation between the previous and the next frames to obtain the improved 3D human reconstruction result.

주제어

표/그림 (7)

그림 그림 1. 비디오로부터의 3차원 인체 복원 파이프라인 Fig. 1. Pipeline of 3D human reconstruction from video
그림 그림 2. 단일 영상에 대한 3차원 인체 복원 Fig. 2. 3D human reconstruction from single image
그림 그림 3. 자세 매개변수에 대한 분위 회귀 분석 Fig. 3. Quantile regression for pose parameters
표 표 1. 기존의 기법과 제안하는 기법의 3차원 관절 위치 비교 Table 1. 3D joints distance between existing technique and proposed technique
표 표 2. 입력 영상에 대한 오류 프레임 검출 비율 Table 2. Error frame detection rate for input video
그림 그림 4. 비디오로부터 추출한 연속적인 입력 프레임 영상과 복원된 움직임을 갖는 3차원 인체 모델 Fig. 4. 3D human body reconstruction results with continuous input frame image and motion extracted from video in order
그림 그림 5. 오류 프레임에 대한 3차원 인체 움직임 복원 결과. 위로부터 입력영상, 오류 프레임이 포함된 3차원 인체 복원 영상(중앙 3번째 프레임), 제시된 기법으로 움직임 보정된 복원 영상 Fig 5. 3D Human motion reconstruction result on error frame. From up to down: input, 3D reconstruction including error frame, motion compensated result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 기존의 문제를 해결하기 위해 비디오로부터 추출된 각 프레임의 적용된 복원 결과를 분위회귀분석 기법을 적용하여 오류 프레임을 검출 및 보정하 여 자연스러운 체형 및 자세를 나타내도록 하는 기법을 제안한다. 본 논문의 초기 연구 결과는 [4]에 제시되었다.

가설 설정

비디오로부터 3차원 복원된 인체 모델들의 자세 매개변수 값에 적용된 회귀 분석 결과는 그림 3에서와 같이 곡선으로 나타나며 임계값을 설정하여 이상점을 제거하고 제거 된 이상점을 곡선상의 근사값으로 대체하여 y값을 예측된 자세 매개변수 값으로 가정한다. 이러한 접근 방식은 각 프레임 사이의 자세 매개변수 간의 연속성을 유지하고 인체 자세 변형 및 초기 복원 오류로 인한 분위별 오차를 줄여줌으로써 기존의 접근 방식인 단순히 제거된 오류 프레임의 매개변수 값을 이전 프레임과 이후 프레임 값의 보간 및 평균 값을 적용하는 것에 비해 자연스러운 움직임을 갖는 결과를 확인할 수 있다.

제안 방법

Ⅴ. 결 론
본 논문에서는 매개변수 기반 3차원 인체 복원 기법을비디오로 확장하여 기존의 단일 영상 기반의 기법을 적용하였을 때 체형의 일관성과 자세의 연속성을 침해하는 문제를 해결하는 보정 기법을 제시하였다. 비디오로부터 추출한 영상에 단일 영상으로부터의 복원 기법을 적용하고 이상점 검출과 분위 회귀 분석을 이용하여 오류 프레임을 검출하고 보정한다.
도출된 목적 함수는 등록된 메쉬와 학습된 데이터로부터 생성된 모델 간의 차이를 없애고 정렬된 메쉬 정보와 최적화된 데이터를 기반으로 통일화 된 모델의 변형을 공식화한다. 공식화된 모델의 매개변수 값을 변형하여 다양한 체형과 자연스러운 자세변화 를 나타낼 수 있도록 하였다.
즉, 인체의 전체적인 비율을 정의하 기 위해 어깨와 골반의 관절 위치 정보를 적용하며 이러한 과정에서 대략적인 체형이 복원된다. 그러나 관절로부터 복원된 형상 모델은 세부적인 형상 차이를 재현하지 못하 는 한계가 있으며 본 논문에서는 윤곽 정보를 이용하여 이 것을 보완한다. 윤곽 정보는 바운딩 박스에 의해 객체를 추 정하는 기존의 방식을 마스크로 표현하는 Mask R-CNN 기법을 통해 얻는다.
이용한 실험 영상으로는 26 개의 유튜브 비디오로 구성된 SHPED (Stereo human pose estimation) 데이터셋을 사용하였다^[11]. 복원 결과를 정량적으로 비교하기 위해 입력 영상의 대상에 대하여 3차원 변형 모델을 이용하여 수동으로 예측 모델을 생성하고 본 논문 에서 제안한 기법을 수행한 복원 결과와 기존의 기법인 SMPLify 기법으로부터의 복원 결과, 오류 프레임 검출 및 보간 기법 적용한 결과와의 3차원 관절 위치의 거리를 비교 하였다. 해당 결과는 표 1에서와 같이 기존의 기법에 비해 낮은 오차를 보이고 있다.
본 논문에서 사용한 매개변수 모델은 23개의 관절에 의해 변형되며 14개의 주요 관절의 움직임에 의해 자세가 결정된다. 이러한 모델링 방식은 기존의 꼭지점과 골격 구조를 관계시키는 방식의 사실성이 떨어진다는 문제점을 해결하기 위해 자세의 변화를 각 관절들의 회전 행렬 요소들에 의해 자세의 변화를 각 관절들의 회전 행렬 요소들에 의한 선형 함수로 공식화하였다.
본 논문에서 제안하는 기법은 비디오로부터 추출한 전체 프레임에 대해 개별 2차원 영상에서 독립적으로 3차원 인체 복원을 수행하는 단계와 복원된 모델의 매개변수로부터 이상점 검출과 회귀분석을 이용하여 체형 및 자세를 보정하는 두 단계로 구성된다. 그림 1은 비디오 로부터 추출한 프레임의 인체 복원에 대한 파이프라인을 제시한다.
단일 영상으로부터의 3차원 인체 복원은 오랜 기간 연구가 되어 왔지만 비디오와 같은 연속적인 영상에 적용한 경우 인체 부위의 가려짐에 의한 인체 정보 측정의 어려 움이나 복잡한 자세에 의한 3차원 자세 복원의 어려움과 같은 한계가 있다. 본 논문은 비디오로부터 추출한 다중 영상에 인체 복원을 수행하고 매개변수 결과에 이상점 검 출 및 분위회귀분석 기법을 적용하여 일관성 및 연속성을 유지하여 현실에 가까운 모습을 재현하는 기법을 제안한 다. 단일 대상에 대한 복원의 경우 체형 매개변수는 시간 의 흐름에 따라 체형의 변화가 없는 일관성을 유지한다.
본 논문에서 사용한 매개변수 모델은 23개의 관절에 의해 변형되며 14개의 주요 관절의 움직임에 의해 자세가 결정된다. 이러한 모델링 방식은 기존의 꼭지점과 골격 구조를 관계시키는 방식의 사실성이 떨어진다는 문제점을 해결하기 위해 자세의 변화를 각 관절들의 회전 행렬 요소들에 의해 자세의 변화를 각 관절들의 회전 행렬 요소들에 의한 선형 함수로 공식화하였다. 도출된 목적 함수는 등록된 메쉬와 학습된 데이터로부터 생성된 모델 간의 차이를 없애고 정렬된 메쉬 정보와 최적화된 데이터를 기반으로 통일화 된 모델의 변형을 공식화한다.
2차원 영상으로부터의 3차원 인체 복원은 인체의 정보를 추출하여 매개변수 기반 모델과의 정합을 통해 수행된다. 인체의 자세정보는 Fast R-CNN^[2]을 사용하여 2차원 영상으로부터 손, 발과 같은 부위를 제외한 전체적인 자세의 변형을 나타내는 13개의 주요 부위를 추정하고 이를 그룹화하여 관절의 위치를 측정한다. 측정된 관절 위치 정보는 3차원 모델로부터 2차원으로 투영된 관절 위치 사이의 오차를 줄이는 목적함수를 최적화하는 과정을 통해 이루어진다.
이는 표 2에서 실제 오류 프레임 수에 대한 측정 오류 프레임 수의 비율을 확인할 수 있다. 입력 100개의 프레임 중 23개의 오류 프레임에 Kalman filter를 적용하여 이상치를 검출하는 기존 기법^[4]과 본 논문에서 제시하는 매개변수 분석을 통하여 이상점을 검출하는 기법을 비교하였다. 그 결과 기존 기법이 오류 프레임 검출에 보다 민감하게 반응하지만 잘못 측정되는 경우가 많은 것을 확인할 수 있다.
측정된 관절의 정보는 2차원 평면 상의 정보이며 깊이를 추정하기 위해서는 매개변수 모델의 어깨와 골반 사이의 거리를 통해 상체 길이와 측정된 관절 위치에 따른 유사한 삼각 비율에 의해 관절의 깊이 정보가 추정된다. 측정된 매개변수 값은 회전 반경에 대해 Rodrigues 공식을 적용하 고 회전 값으로 변환되어 3차원 변형 가능 인체 모델을 변형한다.

대상 데이터

Ⅳ. 실험 결과
본 논문은 Intel i7-7700 3.6GHz CPU와 NVIDIA Ge- Force GTX 1080 Ti를 장착한 개인용 컴퓨터에서 실험을 수행하였다. 단일 영상에서 3차원 복원은 약 4분의 수행시간이 소요되었고 다중 영상을 이용한 모델 보정은 평균 30 초의 수행 시간이 소요되었다.
단일 영상에서 3차원 복원은 약 4분의 수행시간이 소요되었고 다중 영상을 이용한 모델 보정은 평균 30 초의 수행 시간이 소요되었다. 이용한 실험 영상으로는 26 개의 유튜브 비디오로 구성된 SHPED (Stereo human pose estimation) 데이터셋을 사용하였다^[11]. 복원 결과를 정량적으로 비교하기 위해 입력 영상의 대상에 대하여 3차원 변형 모델을 이용하여 수동으로 예측 모델을 생성하고 본 논문 에서 제안한 기법을 수행한 복원 결과와 기존의 기법인 SMPLify 기법으로부터의 복원 결과, 오류 프레임 검출 및 보간 기법 적용한 결과와의 3차원 관절 위치의 거리를 비교 하였다.

데이터처리

본 논문에서는 매개변수 기반 3차원 인체 복원 기법을비디오로 확장하여 기존의 단일 영상 기반의 기법을 적용하였을 때 체형의 일관성과 자세의 연속성을 침해하는 문제를 해결하는 보정 기법을 제시하였다. 비디오로부터 추출한 영상에 단일 영상으로부터의 복원 기법을 적용하고 이상점 검출과 분위 회귀 분석을 이용하여 오류 프레임을 검출하고 보정한다. 이러한 접근 방식은 현실에 가까운 자연스럽고 정확한 인체를 복원할 수 있다.
인체의 주요 관절들은 움직임에 따라 일정한 패턴을 보이며 변화하고 시간의 흐름에 따라 자세 매개변수 값의 변화로 표현된다. 측정 대상의 움직임에 의해 변화하는 인체 관절들의 자세 매개변수 값을 통계적으로 분석하기 위해 회귀 분석을 적용한다. 하지만 인체의 움직임은 항상 일정한 움직임만을 나타내지 않고 동적인 움직임의 변화를 반영하기 위하여 전체 프레임으로부터 복원된 각각의 자세 매개변수 데이터에 대한 분위 회귀 분석을 적용한다^[10].

이론/모형

그러나 관절로부터 복원된 형상 모델은 세부적인 형상 차이를 재현하지 못하 는 한계가 있으며 본 논문에서는 윤곽 정보를 이용하여 이 것을 보완한다. 윤곽 정보는 바운딩 박스에 의해 객체를 추 정하는 기존의 방식을 마스크로 표현하는 Mask R-CNN 기법을 통해 얻는다.
측정된 윤곽 정보는 자 세가 복원된 3차원 모델로부터 추출된 마스크와 정합하여 최적의 체형 매개변수를 찾게 된다. 최적의 값을 찾기 위해 두개의 확률 분포 사이의 최소 비용을 계산하는 EMD 공식 을 적용하여 2차원과 3차원의 윤곽 정보 비교 값을 도출하 고 Levenberg-Marquardt (LM) 함수 최적화 기법을 적용하 여 적합한 체형 매개변수를 값을 도출한다. 그림 2는 2차원 영상으로부터 측정한 자세와 체형 매개변수 최적화 기법을 적용하여 단일 영상으로부터 3차원 인체 복원을 수행한 결과이다.

성능/효과

이러한 접근 방식은 이전 프레임과 현재 프레임을 이용하여 현재 프레임의 오차 여부를 판단하는 기존의 방법에 비해 전체 프레임에 대하여 분석을 수행함에 따라 정확한 결과를 확인할 수 있다. 그 결과 분석을 통하여 오류 프레임을 보정하고 부자연스러운 인체의 변화를 나타내는 문제점을 해결하여 3차원 인체가 현실에 가까운 체형을 나타내고 자연스러운 움직임을 나타낼 수 있도록 한다.
6GHz CPU와 NVIDIA Ge- Force GTX 1080 Ti를 장착한 개인용 컴퓨터에서 실험을 수행하였다. 단일 영상에서 3차원 복원은 약 4분의 수행시간이 소요되었고 다중 영상을 이용한 모델 보정은 평균 30 초의 수행 시간이 소요되었다. 이용한 실험 영상으로는 26 개의 유튜브 비디오로 구성된 SHPED (Stereo human pose estimation) 데이터셋을 사용하였다^[11].
그 결과 기존 기법이 오류 프레임 검출에 보다 민감하게 반응하지만 잘못 측정되는 경우가 많은 것을 확인할 수 있다. 또한 실제 오류 프레임에 대하여 새롭게 제시하는 기법이 이전 기법에 비해 정확한 측정 결과를 나타내는 것을 확인할 수 있다. 하지만 두가지 기법 모두 연속적인 오류 프레임에 대하여 참값으로 인식하여 오류 프레임 검출에 실패함에 따라 실제 오류 프레임에 대한 측정 비율이 떨어지는 것을 확인할 수 있다.
해당 결과는 표 1에서와 같이 기존의 기법에 비해 낮은 오차를 보이고 있다. 또한 영상 3의 5번 프레임과 12 번 프레임의 경우 기존 기법을 적용하였을 때와 비교하였을 때 제안하는 기법은 분위 회귀 모델로부터 매개변수 값을 예측하여 현저히 낮은 오차를 갖는 것을 알 수 있다. 이러한 결과는 단편적인 오류 프레임으로 인해 3차원 모델의 움직임의 부자연스러움을 쉽게 보정 및 검출할 수 있는 것을 나타낸다.
비디오로부터 3차원 복원된 인체 모델들의 자세 매개변수 값에 적용된 회귀 분석 결과는 그림 3에서와 같이 곡선으로 나타나며 임계값을 설정하여 이상점을 제거하고 제거 된 이상점을 곡선상의 근사값으로 대체하여 y값을 예측된 자세 매개변수 값으로 가정한다. 이러한 접근 방식은 각 프레임 사이의 자세 매개변수 간의 연속성을 유지하고 인체 자세 변형 및 초기 복원 오류로 인한 분위별 오차를 줄여줌으로써 기존의 접근 방식인 단순히 제거된 오류 프레임의 매개변수 값을 이전 프레임과 이후 프레임 값의 보간 및 평균 값을 적용하는 것에 비해 자연스러운 움직임을 갖는 결과를 확인할 수 있다. 하지만 이러한 회귀 분석의 접근 방식은 연속적인 오류를 갖는 프레임의 복원 결과 매개변수 값을 참값으로 인식하는 문제점과 복원 결과가 입력 프레임의 수에 영향을 받는 한계가 있다.
분위 회계 분석 기법은 전체 프레임의 복원 데이터를 구간별로 나누어 분석이 가능하여 자세변화에 보다 정밀하게 보정이 가능하다. 이러한 접근 방식은 이전 프레임과 현재 프레임을 이용하여 현재 프레임의 오차 여부를 판단하는 기존의 방법에 비해 전체 프레임에 대하여 분석을 수행함에 따라 정확한 결과를 확인할 수 있다. 그 결과 분석을 통하여 오류 프레임을 보정하고 부자연스러운 인체의 변화를 나타내는 문제점을 해결하여 3차원 인체가 현실에 가까운 체형을 나타내고 자연스러운 움직임을 나타낼 수 있도록 한다.
또한 실제 오류 프레임에 대하여 새롭게 제시하는 기법이 이전 기법에 비해 정확한 측정 결과를 나타내는 것을 확인할 수 있다. 하지만 두가지 기법 모두 연속적인 오류 프레임에 대하여 참값으로 인식하여 오류 프레임 검출에 실패함에 따라 실제 오류 프레임에 대한 측정 비율이 떨어지는 것을 확인할 수 있다.

후속연구

또한 전체 프레임에 대해 복원을 수행함에 따라 실시간 재생이 불가능하다는 한계가 있다. 이러한 한계점은 각 프레임에 대한 단일 영상 복원의 발전 및 짧은 프레임 간의 보정 기법에 의해 해결 가능할 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	현실의 인체가 갖는 특징은?	본 논문의 초기 연구 결과는 [4]에 제시되었다. 현실의 인체는 시간의 흐름에 따라 체형은 동일하며 자세는 움직임을 나타내는 일관성과 연속성을 갖는다. 비디오로부 터 추출한 다중 프레임의 인체 복원결과에 대하여 각 프레임 사이의 자연스러운 변화를 나타내기 위하여 각 프레임으로부터 복원된 매개변수 값의 분석이 필요하다.
	각 프레임에 대한 복원이 개별적으로 수행되면 어떤 결과가 나타나는가?	인체의 형상 및 자세는 매개변수 기반의 3차원 변형가능 모델(morphable model)을 2차원 영상으로 투영후 정합하여 최적의 매개변수 값을 추정한다. 이 때 각 프레임에 대한 복원이 개별적으로 수행되면 시간 축에서 자세의 연속성과 체형의 일관성이 보장되지 못하고 올바르지 못한 복원 결과가 나타난다. 제안하는 기법은 이러한 문제점을 보완하기 위하여 각 프레임으로부터 복원된 3차원 변형가능 모델의 주성분 매개변수의 분석 및 보간을 수행한다.
	제안된 기법이 올바르지 못한 복원 결과를 나타내는 문제점을 보완하기 위해 어떤 방법을 사용하는가?	이 때 각 프레임에 대한 복원이 개별적으로 수행되면 시간 축에서 자세의 연속성과 체형의 일관성이 보장되지 못하고 올바르지 못한 복원 결과가 나타난다. 제안하는 기법은 이러한 문제점을 보완하기 위하여 각 프레임으로부터 복원된 3차원 변형가능 모델의 주성분 매개변수의 분석 및 보간을 수행한다. 실험결과 3차원 인체 복원에 오류가 발생한 프레임에 대해 이전과 이후 프레임들 사이의 관계를 통해 오류가 보정되어 개선된 복원 결과를 얻을 수 있음을 보인다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증