정보화 성장과 함께 인간의 생활도 발전하면서, 정보의 접근이 보다 간편한 시스템들이 개발되고 있다. 본 논문에서는 한대의 카메라를 사용하여 3차원 신발 모델을 발에 정합하는 시스템을 제안한다. 인체 움직임 분석에서 전신 움직임에 대한 연구가 대부분인 것과 달리, 우리는 발의 움직임을 기반으로 한 새로운 움직임 분석 시스템을 제안한다. 본 논문은 시스템이 구현되는 과정과 결과를 설명한다. 3차원 신발모델을 이미지의 발에 투영하기 위해 발 추적, 투영, 자세 추정 과정으로 구성했다. 이 시스템은 2차원 영상 분석과 3차원 자세추정으로 나눠진다. 먼저 발 추적을 위해 발의 형태학적 특성에 따라 특징점을 찾는 방식을 제안한다. 그리고 별도의 영상 교정 없이 한 대의 카메라로 2차원 좌표와 3차원 좌표의 관계를 설정하는 기하학적 수식을 제안한다. 제안한 방법에 따라 응용 시스템을 구현하고 거리 오차를 측정한 결과 거의 유사한 위치로 정합 되는 것을 확인할 수 있었다.
정보화 성장과 함께 인간의 생활도 발전하면서, 정보의 접근이 보다 간편한 시스템들이 개발되고 있다. 본 논문에서는 한대의 카메라를 사용하여 3차원 신발 모델을 발에 정합하는 시스템을 제안한다. 인체 움직임 분석에서 전신 움직임에 대한 연구가 대부분인 것과 달리, 우리는 발의 움직임을 기반으로 한 새로운 움직임 분석 시스템을 제안한다. 본 논문은 시스템이 구현되는 과정과 결과를 설명한다. 3차원 신발모델을 이미지의 발에 투영하기 위해 발 추적, 투영, 자세 추정 과정으로 구성했다. 이 시스템은 2차원 영상 분석과 3차원 자세추정으로 나눠진다. 먼저 발 추적을 위해 발의 형태학적 특성에 따라 특징점을 찾는 방식을 제안한다. 그리고 별도의 영상 교정 없이 한 대의 카메라로 2차원 좌표와 3차원 좌표의 관계를 설정하는 기하학적 수식을 제안한다. 제안한 방법에 따라 응용 시스템을 구현하고 거리 오차를 측정한 결과 거의 유사한 위치로 정합 되는 것을 확인할 수 있었다.
Application systems that easy to access a information have been developed by IT growth and a human life variation. In this paper, we propose a application system to register a 3D footwear model using a monocular camera. In General, a human motion analysis research to body movement. However, this sys...
Application systems that easy to access a information have been developed by IT growth and a human life variation. In this paper, we propose a application system to register a 3D footwear model using a monocular camera. In General, a human motion analysis research to body movement. However, this system research a new method to use a foot movement. This paper present a system process and show experiment results. For projection to 2D foot plane from 3D shoe model data, we construct processes that a foot tracking, a projection expression and pose estimation process. This system divide from a 2D image analysis and a 3D pose estimation. First, for a foot tracking, we propose a method that find fixing point by a foot characteristic, and propose a geometric expression to relate 2D coordinate and 3D coordinate to use a monocular camera without a camera calibration. We make a application system, and measure distance error. Then, we confirmed a registration very well.
Application systems that easy to access a information have been developed by IT growth and a human life variation. In this paper, we propose a application system to register a 3D footwear model using a monocular camera. In General, a human motion analysis research to body movement. However, this system research a new method to use a foot movement. This paper present a system process and show experiment results. For projection to 2D foot plane from 3D shoe model data, we construct processes that a foot tracking, a projection expression and pose estimation process. This system divide from a 2D image analysis and a 3D pose estimation. First, for a foot tracking, we propose a method that find fixing point by a foot characteristic, and propose a geometric expression to relate 2D coordinate and 3D coordinate to use a monocular camera without a camera calibration. We make a application system, and measure distance error. Then, we confirmed a registration very well.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 제안하는 3차원 신발 모델 정합 시스템은 영상에 들어오는 발과 3차원 신발 모델의 데이터가유사하게 정합 되는가에 그 목적을 두고 있다. 3차원모델 정합(Registration)의 정확도를 결정하는 요소는기하학적 수식과 3차원 자세 추정에 의한 좌표 변환이므로 기하학적 수식에 의한 3차원 변환과 자세 추정이완료된 3차원 좌표의 재투영으로 나누어 실험했다.
본 논문에서는 실생활에 사용될 수 있는 응용 시스템으로, 한 대의 카메라를 사용하여 발을 추적하고 3차원정보 취득하여 발 위에 신발을 투영하는 시스템을 제안한다.
본 논문에서는 정보 통신의 발달 양상에 대응할 수있는 개별화 된 인터페이스의 개발을 목적으로 사용자가 직접 신발을 신지 않고도 시착(Visual Fitting)# 수있는 3차원 신발모델 정합 시스템을 제안하고 구현하였다.
대한 가정이 필요하다. 본 논문의 시스템은구매자가 상점에서 신발을 구입할 때 무릎 아래로만 보이도록 한 대의 카메라를 정면에 설치하고 별도의 디스플레이를 통해 구매자의 발에 직접 3차원 신발을 증강 (Augmentation)하여 마치 신발을 직접 신은 듯한 효과를 내고자 한다. 전체적인 시스템 구성 환경은 그림 1 과 같다.
가설 설정
영상에서 발 객체를 쉽게 검출하기 위해 발의 안쪽 면이 보이는 방향을 첫 위치로 지정하였다. 실험 영상에서 사용자의 발은 항상 바닥에 붙어있으며, 매 프레임마다 발이 바닥에 붙도록 하여 큰 움직임 없이 이동한다는 조건하에 실험했다.
제안 방법
생성된 실루엣은 발의 형태학적 특징과 움직임에 따라 발의 골격과 관절 포인트를 찾고 그것들의 2차원 이동 정보를 계산한다. 2차원 이동 정보를 기하학적 수식에 적용하여 3차원 좌표를 계산한다.
실시간 여부를 결정하려면, 발을 추적하고 정합 (Registration)-g: 하는 과정까지 데이터 처리량과 시간대비 하드웨어 성능에 대한 고려가 중요하다. 3차원 데이터를 취득하는 방법과 가려지는 영역(Osclusion)이나시차(Depth) 정보 등의 문제점에 대한 보완책에 따라 카메라 개수를 결정한다. 그리고 마커의 사용 여부는 시스템 구현 목적에 따라 결정된다.
3차원모델 정합(Registration)의 정확도를 결정하는 요소는기하학적 수식과 3차원 자세 추정에 의한 좌표 변환이므로 기하학적 수식에 의한 3차원 변환과 자세 추정이완료된 3차원 좌표의 재투영으로 나누어 실험했다.
골격화는 실루엣으로부터 영역 내부에 서로 교차되는 지점을 계산해 내는 방식이다. 골격에 대해 라인 피팅을 수행하여 골격의 기울기를 계산한다. 골격의 기울기는 실루엣 라인을 그림 4에서 보는바와 같이 외곽 라인을 생성하는 기준이 된다.
측정했다. 그러나 실제 표면 측정이 어려운 발로정확도를 측정하는데 문제점이 많다는 것을 감안, 실제사이즈가 측정 가능한 직육면체 모델을 사용하였다.
기하학적 수식에 의해 계산 되어진 3차원 좌표값을가지고 발의 자세를 추정 (Pose Estimation) 한다. 자세추정에 앞서 3차원 신발모델은 3D Tool(3D Max, Maya 등)에 의해 미리 만들어진 데이터이다.
또한 골격의 이동정보를 알아내기 위해 이전 프레임과 현재 프레임 간의 3차원 차이 값을 계산하고, 카메라에 들어오는 발의 골격선과 신발 모델의 골격선에 대한 비율을 구한다.
2차원 영상분석에서 발을 검출하기 위한 첫 단계로 배경영상을 제거 (Background Subtraction)한다. 배경이 제거 된 영상은조명이나 그림자, 반사 등에 영향을 받아 적게는 배경의 잡음으로, 크게는 객체에 구멍이 생기는데, 이러한문제를 보완하기 위해 모폴로지 (Morphology)연산을 수행한다. 이렇게 찾아낸 움직임 객체에서 발 이라는 것을 구체화 하기위해 미리 지정한 발의 색상인 흰색만을찾아 발 색상 영역을 검출하고 실루엣을 생성한다.
그러나지면을 기준으로 3차원 위치값을 취득하기 때문에, 카메라에 투영될 수 있는 유효한 실제 영역의 제한이 크다回. 본 논문에서 제안한 수식은 발의 정면에 카메라를 설치하여 위치를 추정하는 것으로 계산 방법이 쉬운것과 더불어 지면과 같은 기준평면이 필요 없다.
본 논문의 시스템은 발의 움직임을 찾는 2차원 영상분석과 발의 자세를 추정하는 3차원 모델 정합으로 구분된다. 시스템의 Flow Chart는 그림 2와 같다.
본 논문의 시스템은 한 대의 카메라를 가지고별도의 영상 교정 없이 2차원 좌표와 3차원 좌표를 서로 대응시키는 기하학적 수식을 사용한다. 기하학적 수식을 구성하기 위해서는 최소 개수의 실제측정 파라미터를 알고 있어야 한다.
시스템 구현에 앞서 실제 상점에서 사용할 수 있는최소 환경을 설정하고, 환경에 맞게 인체 움직임 분석기술을 적용하여 전체적인 시스템을 구성하였다. 추적대상인 발이 특징점이 없는 점을 보완하기 위해 실루엣을 기반으로 골격선과 관절점을 검출, 추적하였고 본논문에서 제안하는 기하학적 수식으로 자세 추정과 함께 3차원 신발 모델이 재투영 되는 모습을 실험 결과로확인할 수 있었다.
갱신한다. 신발 모델의 평균 중심점을 찾아 중심점을 원점으로 이동하고, 실제 발의 골격선과 신발 모델의 골격선 사이의 비율에 의해 크기를 조정한다. 앞서 계산한 관절 회전각으로 자세를 변경하고 골격의 이동 정보에 의해 실제 위치로 이동 시킨다.
실루엣의 중심선을 찾기 위해 골격화를 우선 수행하여 골격을 생성한다. 골격화는 실루엣으로부터 영역 내부에 서로 교차되는 지점을 계산해 내는 방식이다.
지정했다. 영상에서 발 객체를 쉽게 검출하기 위해 발의 안쪽 면이 보이는 방향을 첫 위치로 지정하였다. 실험 영상에서 사용자의 발은 항상 바닥에 붙어있으며, 매 프레임마다 발이 바닥에 붙도록 하여 큰 움직임 없이 이동한다는 조건하에 실험했다.
이렇게 계산해 낸 자세 정보에 맞춰 원점이동, 크기 (Scale), 회전(Rotation), 이동(Transformation)의 순서로 변경하면서 신발 모델을 실제 발에 맞게 갱신한다. 신발 모델의 평균 중심점을 찾아 중심점을 원점으로 이동하고, 실제 발의 골격선과 신발 모델의 골격선 사이의 비율에 의해 크기를 조정한다.
찾고 추적하는 것이 중요하다. 인체 움직임분석(Human Motion Analysis)에서도 인체의 움직임을추적하기 위해 먼저 특징점을 추출하고 매 프레임 마다그것에 대응되는 특징점을 추적한다. 인체 움직임을 추적하기 위한 방법에는 크게 4가지가 있는데, 인체 모델기반 (Human Model-based) 추적 방법이나, 광류 (Optical Flow), 실루엣(Silhouette)기반 추적 방법, 인체의 역운동학(Inverse Kinematics) 추정 방법 등이 있다.
일반적으로 배경에서 인체를 검출할 때에는 인체의고유 색상인 피부 색상(Skin color)을 사용하여 영역을구분하지만, 본 논문에서는 피부 색상이 조명이나 그림자 등의 여러 변화요소에 의한 방해에 민감하다는 문제점을 최소화하기 위해 어떤 변화에도 강건하도록 배경을 파란색 (Blue Screen) 그리고 발을 흰색 (White Object)으로 색상을 지정하였다”].
직육면체 모델을 사용하여 정확도 측정이 완료된 시스템에 실제 발을 이용하여 정합의 정도를 시뮬레이션하고 그 결과를 가시적으로 확인했다. 실제 실험 환경은 그림 10과 같다.
직육면체 실험 영상은 해상도 800X 533으로 촬영된 정지영상(Still Image)으로 발과 유사한 동작에서 정확도를측정하기 위해 좌우 회전, 좌우 이동 연속 영상으로 나누어 실험하였다.
찾아낸 골격선들 간의 서로 만나는 지점에서 꺾어지는 정도와 발의 형태학적 비율에 따라 관절점이라 지정하고 발목의 골격선과 발등의 골격선이 만나는 지점을발의 중심점, 발등의 중심점 반대를 발끝점이라 하여두 점이 위치하는 2차원 좌표값을 찾아 매 프레임 마다추적한다.
대상 데이터
실험 영상은 해상도 720X 480의 동영상이며, 신발모델 데이터는 실제 신발을 바탕으로 Maya나 3D Max등의 3D 툴로 생성이 가능한 파일 확장자 obj 파일을 사용하여 제작 하였다.
데이터처리
정확도를 위한 실험방법은 추적 대상 물체의 실제 사이즈와 카메라를 원점으로 한 위치정보를 측정한 뒤 본논문에서 제안한 방법으로 계산한 값과 비교하여 오차율을 측정했다. 그러나 실제 표면 측정이 어려운 발로정확도를 측정하는데 문제점이 많다는 것을 감안, 실제사이즈가 측정 가능한 직육면체 모델을 사용하였다.
이론/모형
배경영상 제거 기법은 배경 영상과 입력 영상의 Gray Scale 차를 구하는 것으로실시간으로 움직이는 객체를 추출하기 위해 움직임 분석 기술에서 보편적으로 쓰이는 방법이다M 그러나두 영상의 Gray Scale 차이 값으로 분리하기 때문에 조명, 그림자, 반사 등의 외부 영향에 따라 발에 구멍이생기거나 적잖은 잡음이 발생할 수 있다. 이러한 문제점을 보완하기 위해, 모폴로지 (Morphology)기법을 사용한다. 모폴로지 기법은 침식(Erode), 팽창(Dilate)의정도에 따라 객체의 구멍을 메우거나 배경영상의 잡음을 제거 할 수 있다.
성능/효과
줄이는 가장 큰 요소이다. 또한 X와 y값이 거의유사한 그래프로 오차가 나타나고 있는데, X와 y값 오차값 사이의 비율을 측정하면 실험 영상의 종횡비와 유사한 비율로 나타나는데, 이는 두 좌표가 종횡비에 일정하게 오차를 나타내고 있음을 확인할 수 있다.
추적대상인 발이 특징점이 없는 점을 보완하기 위해 실루엣을 기반으로 골격선과 관절점을 검출, 추적하였고 본논문에서 제안하는 기하학적 수식으로 자세 추정과 함께 3차원 신발 모델이 재투영 되는 모습을 실험 결과로확인할 수 있었다. 기존 인체 움직임 분석 기술들과 달리 발을 중심으로 한 연구라는 특성과 함께 좀 더 정확한 카메라 정보와 발의 형태학 정보를 분석하여 실제상용화 할 수 있도록 실시간으로 개발이 되어야 할 것이며 이에 대한 연구가 진행 중이다.
후속연구
추적대상인 발이 특징점이 없는 점을 보완하기 위해 실루엣을 기반으로 골격선과 관절점을 검출, 추적하였고 본논문에서 제안하는 기하학적 수식으로 자세 추정과 함께 3차원 신발 모델이 재투영 되는 모습을 실험 결과로확인할 수 있었다. 기존 인체 움직임 분석 기술들과 달리 발을 중심으로 한 연구라는 특성과 함께 좀 더 정확한 카메라 정보와 발의 형태학 정보를 분석하여 실제상용화 할 수 있도록 실시간으로 개발이 되어야 할 것이며 이에 대한 연구가 진행 중이다.
본 논문에서는 한 대의 카메라로 3차원 정보를취득하므로 영상 교정을 대체할 카메라 정보가 필요하다. 한 대의 카메라를 통해 3차원 정보를 취득하기 위해서는 실제 사용할 환경 조건에 맞춰 카메라의 기하학적 관계를 구성한 다음, 카메라 정보에 대한 수식을 유추해 낼 수 있다.
참고문헌 (13)
정다운, 마정연, 서융호, 최종수, '실루엣 정보를 이용한 실시간 발의 움직임 추적 시스템,' 신호처리합동학술대회 논문집, 제19권, 제 1호, 249쪽, 2006년 9월
이동욱, 조주희, 안현상, 이만재, '지능형 거울 시스템을 이용한 넥타이 스타일리스트,' HCI2005, pp. 360-364, 2005년 1월
H. Saito, J. Hoshino, 'A match moving technique for merging CG and human video sequences,' Proc. of IEEE ICASSP '01, vol. 3, pp.1589-1592, 2001
L. Wang, W. Hu, T. Tan, 'Recent Developments in human motion analysis,' Pattern Recognition, vol 36, pp. 585-601, 2003
S.L. Phung, A. Bouzerdoum, D. Chai, 'Skin Segmentation Using Color Pixel Classification: Analysis and Comparison,' IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 148-154, 2005 January
J.K. Aggarwal, Q. Cai, 'Human motion analysis: a review,' Proc. of IEEE Workshop on Motion of Non-Rigid and Articulated Objects, pp. 90-102, 1997 June
D. Tolani, A. Goswami, N.I. Balder, 'Real-Time Inverse Kinematics Techniques for Anthropomorphic Limbs,' Graphics Models, vol. 62, no. 5, pp. 353-388, 2000
C. Wren, A. Azarbayejani, T. Darrell, and A. Pentland, 'Pfinder: Real-time Tracking of the human body,' IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 780-785, 1997
S.E. Kim, R.H. Lee, C.J Park, I.H. Lee, 'MIMIC: Real-time marker-free motion capture system to create an agent in the virtual space,' Proceedings of the ICCE '02, vol. 1, pp. 48-49, 2002 December
D. Tolani, A. Goswami, N.I. Badler, 'Real-time Inverse kinematics techniques for anthropomorphic limbs,' Graphical Models and Image Processing, vol. 62, no. 5, pp. 353-388, 2000 September
M. Piccardi, 'Background Subtraction Techniques: a review,' International Conference on Systems, Man, and Cybernetics, vol. 4, pp. 3099-3104, 2004
P. Eu, L. Ling, 'Human skeleton proportions from monocular data,' LNCS Journal of Zhejiang University SCIENCE A, vol. 7, no. 7, pp. 1266-1274, 2006 July
Ronald Poppe, 'Real-time Pose Estimation from monocular image sequences using Silhouettes,' Human Media Interaction Group (HMI), University of Twente the Netherlands, Master's thesis, 2004 April
※ AI-Helper는 부적절한 답변을 할 수 있습니다.