[논문]구형 물체를 이용한 다중 RGB-D 카메라의 간편한 시점보정

박순용; 최성인

doi:10.3745/ktsde.2014.3.8.309

구형 물체를 이용한 다중 RGB-D 카메라의 간편한 시점보정
Convenient View Calibration of Multiple RGB-D Cameras Using a Spherical Object 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.3 no.8, 2014년, pp.309 - 314

박순용 (경북대학교 컴퓨터학부) , 최성인 (경북대학교 전자전기컴퓨터학부)

초록
AI-Helper

물체의 360도 방향에서 다수의 RGB-D(RGB-Depth) 카메라를 이용하여 깊이영상을 획득하고 3차원 모델을 생성하기 위해서는 RGB-D 카메라 간의 3차원 변환관계를 구하여야 한다. 본 논문에서는 구형 물체를 이용하여 4대의 RGB-D 카메라 사이의 변환관계를 간편하게 구할 수 있는 시점보정(view calibration) 방법을 제안한다. 기존의 시점보정 방법들은 평면 형태의 체크보드나 코드화된 패턴을 가진 3차원 물체를 주로 사용함으로써 패턴의 특징이나 코드를 추출하고 정합하는 작업에 상당한 시간이 걸린다. 본 논문에서는 구형 물체의 깊이영상과 사진영상을 동시에 사용하여 간편하게 시점을 보정할 수 있는 방법을 제안한다. 우선 하나의 구를 모델링 공간에서 연속적으로 움직이는 동안 모든 RGB-D 카메라에서 구의 깊이영상과 사진영상을 동시에 획득한다. 다음으로 각 RGB-D 카메라의 좌표계에서 획득한 구의 3차원 중심좌표를 월드좌표계에서 일치되도록 각 카메라의 외부변수를 보정한다.

Abstract ▼ AI-Helper

To generate a complete 3D model from depth images of multiple RGB-D cameras, it is necessary to find 3D transformations between RGB-D cameras. This paper proposes a convenient view calibration technique using a spherical object. Conventional view calibration methods use either planar checkerboards or 3D objects with coded-pattern. In these conventional methods, detection and matching of pattern features and codes takes a significant time. In this paper, we propose a convenient view calibration method using both 3D depth and 2D texture images of a spherical object simultaneously. First, while moving the spherical object freely in the modeling space, depth and texture images of the object are acquired from all RGB-D camera simultaneously. Then, the external parameters of each RGB-D camera is calibrated so that the coordinates of the sphere center coincide in the world coordinate system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

제안하는 방법은 RGB-D 카메라에서 획득한 구형 물체(spherical object)의 색상정보와 3차원 형상정보를 함께 활용하여 쉽고 빠르게 다시점(multi-view) RGB-D 카메라 사이의 3차원 변환정보를 획득한다. 다시점 보정 결과를 이용하여 추후 RGB-D 카메라를 이용하여 물체의 360도 형상 및 색상정보를 완전하게 스캐닝(scanning)하는 데 본 제안기술의 목적이 있다.
본 논문에서는 다시점 RGB-D 카메라에 획득한 360도 깊이 정보를 합성하여 3차원 모델을 생성하기 위해 필수적인 시점 보정 기술을 제안하였다. 제안한 보정기술은 구형 물체의 3차원 형상과 색상정보를 다시점에서 깊이 카메라와 RGB카메라에서 획득하고 구의 중심점의 3차원 좌표들을 RANSAC을 이용하여 월드좌표계로 변환하는 행렬을 구하였다.
여기서 #는 3차원 회전과 이동을 표현하는 변환행렬이다. 본 논문에서는 이들 변환행렬을 간편하게 구하는 시점보정 기술을 제안한다.
본 논문에서는 키넥트와 같은 RGB-D 카메라를 이용하여 물체의 360도 형상을 복원할 때 필요한 간편한 시점보정 기술을 소개한다. 제안하는 방법은 RGB-D 카메라에서 획득한 구형 물체(spherical object)의 색상정보와 3차원 형상정보를 함께 활용하여 쉽고 빠르게 다시점(multi-view) RGB-D 카메라 사이의 3차원 변환정보를 획득한다.
우선 다시점 RGB-D 카메라의 시점보정을 위하여 기존의 Zhang 카메라 보정 알고리즘을 사용하는 과정을 살펴보자. 먼저 체크보드와 같은 보정판을 모든 RGB-D 카메라에서 보이도록 설치한 후 깊이 카메라에서 보정판 영상을 동시에 획득하여야 한다.

가설 설정

그러나 충분한 수의 구의 중심점을 획득하는 것이 보정과정에 유리하기 때문에 구를 사람이 직접 들고 모든 깊이 카메라가 보이는 공간에서 움직이면서 깊이 정보를 획득하는 방법을 사용하였다. 깊이 카메라가 충분한 속도로 구의 3차원 깊이 정보를 획득하고 또한 모든 카메라가 동기화되어 동시에 구의 형상의 획득한다면, 다시점에서 획득한 구의 3차원 정보는 동일한 위치의 구에 대한 3차원 정보라 가정할 수 있다.

제안 방법

RGB-D 카메라의 RGB영상에서 구의 영역을 추출하기 위해서 우선 배경영상을 모델링하였다. 구의 3차원 정보를 획득하기 이전에 배경 영상을 약 50프레임 누적하고 그 평균 영상을 구하였다.
깊이 카메라를 4대를 사용하고 지지대에 부착하여 시점의 이동이 없도록 하였다. 각 카메라의 영상획득 방향이 90˚를 이루도록 설치함으로써 물체의 360˚ 전방향에 대한 깊이영상을 획득할 수 있도록 하였다. 한편 그림 3과 같은 구성이 아닌 다른 어떠한 형태의 다시점 RGB-D 카메라의 구성이라도 본 논문에서 제안하는 방법으로 시점보정을 구현할 수 있다.
이를 위하여 물체를 3개 이상의 적절한 위치에 고정하고 깊이 정보를 획득할 수 있다. 그러나 충분한 수의 구의 중심점을 획득하는 것이 보정과정에 유리하기 때문에 구를 사람이 직접 들고 모든 깊이 카메라가 보이는 공간에서 움직이면서 깊이 정보를 획득하는 방법을 사용하였다. 깊이 카메라가 충분한 속도로 구의 3차원 깊이 정보를 획득하고 또한 모든 카메라가 동기화되어 동시에 구의 형상의 획득한다면, 다시점에서 획득한 구의 3차원 정보는 동일한 위치의 구에 대한 3차원 정보라 가정할 수 있다.
구의 3차원 정보를 획득하기 이전에 배경 영상을 약 50프레임 누적하고 그 평균 영상을 구하였다. 그리고 배경 모델과 현재 영상의 차영상을 구하고 차영상 중에서 밝기가 매우 밝은 부분만을 추출하였다. 구의 표면의 색상이 백색이므로 이진화를 용이하게 구현할 수 있다.
이들 정보를 입력으로 하여 구의 중심을 추출하였다. 그리고 추출된 구의 중심점의 좌표를 이용하여 시점 간의 변환 행렬을 구하였다. 첫 번째 깊이 카메라의 시점을 기준으로 나머지 카메라의 좌표계들을 보정하였다.
아래 그림 3은 4대의 키넥트를 사용한 다시점 3차원 모델링 시스템의 한 예를 보여준다. 깊이 카메라를 4대를 사용하고 지지대에 부착하여 시점의 이동이 없도록 하였다. 각 카메라의 영상획득 방향이 90˚를 이루도록 설치함으로써 물체의 360˚ 전방향에 대한 깊이영상을 획득할 수 있도록 하였다.
물체의 재질은 스티로폼이며 색상은 백색이다. 깊이 카메라에서 물체의 3차원 형상 획득이 용이하도록 색상을 정하였다. 물체의 표면에는 반사도가 낮은 백색 페인트를 사용하여 표면처리를 하였다.
따라서 서로 다른 깊이 카메라에서 3차원 점의 좌표를 획득하기 위해서는 다양한 방법이 있겠지만 가장 간단하고 효율적인 방법으로 하나의 구형 물체(spherical object)를 이용하는 방법을 제안한다. 구를 이용하는 장점은 구의 표면에 대하여 3차원 깊이 카메라를 이용하여 그 모양을 획득하면 구의 중심점의 3차원 좌표를 추정할 수 있다는 것이다.
깊이 카메라에서 물체의 3차원 형상 획득이 용이하도록 색상을 정하였다. 물체의 표면에는 반사도가 낮은 백색 페인트를 사용하여 표면처리를 하였다. 사용한 구의 반지름은 약 20cm이다.
추출된 구의 영역은 붉은 색의 원으로 표시하였으며 이 영역의 3차원 깊이 정보를 프레임마다 저장하였다. 보정 물체 영역의 추출을 안정적으로 구현하기 위하여 이전 프레임에서 추출된 구의 영역 주변에서 현재 프레임의 구의 영역을 탐색하였다. 또한 CircleHough가 구의 영역을 정확히 추출하지 않더라도 3차원 깊이를 저장하였다.
따라서 구형 물체를 천천히 움직이고 깊이 정보는 빠르게 획득하였다. 보정에 사용한 구를 가는 막대에 고정하고 사람이 카메라의 획득 공간에서 구를 움직이면서 구의 표면에 대한 3차원 깊이 정보를 획득하였다. 그러나 깊이 카메라는 획득된 영상의 모든 픽셀의 3차원 정보를 획득하기 때문에 깊이 정보 획득의 시간이 오래 걸리게 되며 따라서 다시점 카메라 간의 동기화 문제가 발생하게 된다.
본 논문에서는 다시점 RGB-D 카메라의 보정을 보다 쉽고 빠르게 구현하기 위하여 깊이 카메라에서 획득하는 물체의 3차원 형상정보를 활용하였다. 그림 2의 예를 들어보자.
또한 CircleHough가 구의 영역을 정확히 추출하지 않더라도 3차원 깊이를 저장하였다. 이는 2차원 RGB 영상에서 구의 정확한 영역을 추출하지 못하더라도 구의 3차원 표면 정보의 잡음을 제거하여 3차원 중심을 찾을 수 있도록 알고리즘을 구현하였다. 만약 RGB 영상에서 4개의 시점에서 동시에 구의 영역을 찾지 못하면 그 프레임은 무시하였다.
따라서 3차원 카메라의 깊이 정보 중에서 구의 표면에 대한 정보만을 빠르게 저장하는 방법이 필요하다. 이를 위하여 RGB-D 카메라의 RGB 영상에서 구의 영역을 추출하고 추출된 영역에 해당하는 3차원 깊이 정보만을 저장하였다.
본 논문에서는 키넥트와 같은 RGB-D 카메라를 이용하여 물체의 360도 형상을 복원할 때 필요한 간편한 시점보정 기술을 소개한다. 제안하는 방법은 RGB-D 카메라에서 획득한 구형 물체(spherical object)의 색상정보와 3차원 형상정보를 함께 활용하여 쉽고 빠르게 다시점(multi-view) RGB-D 카메라 사이의 3차원 변환정보를 획득한다. 다시점 보정 결과를 이용하여 추후 RGB-D 카메라를 이용하여 물체의 360도 형상 및 색상정보를 완전하게 스캐닝(scanning)하는 데 본 제안기술의 목적이 있다.
본 논문에서는 다시점 RGB-D 카메라에 획득한 360도 깊이 정보를 합성하여 3차원 모델을 생성하기 위해 필수적인 시점 보정 기술을 제안하였다. 제안한 보정기술은 구형 물체의 3차원 형상과 색상정보를 다시점에서 깊이 카메라와 RGB카메라에서 획득하고 구의 중심점의 3차원 좌표들을 RANSAC을 이용하여 월드좌표계로 변환하는 행렬을 구하였다. 보정물체를 3차원 복원 공간에 자유로이 이동하여 3차원 형상과 색상 정보를 획득함으로써 시점보정을 매우 간편하게 구현할 수 있었다.
그리고 추출된 구의 중심점의 좌표를 이용하여 시점 간의 변환 행렬을 구하였다. 첫 번째 깊이 카메라의 시점을 기준으로 나머지 카메라의 좌표계들을 보정하였다.

대상 데이터

RGB-D 카메라의 RGB영상에서 구의 영역을 추출하기 위해서 우선 배경영상을 모델링하였다. 구의 3차원 정보를 획득하기 이전에 배경 영상을 약 50프레임 누적하고 그 평균 영상을 구하였다. 그리고 배경 모델과 현재 영상의 차영상을 구하고 차영상 중에서 밝기가 매우 밝은 부분만을 추출하였다.
그림 4는 본 연구에서 다시점 보정을 위하여 사용한 구형 물체이다. 물체의 재질은 스티로폼이며 색상은 백색이다. 깊이 카메라에서 물체의 3차원 형상 획득이 용이하도록 색상을 정하였다.
먼저 체크보드와 같은 보정판을 모든 RGB-D 카메라에서 보이도록 설치한 후 깊이 카메라에서 보정판 영상을 동시에 획득하여야 한다. 본 연구에서 사용하는 깊이 카메라는 키넥트와 같은 적외선 카메라이므로 RGB-D 카메라에서 투사되는 적외선 패턴의 투사를 막고, 일반 적외선 조명을 보정판에 비추어 영상을 획득한다. 다음으로 각 깊이 카메라에서 획득한 보정판의 적외선 영상에서 코너점을 추출한 후 Zhang 카메라 보정방법으로 각 깊이 카메라의 외부변수(external parameter)를 구할 수 있다.
실험에서는 약 300∼500프레임의 3차원 깊이 정보를 사용하였고 각 프레임에 4개의 시점에서 획득한 구의 중심점의 3차원 좌표를 사용하였다. 그리고 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 중심점이 잘못 계산된 프레임들은 제거하였다.

데이터처리

1절에서 간략히 설명하였다. Zhang 알고리즘은 단시점 및 다시점 카메라의 보정에 가장 많이 사용되는 방법으로 본 논문에서도 기존 방법과 제안한 방법의 결과를 비교하였다. 각 시점에서 계산된 구형의 보정물체의 중심좌표를 Zhang 알고리즘의 결과를 이용하여 월드좌표계로 변환 후 동일한 오차분석 방법을 사용하였다.
Zhang 알고리즘은 단시점 및 다시점 카메라의 보정에 가장 많이 사용되는 방법으로 본 논문에서도 기존 방법과 제안한 방법의 결과를 비교하였다. 각 시점에서 계산된 구형의 보정물체의 중심좌표를 Zhang 알고리즘의 결과를 이용하여 월드좌표계로 변환 후 동일한 오차분석 방법을 사용하였다. Zhang 알고리즘을 사용하는 경우에는 모든 카메라에서 체크보드 보정판의 영상을 동시에 획득하여야 하며 최소 6장의 보정판 영상이 각 카메라에서 획득되어야 한다.
그리고 보정오차의 임계치 T_∊는 7mm로 정하였다. 제안한 시점보정의 결과를 다른 보정기술과 비교하기 위하여 표 1에서는 기존의 체크보드 보정판을 이용한 결과와 성능을 비교하였다. 체크보드와 Zhang 알고리즘을 이용한 보정방법은 2.

이론/모형

그리고 이진화된 영상에서 CircleHough 알고리즘을 사용하여 구의 영역만을 추출하였다. CircleHough 알고리즘은 OpenCV2.2의 함수를 사용하였고 알고리즘의 입력은 이진화된 흑백영상을 사용하였다.
실험에서는 약 300∼500프레임의 3차원 깊이 정보를 사용하였고 각 프레임에 4개의 시점에서 획득한 구의 중심점의 3차원 좌표를 사용하였다. 그리고 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 중심점이 잘못 계산된 프레임들은 제거하였다.
구의 표면의 색상이 백색이므로 이진화를 용이하게 구현할 수 있다. 그리고 이진화된 영상에서 CircleHough 알고리즘을 사용하여 구의 영역만을 추출하였다. CircleHough 알고리즘은 OpenCV2.

성능/효과

보정물체를 3차원 복원 공간에 자유로이 이동하여 3차원 형상과 색상 정보를 획득함으로써 시점보정을 매우 간편하게 구현할 수 있었다. 기존의 보정 방법과의 비교를 통하여 오차가 적고 시간이 적게 걸리는 것을 확인할 수 있었다.
제안한 보정기술은 구형 물체의 3차원 형상과 색상정보를 다시점에서 깊이 카메라와 RGB카메라에서 획득하고 구의 중심점의 3차원 좌표들을 RANSAC을 이용하여 월드좌표계로 변환하는 행렬을 구하였다. 보정물체를 3차원 복원 공간에 자유로이 이동하여 3차원 형상과 색상 정보를 획득함으로써 시점보정을 매우 간편하게 구현할 수 있었다. 기존의 보정 방법과의 비교를 통하여 오차가 적고 시간이 적게 걸리는 것을 확인할 수 있었다.

후속연구

깊이 카메라에 대한 시점보정 과정을 거치면 3차원 월드좌표계 내에서 각 깊이 카메라의 3차원 자세를 알게 되며 이는 깊이 카메라들 사이의 위치 관계를 말한다. 각 깊이 카메라 사이의 자세 정보를 알고 있기 때문에 추후 각 카메라에서 획득한 3차원 깊이 정보를 공통 좌표계 내에서 일치 및 정렬하여 3차원 모델을 생성할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	키넥트는 어떻게 구성되어 있는가?	3차원 스캐너를 보다 다양한 분야에 적용하기 위해서는 물체의 3차원 형상(shape) 획득과 동시에 색상(color)정보까지 획득하는 것이 필수적이다. 이를 위해 키넥트는 한 개의 RGB 카메라와 한 개의 깊이(depth)카메라로 구성되어 있으며 이러한 카메라를 일반적으로 ‘RGB-D 카메라’라고 부른다.
	3차원 스캐너를 다양한 분야에 적용하기 위해서 필수적인 것은?	하지만 컴퓨터와 인터페이스를 위한 얼굴 및 동작인식 등에 적용하기에 충분한 성능을 가지고 있다. 3차원 스캐너를 보다 다양한 분야에 적용하기 위해서는 물체의 3차원 형상(shape) 획득과 동시에 색상(color)정보까지 획득하는 것이 필수적이다. 이를 위해 키넥트는 한 개의 RGB 카메라와 한 개의 깊이(depth)카메라로 구성되어 있으며 이러한 카메라를 일반적으로 ‘RGB-D 카메라’라고 부른다.
	3차원 RGB-D 카메라를 여러대 사용했을 때의 장점은?	하나의 RGB-D 카메라로는 단일 시점(viewpoint)에서만 물체의 형상을 획득하기 때문에 물체의 전체 형상과 색상정보를 복원할 수 없다. 반면 여러 대의 RGB-D 카메라를 사용하면 물체의 전체 형상을 복원할 수 있고 그 결과를 이용하여 정밀한 동작인식, 360도 3차원 모델링, 가상피팅(virtual fitting), 특수효과 등의 분야에 적용할 수 있는 장점이 있다.

참고문헌 (8)

B. Kainz, S. Hauswiesner, G. Reitmayr, M. Steinberger, R. Grasset, L. Gruber, E. Veas, D. Kalkofen, H. Seichter, and D. Schmalstieg, "OmniKinect: real-time dense volumetric data acquisition and applications," in Proceedings of the Symposium on Virtual Reality Software and Technology (VRST), 2012.
Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.

상세보기
J. Mitchelson and A. Hilton, "Wand-based multiple camera studio calibration," Technical Report, VSSP-TR-2/2003, University of Surrey, 2003.
K. Y. Shin and J. H. Mun, "A multi-camera calibration method using a 3-axis frame and wand," International Journal of Precision Engineering and Manufacturing, Vol.13, No.2, pp.283-289, 2012.

원문보기 상세보기
T. Pribanic, P. Sturm, and S. Peharec, "Wand-based calibration of 3D kinematic system," IET Computer Vision, Vol.3, No.3, pp.124-129, 1999.
S. Tomas, M. Daniel and P. Tomas, "A convenient multi-camera self-calibration for virtual environments," Teleoperators and virtual environments, Vol.14, No.4, pp. 407-422, 2005.

상세보기
Y. M. Kim, D. Chan, C. Theobalt, and S. Thrun, "Design and calibration of a multi-view TOF sensor fusion system," in Proceedings of the IEEE CVPR Workshop on Time-of-flight Computer Vision, pp.1-7, 2008.
Least squares fit a sphere to 3D data [Internet], http://imaginaryz.blogspot.com/2011-/04/least-squares-fitsphere-to-3d-data.html.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증