[논문]다시점 RGB-D 카메라를 이용한 실시간 3차원 체적 모델의 생성

김경진; 박병서; 김동욱; 권순철; 서영호

doi:10.5909/jbe.2020.25.3.439

다시점 RGB-D 카메라를 이용한 실시간 3차원 체적 모델의 생성
Real-time 3D Volumetric Model Generation using Multiview RGB-D Camera 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.3, 2020년, pp.439 - 448

김경진 (광운대학교 전자재료공학과) , 박병서 (광운대학교 전자재료공학과) , 김동욱 (광운대학교 전자재료공학과) , 권순철 (광운대학교 스마트시스템학과) , 서영호 (광운대학교 전자재료공학과)

초록
AI-Helper

본 논문에서는 다시점 RGB-D 카메라의 포인트 클라우드 정합을 위한 수정된 최적화 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 것은 매우 중요하다. 기존의 연구에서 제안된 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3차원 Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 방식들은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라를 8개 사용하여 전방위 자유시점을 제공할 수 있는 3차원 포인트 클라우드 및 매쉬 모델을 생성하기 위한 정합 기법을 제안하고자 한다. RGB영상과 함께 깊이지도 기반의 함수 최적화 방식을 이용하고, 초기 파라미터를 구하지 않으면서 고품질의 3차원 모델을 생성할 수 있는 좌표 변환 파라미터를 구하는 방식을 제안한다.

Abstract ▼ AI-Helper

In this paper, we propose a modified optimization algorithm for point cloud matching of multi-view RGB-D cameras. In general, in the computer vision field, it is very important to accurately estimate the position of the camera. The 3D model generation methods proposed in the previous research require a large number of cameras or expensive 3D cameras. Also, the methods of obtaining the external parameters of the camera through the 2D image have a large error. In this paper, we propose a matching technique for generating a 3D point cloud and mesh model that can provide omnidirectional free viewpoint using 8 low-cost RGB-D cameras. We propose a method that uses a depth map-based function optimization method with RGB images and obtains coordinate transformation parameters that can generate a high-quality 3D model without obtaining initial parameters.

주제어

표/그림 (9)

그림 그림 1. 실사 3D 체적 촬영 시스템 (a) 수직, (b) 수평 방향에서의 촬영 각도 및 범위 Fig. 1. Real 3D point cloud capturing system (a) vertical, (b) horizontal photographing angle and range
그림 그림 2. 실사 기반 3차원 모델 생성 절차 Fig. 2. Real 3D model generation procedure
그림 그림 3. (a) 차르코 보드, (b) 차르코 보드를 통해 구한 월드 좌표계 Fig. 3. (a) Charuco board, (b) World coordinate system obtained through Charuco board
그림 그림 4. 파라미터 최적화 흐름도 Fig. 4. Parameter optimization Flowchart
그림 그림 5. 카메라 시스템 (a) 카메라 시스템 구성 (b) 전체 카메라 시스템 Fig. 5. Camera system (a) camera system parts (b) Full camera system
그림 그림 6. 각 카메라에서 획득한 포인트 클라우드, 위쪽에 배치된 카메라 중 (a) 앞쪽, (b) 왼쪽, (c) 오른쪽, (d) 뒤쪽, 아래쪽에 배치된 카메라 중 (e) 앞쪽, (f) 왼쪽, (g) 오른쪽, (h) 뒤쪽 Fig. 6. Point cloud acquired from each camera, (a) front, (b) left, (c) right, (d) rear of the cameras placed above, (e) front, (f) left, (g) right, (h) rear of the placed cameras below.
그림 그림 7. 반복횟수에 따른 평균 오차 거리에 대한 그래프 Fig. 7. Graph of average error distance according to iteration
표 표 1. 포인트 클라우드의 평균 정합 오차 Table 1. Average registration error of point cloud
그림 그림 8. 제안한 최적화 알고리즘 적용 전후의 전방위 포인트 클라우드 및 메쉬 3D 모델 (a) 정렬되기 이전의 포인트 클라우드 모델, (b) 최적화된 파라미터를 이용하여 정렬한 포인트 클라우드, (c) 매쉬 모델로 변환한 결과(시점1) (d) 메쉬 모델로 변환한 결과(시점2) Fig. 8. The omnidirectional point cloud before and after the proposed optimization (a) the point cloud model before alignment (b) the point cloud after alignment using the optimized parameter, (c) the converted mesh model (viewpoint 1), (d) the converted mesh model (viewpoint 2)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

ICP 알고리즘 등과 같이 포인트 클라우드 정합 결과가 초기 파라미터와 포인트 세트 구성에 의존적이라는 문제와 RGB 이미지를 이용한 카메라 자세 추정 방식에서 구한 좌표변환 행렬은 큰 오차를 갖는다는 문제점을 극복하기 위해 RGB 이미지에서 초기 파라미터를 계산하여 각각의 카메라에서 획득한 포인트 클라우드중 같은 공간에 위치한 포인트를 이용하여 반복적인 연산을 통해 최적화된 좌표변환 파라미터를 찾는 알고리즘이 연구되었다 ^[13] . 본 논문에서는 [13]에서 제안한 방식을 개선하여 초기 파라미터를 계산하지 않으면서 차르코 보드와 같은 특정 방식에 제한되지 않는 수정된 함수 최적화 기법을 제안한다. 이를 통해서 연산의 복잡도와 연산량을 줄이면서도 좋은 품질의 3D 모델을 생성할 수 있음을 보인다.
본 논문에서는 다시점 RGB-D 카메라를 이용해 전방위 3차원 모델을 생성하기 위해 필수적인 포인트 클라우드 정합 알고리즘을 제안하였다. 차르코 보드를 이용한 초기 파라미터를 구하는 방식을 제거하고 특징점을 이용하여 최적화하는 방식을 사용했다.

제안 방법

본 논문에서 제안한 포인트 클라우드 정합 방식은 깊이 및 RGB 이미지 모두를 이용하고, 최종 정합된 모델의 좌표계는 기준으로 설정한 카메라 좌표계를 따르게 된다. 8대의 RGB-D 카메라를 이용하여 전방위 3차원 모델을 생성하기 위해 먼저 각 카메라에서 차르코보드를 촬영한 RGB 이미지를 얻는다. 이 이미지를 이용하여 차르코보드 내부 코너의 픽셀 좌표를 얻는다.
3차원 모델을 생성하기에 앞서 RGBD 카메라를 통해 촬영되는 깊이 및 RGB 이미지를 이용하여 깊이 카메라의 좌표계를 따르는 포인트 클라우드를 각 카메라에서 획득한다. 8대의 RGB-D 카메라의 배치는 물체를 모든 높이에서 촬영하기 위해 위아래에 카메라가 설치된 스탠드 형태의 촬영 장비를 사용하여 구성했다. 그리고 물체를 모든 방향에서 촬영하기 위해 4세트의 스탠드를 앞, 뒤, 양옆 네 방향에 배치하였다.
RGB 영상에서 검출한 차르코 보드 내부 코너에 대해 3차원 좌표를 구하기 위해, 깊이 영상과 RGB 영상간의 캘리브레이션(calibration)을 진행한다 ^[17] . 그리고 깊이영상에서 내부 코너의 픽셀값에 해당하는 위치의 깊이 값을 이용하여 3차원 좌표를 구한다.
. 그리고 깊이영상에서 내부 코너의 픽셀값에 해당하는 위치의 깊이 값을 이용하여 3차원 좌표를 구한다.
7m되는 높이에 설치되었다. 깊이 값에 임계값을 설정하여 0.1m에서 2.5m내의 물체에 대한 포인트 클라우드를 획득할 수 있도록 하였다. 그림 5는 실제 구성한 카메라 시스템을 촬영한 것이다.
앞서 언급한 3차원 좌표를 8대의 모든 카메라에서 획득하고 매칭되는 포인트를 찾는다. 매칭되는 좌표끼리 같은 위치에 위치하도록 하는 좌표변환 파라미터를 구하는 방법을 제안한다. 이 파라미터는 최적화 알고리즘을 이용하여 오차가 최소가 되도록 계산한다.
메쉬 모델 시퀀스를 생성하기 위해 먼저 각 카메라에서 깊이 및 RGB 이미지를 촬영하여 포인트 클라우드를 획득한다. 다음 각 카메라에서 획득한 포인트 클라우드를 정합 하여 전방위의 포인트 클라우드를 생성한다.
본 논문에서 제안하는 알고리즘에서 첫 번째 단계는 정합에 이용할 데이터를 얻기 위해 다중 RGB-D 카메라에서 깊이 및 RGB 이미지를 출력하는 것이다. RGB 이미지는 차르코 보드 내부 코너를 검출하는 “Charuco Board Corner Detection” 단계에서 사용된다.
본 논문에서 제안한 포인트 클라우드 정합 방식은 깊이 및 RGB 이미지 모두를 이용하고, 최종 정합된 모델의 좌표계는 기준으로 설정한 카메라 좌표계를 따르게 된다. 8대의 RGB-D 카메라를 이용하여 전방위 3차원 모델을 생성하기 위해 먼저 각 카메라에서 차르코보드를 촬영한 RGB 이미지를 얻는다.
본 논문에서는 다시점 RGB-D 카메라를 이용해 전방위 3차원 모델을 생성하기 위해 필수적인 포인트 클라우드 정합 알고리즘을 제안하였다. 차르코 보드를 이용한 초기 파라미터를 구하는 방식을 제거하고 특징점을 이용하여 최적화하는 방식을 사용했다. 이 방식을 사용함으로써 특징점이 추출되는 물체만 있다면 포인트 클라우드 정합을 진행할 수 있기 때문에 범용성을 높일 수 있었다.
파라미터의 오차는 차르코 보드의 내부코너 좌표의제곱 유클리드 거리를 통해 판단하였다. 연산은 전의 오차와 0.
그 다음 깊이 이미지를 이용하여 카메라마다 포인트 클라우드를 생성한다. 획득한 포인트 클라우드에서 저장해 둔 차르코보드의 내부 코너 픽셀 좌표의 3차원 좌표들만을 획득하여 반복적인 연산을 통해 이 좌표들 사이의 거리가 최소화가 되는 좌표변환 파라미터를 구한다.

대상 데이터

실사 기반의 3D 모델을 생성하기 위해 깊이 및 RGB 센서를 장착한 RGB-D 카메라를 사용하였다. 3D 모델을 생성하는 것이 목표이므로 8대의 RGB-D 카메라를 물체의 여러 시점에 설치했다. 3차원 모델을 생성하기에 앞서 RGBD 카메라를 통해 촬영되는 깊이 및 RGB 이미지를 이용하여 깊이 카메라의 좌표계를 따르는 포인트 클라우드를 각 카메라에서 획득한다.
3D 모델을 생성하는 것이 목표이므로 8대의 RGB-D 카메라를 물체의 여러 시점에 설치했다. 3차원 모델을 생성하기에 앞서 RGBD 카메라를 통해 촬영되는 깊이 및 RGB 이미지를 이용하여 깊이 카메라의 좌표계를 따르는 포인트 클라우드를 각 카메라에서 획득한다. 8대의 RGB-D 카메라의 배치는 물체를 모든 높이에서 촬영하기 위해 위아래에 카메라가 설치된 스탠드 형태의 촬영 장비를 사용하여 구성했다.
본 실험에서는 8대의 Microsoft Kinect Azure 카메라를 사용하여 실험을 진행했다. 카메라 배치는 그림 1에서 설명한 촬영 시스템을 따른다.
실사 기반의 3D 모델을 생성하기 위해 깊이 및 RGB 센서를 장착한 RGB-D 카메라를 사용하였다. 3D 모델을 생성하는 것이 목표이므로 8대의 RGB-D 카메라를 물체의 여러 시점에 설치했다.

이론/모형

아래의 내용은 카메라끼리 매칭점을 이용하여 포인트 클라우드 정합을 위한 좌표변환 파라미터를 획득하는 방법에 대해 설명한다. 매칭되는 포인트를 찾기 위해 QR코드와체스보드를 합쳐서 만든 차르코 보드(Charuco board)를 사용한다 ^[16] . 일반 체스보드 패턴만을 이용해서 구할 수도 있지만 QR코드를 이용하면 일반 체스보드를 이용한 방식들 보다 빠르게 보드 내부의 코너 좌표를 찾을 수 있기 때문에 체스보드가 아닌 차르코 보드를 사용했다 ^[11][16] .
다음 각 카메라에서 획득한 포인트 클라우드를 정합 하여 전방위의 포인트 클라우드를 생성한다. 정합된 모든프레임의 포인트 클라우드는 샘플링 한 뒤 들로네(Delaunay) 삼각분할 ^[15] 과 같은 방식을 이용하여 삼각형 메쉬를 생성하여 저장한다. 그림 2는 다중 RGB-D 카메라를 이용해 실사 기반의 3차원 메쉬 모델 시퀀스를 얻기 위한 과정을 나타낸다.
최적화 문제를 풀기 위한 알고리즘으로는 경사 하강법(gradient descent) 방법, 관성 하강법(gradient descent with momentum), 네스테로프 하강법(Nesterov’s gradient method) [18] 등이 있지만 구하고자 하는 파라미터의 수가 많지 않기 때문에 가장 계산비용이 적고 구현이 쉬운 경사 하강법을 사용했다.

성능/효과

그리고 RGB 이미지에서 특징점을 추출하여 서로 다른 시점의 카메라에 공간상의 같은 위치를 알려주었기 때문에 카메라 사이에 겹치는 공간이 적었음에도 국부 최소화 문제를 극복할 수 있었다. 그리고 특징점을 사용함으로써 연산과정을 줄이고 범용성이 향상되었지만 정합 결과에 대한 오차는 크게 달라지지 않는 것을 확인할 수 있었다.
08mm 높아진 결과를 나타냈으나 매우 작은 값이라서 시각적으로는 거의 영향을주지 않는다. 또한 전체적으로 제안하는 방식이 오차의 분포가 더 균일한 특성을 나타내었다
이를 통해서 연산의 복잡도와 연산량을 줄이면서도 좋은 품질의 3D 모델을 생성할 수 있음을 보인다. 또한 특정 방식에 제한되지 않고 특징점이 추출되는 모든 영상에 대해 적용 가능하므로 범용성이 향상되었다.
반복횟수는 50,000회에서 200,000회까지 카메라마다 다른 값을 가졌다. 제안한 방식도 마찬가지로 0.0000000001의 차이를 가질 때까지 반복연산을 수행했고, 반복횟수 또한 200,000회 이하의 모두 다른 값을 가졌다. 그림 7은 2500번까지의 반복횟수에 따른 평균 오차 거리에 대한 그래프를 나타낸 것이고, [13] 방식과 제안하는 방식에 대해서 비교하였다.
0000000001의 차이를 가질 때까지 반복했다. 카메 라마다 다르긴 했지만, 평균적으로 연산을 100번 가량 반복할 때까지는 빠르게 값이 줄어들다가 그 이후로는 점점 0에수렴되는 것을 실험을 통해 확인하였다. 반복횟수는 50,000회에서 200,000회까지 카메라마다 다른 값을 가졌다.
98mm 정도의 오차를가졌다. 카메라 사이의 오차의 분포가 고르게 나타나서 오차가 한 곳에 집중되지 않고 골고루 분산됨으로써 시각적으로 더 좋은 결과를 나타냈다. 그리고 RGB 이미지에서 특징점을 추출하여 서로 다른 시점의 카메라에 공간상의 같은 위치를 알려주었기 때문에 카메라 사이에 겹치는 공간이 적었음에도 국부 최소화 문제를 극복할 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	필터링을 과도하게 적용하면 나타날 수 있는 문제는 무엇인가?	잡음을 제거하기 위해 전처리 과정으로 깊이 카메라의 출력에 다양한 필터링을 수행하는 것이 일반적이다 [13] . 그러나 좋은 품질을 얻기 위해서 필터링을 과도하게 적용하면 모션블러(motion blur)와 고스트(ghost) 현상이 생길 수 있다. 포인트 클라우드에서 모션블러와 고스트 현상은 시각적으로 큰 문제로 관찰되지 않으나 이것이 매쉬로 변환되면 시각적으로 큰 영향을 미친다.
	Zhang 알고리즘의 장점은 무엇인가?	많이 사용되는 좌표변환 행렬 추출 기법으로 Zhang 알고리즘 [11] 이 있다. 이 알고리즘은 포인트 세트에 의존하지 않고, 특징점을 추출하기 쉬운 차르코보드 등을 이용한다. 하지만 이 방식은 핀홀 카메라 모델에 기반하여 내부 및 외부 파라미터를 추정하기 때문에 실제 카메라에 적용하게 되면 필연적으로 오차가 발생하게 된다 [12] .
	ICP 알고리즘이란 무엇인가?	가장 잘 알려진 포인트 클라우드 정합 알고리즘으로는 ICP(Iterative Closest Point) 알고리즘이 있다 [3] . ICP는 입력된 두 포인트 세트 간에 미리 정의된 겹치는 영역에 대해 가장 가까운 거리에 있는 포인트 쌍을 찾고, 반복적인 연산을 통해 이들의 거리를 최소화하는 좌표변환 파라미터를 구하는 방법이다. ICP와 비슷한 방식으로 포인트 세트의 반복적인 연산을 통해 정합하는 SoftAssign 알고리즘 [4] 과 이에 기반한 다양한 변형 알고리즘 [5][6][7] 들이 연구되었다 [8] .

참고문헌 (18)

S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodeges, D. Freeman, A. Davison, A. Fitzgibbon, "KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction Using a Moving Depth Camera" ISMAR, Vol. 11, No. 2011, pp. 127-136, October 2011.
S. Choi, S. Park, "Convenient View Calibration of Multiple RGB-D Cameras Using a Spherical Object." KIPS Transactions on Software and Data Engineering, Vol.3 No.8, pp.309-314, 2014.

원문보기 상세보기
C. Gregory, W. Sang, K. David, "ICP Registration Using Invariant Features.", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 24, No. 1, pp. 90-102, January 2002.

상세보기
S. Gold, A. Rangarajan, C. Lu, S. Pappu, E. Mjolsness, "New algorithms for 2d and 3d point matching: Pose estimation and correspondence." In Pattern Recognition, Journal of KIISE, Vol. 31, pp. 1019-1031, August 1998.

상세보기
S. Granger, X. Pennec. "Multi-scale em-icp: A fast and robust approach for surface registration." In ECCV, pp. 418-432, June 2002.
P. David, D. DeMenthon, R. Duraiswami, H. Samet. "Simultaneous pose and correspondence determination using line features." In CVPR, pp. 424-431, June 2003.
W. Zhao, D. Nister, S. Hus. "Alignment of continuous video onto 3d point clouds." PAMI, Vol. 27, pp.1305-1318, August 2005.
Li, Hongdong, R. Hartley. "The 3D-3D Registration Problem Revisited." 2007 IEEE 11th International Conference on Computer Vision, pp. 1-8, 2007
S. Sclaroff, A. Pentland. "Modal matching for correspondence and recognition." In PAMI, June 1995.
M. Leordeanu, M. Hebert. "A spectral technique for correspondence problems using pairwise constraints." In ICCV, Vol. 2, pp. 1482-1489, 2005
Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.

상세보기
J. Lee, "Camera calibration and Compensation distortion", Korea robotics society review, Vol. 10 No, 1, pp. 23-29, February 2013
K.-J Kim, B.-S. Park, D.-W. Kim, Y.-H. Seo, "Point Cloud Registration Algorithm Based on RGB-D Camera for Shooting Volumetric Objects.", JBE Vol. 24, No. 5, pp. 765-774, September 2019.
B. Lin, M. Su, P. Cheng, P. Tseng, S. Chen " Temporal and Spatial Denoising of Depth Maps", Sensors 2015 Vol. 15, No. 8, pp. 18506-18525, August 2015.
J. Digne, C. Franchis, "The Bilateral Filter for Point Clouds", Image Processing on Line Vol. 2017, No. 7, pp.278-287, March 2018.
T. Fang, L. A. Piegl. "Delaunay triangulation in three dimensions." IEEE Computer Graphics and Applications, Vol. 15, No. 5, pp. 62-69, September 1995

상세보기
J. Kim, S. Yoo, K. Min. "Microsoft Kinect-based Indoor Building Information Model Acquisition." Computational Structural Engineering Institute of Korea 31.4 (2018): 207-214.

원문보기 상세보기
S. Lee, "Convergence Rate of Optimization Algorithms for a Non-strictly Convex Function", Institute of Control Robotics and Systems, pp. 349-350, May 2019.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증