3차원 복원은 실세계에 존재하는 물체를 가상의 공간에 재건하고 자유로운 시점을 선택하여 물체를 관찰할 수 있게 한다. 이러한 3차원 복원 기술은 교육, 문화, 예술 등 분야를 막론하고 다양한 곳에서 사용되고 있다. 3차원 복원 시스템을 구현하기 위해 본 논문에서는 Microsoft사에서 출시된 Kinect를 이용하여 다시점 시스템을 구성해서 고품질의 3차원 객체를 복원하는 방법을 제안한다. 먼저 3대의 Kinect를 객체의 전면에 수렴형으로 설치하여 색상 영상과 깊이 영상을 획득한다. 그런데 원본의 깊이 영상은 깊이 값을 가지지 않는 부분이 존재한다. 따라서 본 논문에서는 이 부분을 적절한 깊이 값으로 채워 넣기 위해서 깊이 가중치를 추가한 결합형 양방향 필터를 적용한다. 또한 다시점 시스템에서 얻은 원본의 색상 영상은 서로 색상이 일치하지 않는 문제가 존재하는데 이를 그대로 이용하여 3차원 모델 정합을 하면 색상이 부자연스럽게 연결된 3차원 모델을 얻게 된다. 따라서 이러한 색상 불일치의 문제를 해결하기 위해서 본 논문에서는 다시점 시스템에서의 3차원 기하학적 정보를 이용한 색상 보정 방법을 사용한다. 실험을 통해 제안한 방법을 이용하여 획득한 3차원 모델이 원본 3차원 모델보다 색상과 형태 관점에서 자연스럽게 표현된 것을 확인할 수 있었다.
3차원 복원은 실세계에 존재하는 물체를 가상의 공간에 재건하고 자유로운 시점을 선택하여 물체를 관찰할 수 있게 한다. 이러한 3차원 복원 기술은 교육, 문화, 예술 등 분야를 막론하고 다양한 곳에서 사용되고 있다. 3차원 복원 시스템을 구현하기 위해 본 논문에서는 Microsoft사에서 출시된 Kinect를 이용하여 다시점 시스템을 구성해서 고품질의 3차원 객체를 복원하는 방법을 제안한다. 먼저 3대의 Kinect를 객체의 전면에 수렴형으로 설치하여 색상 영상과 깊이 영상을 획득한다. 그런데 원본의 깊이 영상은 깊이 값을 가지지 않는 부분이 존재한다. 따라서 본 논문에서는 이 부분을 적절한 깊이 값으로 채워 넣기 위해서 깊이 가중치를 추가한 결합형 양방향 필터를 적용한다. 또한 다시점 시스템에서 얻은 원본의 색상 영상은 서로 색상이 일치하지 않는 문제가 존재하는데 이를 그대로 이용하여 3차원 모델 정합을 하면 색상이 부자연스럽게 연결된 3차원 모델을 얻게 된다. 따라서 이러한 색상 불일치의 문제를 해결하기 위해서 본 논문에서는 다시점 시스템에서의 3차원 기하학적 정보를 이용한 색상 보정 방법을 사용한다. 실험을 통해 제안한 방법을 이용하여 획득한 3차원 모델이 원본 3차원 모델보다 색상과 형태 관점에서 자연스럽게 표현된 것을 확인할 수 있었다.
Three-dimensional image reconstruction allows us to represent real objects in the virtual space and observe the objects at arbitrary view points. This technique can be used in various application areas such as education, culture, and art. In this paper, we propose an implementation method of the hig...
Three-dimensional image reconstruction allows us to represent real objects in the virtual space and observe the objects at arbitrary view points. This technique can be used in various application areas such as education, culture, and art. In this paper, we propose an implementation method of the high-quality three-dimensional object using multiple Kinect cameras released from Microsoft. First, We acquire color and depth images from triple Kinect cameras; Kinect cameras are placed in front of the object as a convergence form. Because original depth image includes some areas where have no depth values, we employ joint bilateral filter to refine these areas. In addition to the depth image problem, there is an color mismatch problem in color images of multiview system. In order to solve it, we exploit an color correction method using three-dimensional geometry. Through the experimental results, we found that three-dimensional object which is used the proposed method is more naturally represented than the original three-dimensional object in terms of the color and shape.
Three-dimensional image reconstruction allows us to represent real objects in the virtual space and observe the objects at arbitrary view points. This technique can be used in various application areas such as education, culture, and art. In this paper, we propose an implementation method of the high-quality three-dimensional object using multiple Kinect cameras released from Microsoft. First, We acquire color and depth images from triple Kinect cameras; Kinect cameras are placed in front of the object as a convergence form. Because original depth image includes some areas where have no depth values, we employ joint bilateral filter to refine these areas. In addition to the depth image problem, there is an color mismatch problem in color images of multiview system. In order to solve it, we exploit an color correction method using three-dimensional geometry. Through the experimental results, we found that three-dimensional object which is used the proposed method is more naturally represented than the original three-dimensional object in terms of the color and shape.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
두 번째로 다시점 시스템에서의 원본 색상 영상은 각 시점에서 그 색상이 서로 다르기 때문에 3차원 모델을 가상공간에 복원했을 때 색상이 부드럽게 연결되지 않는 문제가 발생한다. 따라서 이러한 색상 불일치의 문제점을 해결하기 위해 본 논문에서는 다시점 시스템의 3차원 기하학적 정보를 이용하여 색상 보정을 수행하는 방법을 기술한다. 다음으로 보정된 깊이 영상과 색상 영상을 이용하여 2차원의 점을 3차원 공간으로 보내는 3차원 워핑을 적용하여 통합된 3차원 공간상의 점군 모델을 만든다.
첫 번째로 원본깊이 영상은 깊이 값을 가지지 않은 홀 부분을 많이 포함하고 있기 때문에 이를 주변 영역과 비교하여 적절한 깊이 값으로 채워주는 깊이 영상 보정 과정이 필요하다. 본 논문에서는 깊이가중치가 추가된 결합형 양방향 필터를 사용하여 깊이 영상을 보정하는 작업을 수행한다. 두 번째로 다시점 시스템에서의 원본 색상 영상은 각 시점에서 그 색상이 서로 다르기 때문에 3차원 모델을 가상공간에 복원했을 때 색상이 부드럽게 연결되지 않는 문제가 발생한다.
본 논문에서는 다수의 Kinect 카메라를 이용하여 3차원 객체복원을 수행하는 방법을 다룬다. 먼저 제안하는 방법의 시스템구조를 그림 1에 나타내었다.
본 논문에서는 이러한 목적을 달성하기 위해 다수의 Kinect 카메라를 이용하여 다시점 시스템을 구성한 뒤 3차원 복원을 구현하는 방법에 대해서 살펴보았다. 먼저 Kinect로부터 얻은 원본 깊이 영상을 보정하기 위해 깊이 가중치를 추가한 결합형 양방향 필터를 수행했다.
제안 방법
3차원 공간상에서는 어떤 점이 기준점의 좌측과 우측에 존재하는지 판별하기가 어렵기 때문에 각시점의 깊이 영상을 참조하여 2차원 영상에서 기준 점에 인접한 점으로부터 좌, 우측 판별을 하게 된다. 그리고 인접한 점이더라도 기준 점과의 거리를 계산하여 일정한 문턱치 값을 넘지않는 범위 내에서 표면 모델링을 수행하도록 하여 이상치를 제거했다. 이 과정까지 수행을 하면 최종적인 3차원 객체 모델을 가상공간 상에 복원할 수 있다.
따라서 이러한 색상 불일치의 문제점을 해결하기 위해 본 논문에서는 다시점 시스템의 3차원 기하학적 정보를 이용하여 색상 보정을 수행하는 방법을 기술한다. 다음으로 보정된 깊이 영상과 색상 영상을 이용하여 2차원의 점을 3차원 공간으로 보내는 3차원 워핑을 적용하여 통합된 3차원 공간상의 점군 모델을 만든다. 이때 점군 모델은 3차원 점으로만 표현되어 있으므로 점과 점사이가 비어 있어 보이게 된다.
먼저 Kinect로부터 얻은 원본 깊이 영상을 보정하기 위해 깊이 가중치를 추가한 결합형 양방향 필터를 수행했다. 다음으로 원본 색상 영상을 보정하기 위해 다시점 시스템의 3차원 기하학적 정보를 이용했다. 보정된 영상들을 이용하여 3차원 객체 복원을 수행한 결과가 원본의영상으로부터 복원된 3차원 객체보다 색상과 형태 관점에서 더 좋은 품질을 나타내는 것을 확인했다.
방법에 대해서 살펴보았다. 먼저 Kinect로부터 얻은 원본 깊이 영상을 보정하기 위해 깊이 가중치를 추가한 결합형 양방향 필터를 수행했다. 다음으로 원본 색상 영상을 보정하기 위해 다시점 시스템의 3차원 기하학적 정보를 이용했다.
본 과정으로는 먼저 Kinect 카메라로부터 얻은 원본의 색상과 깊이 영상들을 보정하는 작업을 수행한다. 첫 번째로 원본깊이 영상은 깊이 값을 가지지 않은 홀 부분을 많이 포함하고 있기 때문에 이를 주변 영역과 비교하여 적절한 깊이 값으로 채워주는 깊이 영상 보정 과정이 필요하다.
이를 이용하여 기준 시점에서의 화소가 대상 시점에서 어느 위치에 나타나 있는지를 확인할 수 있다. 본 논문에서는 3차원 워핑을 색상 영상 보정과 3차원 모델 정합에서 주로 사용한다. 식 (4)와 식(5)는 모두 3차원 워핑에 대한 내용을 나타내는 데 식 (4)는 2차원의 기준 시점에서 3차원 공간으로 이동하는 것을 나타내고 식 (5)는 3차원의 공간에서 2차원의 대상 시점으로 이동하는 것을 나타낸다.
능동형 방식은 적외선이나 초음파를 사용한 깊이 카메라를 이용하여 깊이값을 획득하는 방식으로 시중에 출시된 제품으로는 Mesa Imaging사의 SR4000과 Microsoft사의 Kinect가 있다. 본 논문에서는 구조광 방식을 이용하여 능동형 방식으로 깊이 값을 획득하는 Kinect를 이용해 다시점 시스템을 구성한 뒤 이를 3 차원 객체 복원에 사용했다.
본 논문에서는 다시점 색상 영상 불일치의 문제를 해결하기 위하여 다시점 시스템의 3차원 기하학적 정보를 이용한다. 그림 6은 제안하는 색상 영상 보정 방법의 흐름도를 나타낸 그림이다.
따라서 홀 영역에 적절한 깊이 값을 채우는 과정이 필요하게 된다. 본 논문에서는 이러한 깊이 영상 보정 과정을 결합형 양방향 필터를 이용하여 수행했다. 식 (1)은 결합형 양방향 필터를 나타낸다 [2],
첫번째로 기준 시점과 왼쪽의 Kinect 카메라에 대해서 쌍으로 색상 보정을 수행한다. 앞서 각 카메라에서 획득한 보정된 깊이 영상을 이용하여 왼쪽대상 시점에서 가운데 기준 시점으로 3차원 워핑을 수행한다. 이를 통해 두 시점에서 2차원상의 같은 위치를 나타내는 매칭점들을 추출한다.
반면에 보정을 한 결과는 기준 시점의 영상 톤에 맞게 색상이 변환 된 것을 알 수 있다. 이에 대해 정량적인 평가를 위해 각 RGB 값으로 표현된 대상 시점의 색상을 인간의 시각체계에 맞게 고안된 CIELab 색상 체계로 변환한 뒤에 기준 시점 색상과의 거리를 측정해보았다 [7]. 표 2는 그 결과를 나타낸다.
하지만 제안하는 방법을 적용한 깊이 영상은 홀영역과 경계 부분이 깔끔하게 채워진 것을 확인할 수 있다. 정량적인 평가를 위해 표 1에 깊이 영상의 전체 화소 수 대비 홀영 역 화소 수의 비율을 나타내는 bad pixel rate를 나타내었다.
Kinect를 대상 시점으로 정한다. 첫번째로 기준 시점과 왼쪽의 Kinect 카메라에 대해서 쌍으로 색상 보정을 수행한다. 앞서 각 카메라에서 획득한 보정된 깊이 영상을 이용하여 왼쪽대상 시점에서 가운데 기준 시점으로 3차원 워핑을 수행한다.
대상 데이터
이 평가에서 쓰인 원본 깊이 영상 샘플은 컴퓨터 비전 분야에서 널리 알려진 미들베리 사이트에서 제공하는 다시점 색상 영상을 이용하여 깊이 영상을 얻은 것이다. [4], 이 표를 통해 제안하는 방법이 전반적으로 bad pixel의 비율을 낮추는 것을 확인할 수 있다.
데이터처리
정제된 매칭점들을 이용해 색상 보정을 수행하는데 이때 사용되는 것이 다항 회귀 분석 방법이다. RGB 색상 가운데 먼저 日에 대해서 다항 회귀 분석을 수행한다. 대상 시점에서의 매칭점 R 색상을 이용해서 식 (6)과 같은 벡터 X를 구성한다.
성능/효과
이용하여 깊이 영상을 얻은 것이다. [4], 이 표를 통해 제안하는 방법이 전반적으로 bad pixel의 비율을 낮추는 것을 확인할 수 있다.
다음으로 원본 색상 영상을 보정하기 위해 다시점 시스템의 3차원 기하학적 정보를 이용했다. 보정된 영상들을 이용하여 3차원 객체 복원을 수행한 결과가 원본의영상으로부터 복원된 3차원 객체보다 색상과 형태 관점에서 더 좋은 품질을 나타내는 것을 확인했다. 이와 같은 저렴한 3차원 정보 획득 장치인 Kinect를 이용하여 구현된 다시점의 3차원 객체 복원 방법이 게임, 영화, 교육 등 다양한 분야에서 활용되기를 기대한다.
원본 영상에서의 대상 시점들은 CIELab 색상 체계에서 기준시점과의 거리가 다소 멀게 측정 되었지만 제안하는 색상 보정방법을 이용하여 색상을 보정한 후에는 두 개의 대상 시점 모두 보정 전보다 기준시점에 가깝게 측정된 것을 확인할 수 있다.
원본 깊이 영상은 책상 위의부분이나 물체의 경계부분에서 홀 영역이 많이 발생한 것을 확인할 수 있다. 하지만 제안하는 방법을 적용한 깊이 영상은 홀영역과 경계 부분이 깔끔하게 채워진 것을 확인할 수 있다. 정량적인 평가를 위해 표 1에 깊이 영상의 전체 화소 수 대비 홀영 역 화소 수의 비율을 나타내는 bad pixel rate를 나타내었다.
후속연구
보정된 영상들을 이용하여 3차원 객체 복원을 수행한 결과가 원본의영상으로부터 복원된 3차원 객체보다 색상과 형태 관점에서 더 좋은 품질을 나타내는 것을 확인했다. 이와 같은 저렴한 3차원 정보 획득 장치인 Kinect를 이용하여 구현된 다시점의 3차원 객체 복원 방법이 게임, 영화, 교육 등 다양한 분야에서 활용되기를 기대한다.
참고문헌 (8)
"Camera Calibration Toolbox for MA TLAB: http://www.vision.caltech.edu/bouguetj."
J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint Bilateral Upsampling," Proc. of ACM SIGGRAPH, pp. 1-5, New York, USA, Jan. 2007.
D. Shin and Y. Ho, "Real-time Depth Image Refinement using Hierarchical Joint Bilateral Filter," Journal of The Korean Sodety of Broadcast EngIneers, vol. 19, no. 2, pp. 140-147, Mar. 2014.
http://vision.middlebury.edu/stereo/data/
W. R. Mark, L. McMillan, and G. Bishop, "Post-rendering 3D Warping," Proc. of Symposium on Interactjve 3D Graphics, pp. 7-16, New York, USA, Apr. 1997.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.