[논문]Multi-view Stereo에서 Dense Point Cloud를 위한 Fusing 알고리즘

한현덕; 한종기

doi:10.5909/jbe.2020.25.5.798

Multi-view Stereo에서 Dense Point Cloud를 위한 Fusing 알고리즘
Fusing Algorithm for Dense Point Cloud in Multi-view Stereo 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.5, 2020년, pp.798 - 807

한현덕 (세종대학교 전자정보통신공학과) , 한종기 (세종대학교 전자정보통신공학과)

초록
AI-Helper

디지털 카메라와 휴대폰 카메라의 발달로 인해 이미지를 기반으로 3차원 물체를 복원하는 기술이 크게 발전했다. 하지만 Structure-from-Motion(SfM)과 Multi-view Stereo(MVS)를 이용한 결과인 dense point cloud에는 여전히 듬성한 영역이 존재한다. 이는 깊이 정보를 추정하는데 있는 어려움과, 깊이 지도를 point cloud로 fusing할 때 이웃 영상과의 깊이 정보가 불일치할 경우 깊이 정보를 삭제하고 point를 생성하지 않았기 때문이다. 본 논문에선 평면을 모델링하여 삭제된 깊이 정보에 새로운 깊이 정보를 부여하고 point를 생성하여 기존 결과보다 dense한 point cloud를 생성하는 알고리즘을 제안한다. 실험 결과를 통해 제안하는 알고리즘이 효과적으로 기존의 방법보다 dense한 point cloud를 생성함을 확인할 수 있다.

Abstract ▼ AI-Helper

As technologies using digital camera have been developed, 3D images can be constructed from the pictures captured by using multiple cameras. The 3D image data is represented in a form of point cloud which consists of 3D coordinate of the data and the related attributes. Various techniques have been proposed to construct the point cloud data. Among them, Structure-from-Motion (SfM) and Multi-view Stereo (MVS) are examples of the image-based technologies in this field. Based on the conventional research, the point cloud data generated from SfM and MVS may be sparse because the depth information may be incorrect and some data have been removed. In this paper, we propose an efficient algorithm to enhance the point cloud so that the density of the generated point cloud increases. Simulation results show that the proposed algorithm outperforms the conventional algorithms objectively and subjectively.

주제어

표/그림 (11)

그림 그림 1. [6][7]을 이용하여 생성한 point cloud Fig. 1. Point cloud resulted from [6] and [7]
그림 그림 2. [6]에서 제안하는 fusing 알고리즘에서 참조 카메라 C_r, point p_r과 이와 이웃하는 카메라 C₁, C₂, C₃, C₄와 point p₁, p₂, p₃, p₄ Fig. 2. Reference camera C_r and p_r with its neighbor cameras C₁, C₂, C₃, C₄ and points p₁, p₂, p₃, p₄ in [6]
그림 그림 3. Canny edge detection [13]과 BFS [14]로 추출한 영역 분류의 예시 Fig. 3. Examples of regions classified by Canny edge detection [13] and BFS [14]
그림 그림 4. Dilation을 적용한 후 BFS [14]로 추출한 영역 예시 Fig. 4. Examples of regions by applying BFS [14] after dilation of edges
그림 그림 5. 모델링한 평면과 평면의 유효성을 판단하기 위한 point와의 관계 Fig. 5. The relationship between the modeled plane and a point to judge the plane's validity of the modeled plane
그림 그림 6. 유효하지 못한 평면과 outlier가 포함된 유효한 평면 Fig. 6. (a) is invalid modeled plane and (b) is valid modeled plane which contains outlier
그림 그림 7. 휴대폰 카메라를 이용해 얻은 영상들에 다양한 알고리즘을 적용한 결과 생성된 point cloud Fig. 7. Point clouds resulted from various algorithms with pictures taken by cell phone
그림 그림 8. 휴대폰 카메라를 이용해 얻은 영상들에 다양한 알고리즘을 적용한 결과 생성된 point cloud Fig. 8. Point clouds resulted from various algorithms with pictures taken by cell phone
그림 그림 9. [17]에서 제공한 영상들에 다양한 알고리즘을 적용한 결과 생성된 point cloud Fig. 9. Point clouds resulted from various algorithms with pictures given by [17]
표 표 1. F1 점수 Table 1. F1 Scores
표 표 2. 이미지 수와 새로 추가된 point의 수에 따른 계산 시간 Table 2. Calculation times at various number of images

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에선 [6][7]과 같은 기존의 방법들이 깊이 지도를 fusing하여 point cloud를 만드는 단계에서 각각의 조건에 따라 point를 만드는 것을 포기하고 깊이 정보를 삭제한 픽셀들에게 올바른 깊이 정보를 부여하여 point로 생성될 수 있도록 하는 알고리즘을 제안한다.
본 논문에선 생성된 point cloud를 이용하여 평면을 모델링하여 깊이 지도를 fusing하는 단계에서 현재 영상의 깊이 정보와 이웃 영상의 깊이 정보가 불일치하여 깊이 정보가 제거된 픽셀에 새로 올바른 깊이 정보를 구해 point를 생성하도록 하는 알고리즘을 제안한다. 본 논문의 구성은 다음과 같다.
평면의 경우 edge 부근의 point만을 이용하더라도 유효한 평면을 모델링할 수 있지만 곡면의 경우 올바른 모델링을 하기 위해선 가운데 영역의 point의 기하 정보가 꼭 필요하다. 본 논문에선 정확한 point만을 추가하기 위해 기하 정보가 부족하여 정확한 모델링이 불가능한 곡면에 대해선 point를 추가하지 않고 edge 부근의 point만으로도 정확한 모델링이 가능한 평면에 대해서만 point를 추가하는 방법을 선택했다.
본 논문은 생성된 point cloud를 이용해 평면을 모델링하고 이를 기반으로 point를 생성하지 못하고 깊이 정보가 제거된 픽셀에 깊이 정보를 부여하여 point를 생성하도록 하는 알고리즘을 제안한다. 제안하는 알고리즘은 크게 두 단계로 구성된다.
본 논문은 영상들로부터 point cloud를 생성하는 기존의 MVS 방법들에 존재하는 sparse한 영역에 point를 추가하여 dense하게 만드는 알고리즘을 제안한다. 제안하는 방법은 생성된 point cloud를 이용하여 평면을 모델링하여 point가 존재하지 않는 픽셀에 새로 깊이 정보를 부여해 point를 생성할 수 있도록 하는 알고리즘이다.
앞서 그림 4의 (b), (c), (d)와 같이 영상의 edge로 둘러싸인 영역을 추출하고 나면 이 영역에 해당하는 픽셀들 중일부는 point cloud에 point가 존재하고 나머지는 point가존재하지 않는다. 우리의 목적은 이 point들을 이용해 평면을 모델링 한 후 point가 존재하지 않는 픽셀들에 올바른 깊이 정보를 부여하고 point로 생성되도록 하는 것이다.

제안 방법

Point cloud에서 평면을 모델링 할 때 사용할 point를 point cloud 상에서 고르는 것은 거의 불가능하고 가능하더라도 많은 계산을 요구한다. 따라서 본 논문에선 각 영상에서 평면을 모델링 할 때 사용할 영역을 추출하고 추출한 영역 중 깊이 정보, 법선 벡터와 같은 정보가 유효하여 point를 생성한 픽셀들을 이용하여 평면을 모델링한다.
모델링한 평면의 유효성을 확인하기 위해 앞서 추출한 영역 내에 존재하는 픽셀 중 point가 존재하는 픽셀의 point와 모델링한 평면에 수직으로 내린 거리가 일정 임계값 τ보다 작은 픽셀의 수를 구한다.
본 논문에선 dilation 의 방법으로 3*3 window를 움직여가며 window안에 edge 즉 ‘1’이 존재할 경우 window의 중앙 픽셀의 값을 ‘1’로 설정하는 방법을 사용했다.
본 논문에선 edge로 둘러싸인 영역을 추출하기 위해 ‘0’에 해당하는 픽셀을 방문해야 할 노드, ‘1’ 에 해당하는 노드를 방문한 노드로 설정했고 변경된 값은 다음 영역을 찾을 때도 유지하여 다음 영역을 추출할 때 포함되지 않도록 했다.
3차원 물체를 복원하는 기술을 간단히 소개하면 다음과 같다. 우선 이미지들의 특징점을 [1][2]와 같은 방법을 이용하여 추출하고 특징점 매칭쌍을 구해 카메라 내부 파라미터와 외부 파라미터를 구한다. 이와 같은 과정을 거쳐 sparse point cloud를 생성할 수 있고 이를 Structurefrom-Motion(SfM)^[3][4]이라고 한다.
본 논문은 영상들로부터 point cloud를 생성하는 기존의 MVS 방법들에 존재하는 sparse한 영역에 point를 추가하여 dense하게 만드는 알고리즘을 제안한다. 제안하는 방법은 생성된 point cloud를 이용하여 평면을 모델링하여 point가 존재하지 않는 픽셀에 새로 깊이 정보를 부여해 point를 생성할 수 있도록 하는 알고리즘이다. Ⅳ장에서 실험을 통해 제안하는 알고리즘이 효과적으로 sparse한 영역에 point 를 추가하여 dense하게 바꿀 수 있음을 증명했지만 여전히 연구가 필요한 부분이 존재한다.
제안하는 알고리즘은 point cloud가 생성된 상태에서 추가적으로 point를 생성하기 위한 알고리즘으로 [6]의 방법에 추가적으로 제안하는 알고리즘을 적용하여 [6][7]을 이용한 실험 결과와 다양한 영상들을 이용해 비교했다. 그림 7은 휴대폰 카메라를 이용하여 촬영한 영상들을 이용하여 point cloud를 생성한 결과를 나타낸다.
MVS에서 sparse point cloud를 dense하게 만드는 과정은 크게 두 개의 과정으로 볼 수 있다. 첫 번째 과정은 SfM에서 구한 카메라 내부 파라미터와 외부 파라미터를 이용해 각각의 영상마다 깊이 정보를 추정하여 깊이 지도를 생성한다. 두 번째 과정은 앞서 추정한 깊이 지도를 이용하여 각 영상의 픽셀마다 추정된 깊이 정보 값을 이웃 영상의 픽셀에서 추정된 깊이 정보 값과 비교한다.
제안하는 알고리즘은 크게 두 단계로 구성된다. 첫 번째로 각 이미지를 Canny edge detection [13]을 이용하여 영상의 edge를 추출하고, 이를 이용해 각 영상마다 평면을 모델링하는데 사용할 영역을 골라내는 단계다. 두 번째 단계에선 평면을 모델링할 영역에서 point가 존재하는 픽셀들을 이용하여 평면을 모델링하고 깊이 정보가 없는 pixel에 올바른 깊이 정보를 부여하여 point를 생성해 내는 단계로 구성된다.

이론/모형

즉, edge를 따라서 영상을 분할한 후 edge로 둘러싸인 영역을 추출하면 추출된 영역의 가장자리의 픽셀들은 대부분 point가 존재하고 이를 이용해 평면을 모델링 한 후 추출한 영역 에서 point가 없는 픽셀에 새로 올바른 깊이 정보를 부여할 수 있기 때문에 edge detection을 사용하여 영상을 분할한다. 영상에서 edge로 둘러싸인 영역을 추출하는 방법으로는 BFS(Breadth First Search) [14]를 사용했고 이 과정의 결과를 그림 3이 나타낸다. 그림 3의 (a)는 원본 영상이고(b)는 원본 영상에서 Canny edge detection을 이용해 edge를 추출한 영상이다.
영상을 분할하는 방법은 여러 방법이 존재하지만 본 논문에선 Canny edge detection을 사용한다. Edge detection을 사용하는 이유는 edge가 존재하는 영역에서 edge가 없는 영역보다 이웃 영상과의 시차를 구하기 쉽고 보다 정확한 깊이 정보가 구해져 point가 잘 생성되기 때문이다.
기본적으로 평면을 모델링하기 위해선 3개의 point가 필요하다. 우리는 평면을 모델링할 때 고르는 3개의 point에 outlier가 포함되는 것을 방지하기 위해 RANSAC [16]을사용했다. 월드 좌표계에 point cloud로 존재하는 하나의point (x₀,y₀,z₀)를 지나고 법선벡터가 #인 평면의 방정식은 식 (1)과 같다.

성능/효과

기존의 알고리즘으로 생성된 point가 그림 9처럼 충분하다면 제안하는 알고리즘을 적용했을 때 더욱 큰 효과를 볼 수 있고 모델링된 평면의 유효성을 판단할 때 고정된 임계값을 사용하더라도 기존의 방법을 능가하는 성능을 보임을 확인했다.
영역 내에 존재하는 픽셀 중 point가 존재하는 픽셀의 수와 앞서 구한 수의 비율을 구하여 이 비율이 일정한 값 γ 이상인 경우에 유효한 평면으로 판단했다.
제안하는 알고리즘을 적용한 결과는 기존의 방법을 이용한 결과보다 dense한 point cloud를 생성함을 확인할 수 있다.
추가적으로 연구가 필요한 부분도 존재하지만 실험결과에서 보였다시피 제안하는 알고리즘은 평면 영역에서 효과적으로 point cloud의 sparse한 영역을 개선시킬 수 있다.
그림 4의 (b), (c), (d), (e), (f)는 그림 4의 (a)에서 BFS를 이용하여 edge로 둘러싸인 영역을 추출한 결과로 영역을 빨간색을 이용해 나타냈다. 추출된 영역은 모두 평면으로 평면을 모델링하기 적합한 영역을 잘 추출함을 확인할 수 있다.
표 1은 제안하는 알고리즘을 이용한 point cloud가 제안하는 알고리즘을 적용하지 않은 point cloud보다 좋은 성능을 보인다는 것을 객관적으로 보여준다. 표 1의 F1 score는 완성도와 정확성을 고려하여 더 좋은 결과일수록 더 높은 F1 score를 부여하는 [17]에서 제안한 방법이다.
표 2는 제안하는 알고리즘을 [6]에서 제안한 방법에 추가로 적용했을 때 추가적으로 걸리는 시간을 이미지의 수와 생성된 point의 수에 따라 나타낸다. 표 2를 보면 제안하는 알고리즘을 추가로 적용했을 때 걸리는 시간이 이미지의 수와 생성되는 point의 수가 많더라도 3분 이내임을 확인할수 있다. 이는 앞서 깊이 지도를 구하는 과정에서 수십 분이 소요된다는 점을 생각했을 때 상당히 적은 시간으로 볼 수 있다.

후속연구

또한 모델링한 평면의 유효성을 판단할 때 사용한 임계값 τ와 γ에 대한 고찰도 필요하다. 본 논문에선 여러 실험에 근거하여 각각 0.004와 0.99를 임계값으로 사용했지만 실험 결과에 노이즈가 많이 포함된 경우 보다 최적화된 임계값을 적응적으로 결정하여 사용한다면 더 좋은 결과를 얻을 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Point cloud의 완성도와 quality를 높이기 위한 기존의 연구는 크게 두 분류로 나눌 수 있는데 이는 무엇인가?	Point cloud의 완성도와 quality를 높이기 위한 기존의 연구는 크게 두 분류로 나눌 수 있다. 하나는 깊이 정보를 추정하는 방법[10][11]에 대한 연구이고 또 다른 하나는 깊이 지도를 fusing하는 방법[6][7]에 대한 연구다.
	Dense point cloud에서 sparse한 부분이 존재하게 되는 이유는 무엇인가?	MVS를 이용하면 dense point cloud를 얻을 수 있지만 여전히 sparse한 부분이 존재할 수 있다. Dense point cloud에서 sparse한 부분이 존재하게 되는 이유는 영상에 특징이 없을 경우 깊이 정보를 추정할 때 정확한 깊이 정보를 구하기 힘들기 때문이다. 깊이 정보를 추정하는 단계에서 영상에 특징이 없는 부분은 이웃 영상과의 시차를 정확히 구하기가 힘들어 부정확한 깊이 정보를 추정하게 된다.
	MVS에서 sparse point cloud를 dense하게 만드는 두 개의 과정은 무엇인가?	MVS에서 sparse point cloud를 dense하게 만드는 과정은 크게 두 개의 과정으로 볼 수 있다. 첫 번째 과정은 SfM에서 구한 카메라 내부 파라미터와 외부 파라미터를 이용해 각각의 영상마다 깊이 정보를 추정하여 깊이 지도를 생성한다. 두 번째 과정은 앞서 추정한 깊이 지도를 이용하여 각 영상의 픽셀마다 추정된 깊이 정보 값을 이웃 영상의 픽셀에서 추정된 깊이 정보 값과 비교한다. 이를 이용해 월드 좌표계에 알맞은 위치를 구하고 point를 생성하는 과정이 깊이 지도를 fusing하는 과정이다.

참고문헌 (17)

D. Lowe, "Distinctive image features from scale-invariant keypoints," IJCV, 2004
P. F. Alcantarilla, A. Bartoli, and A. J. Davison, "KAZE features," In Eur. Conf. on Computer Vision (ECCV), pages 214-227, 2012.
N. Snavely, S. M. Seitz, and R. Szeliski, "Modeling the world from internet photo collections," Int. J. Comput. Vis., vol. 80, no. 2, pp. 189-210, 2008.

상세보기
Schonberger JL, and Frahm JM: Structure-from-motion revisited. In: Agapito L, Berg T, Kosecka J, et al. (eds) Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, June, 2016
M. Goesele, B. Curless, and S. M. Seitz, "Multi-View Stereo Revisited," Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, Washington, DC, USA, pp. 2402-2409, 2006.
Shuhan Shen, "Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes," IEEE transactions on image processing, 22(5):1901-1914, 2013.

상세보기
Johannes L. Schonberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys, "Pixelwise View Selection for Unstructured Multi-View Stereo," In European Conference on Computer Vision, pages 501-518. Springer, 2016.
M. Jancosek and T. Pajdla. "Multi-view reconstruction preserving weakly-supported surfaces," In Proc. CVPR, 2011.
Zhou, Y.; Shen, S.; Hu, Z. "Detail Preserved Surface Reconstruction from Point Cloud," Sensors, 2019, 19(6): 1278, doi:10.3390/s19061278.

상세보기
Michael Bleyer, Christoph Rhemann, and Carsten Rother, "Patchmatch Stereo-Stereo Matching with Slanted Support Windows," In BMVC, volume 11, pages 1-11, 2011.
A. Romanoni and M. Matteucci. "TAPA-MVS: Texturelessaware PatchMatch multi-view stereo," In IEEE International Conference on Computer Vision (ICCV), Seoul, Korea, 2019.
Michael Van den Bergh, Xavier Boix, Gemma Roig, and Luc Van Gool, "SEEDS: Superpixels Extracted via Energy-Driven Sampling," International Journal of Computer Vision, 111(3):298-314, 2015.

상세보기
B. Green, "Canny Edge Detection Tutorial", http://www.pages.drexel.edu/-weg22/can_tut.html, 2002.
E. F. Moore, "The shortest path through a maze," In Int. Symp. on Th. of Switching, pp. 285-292, 1959.
Pierre Soille, Morphological image analysis: Principles and applications. 2nd edition. Berlin, Germany: Springer-Verlag, 2003.
M. A. Fischler and R. C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Communications of the ACM, vol. 24, no. 6, pp. 381-395, Jun. 1981.

상세보기
T. Schops, J. L. Schonberger, S. Galliani, T. Sattler, K. Schindler, M. Pollefeys, A. Geiger, "A Multi-View Stereo Benchmark with High-Resolution Images and Multi-Camera Videos," Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증