[논문]정사모자이크 제작을 위한 Agisoft Metashape의 병렬처리 성능 평가

한수희; 홍창기

doi:10.7848/ksgpc.2019.37.6.427

[국내논문] 정사모자이크 제작을 위한 Agisoft Metashape의 병렬처리 성능 평가
Assessment of Parallel Computing Performance of Agisoft Metashape for Orthomosaic Generation 원문보기

한국측량학회지 = Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, v.37 no.6, 2019년, pp.427 - 434

한수희 (Dept. of Geoinformatics Engineering, Kyungil University) , 홍창기 (Dept. of Geoinformatics Engineering, Kyungil University)

초록
AI-Helper

본 연구에서는 SfM (Structure from Motion) 기술을 기반으로 항공삼각측량을 수행하고 3차원 포인트 클라우드를 생성하며 정사모자이크를 제작할 수 있는 Agisoft Metashape의 병렬처리 성능을 평가하였다. SfM의 속성상 상호표정에 해당하는 Align photos와 3차원 포인트 클라우드를 생성하는 Build dense cloud가 대부분의 시간을 차지하는데, Metashape에서는 이러한 과정에서 CPU (Central Processing Unit)의 다중코어와 함께 GPU (Graphics Processing Unit)를 이용하여 병렬처리를 수행할 수 있다. 세 가지 병렬처리 방법(CPU only, GPU only, CPU + GPU)과 두 가지 운영체제(Windows, Linux)를 조합하여 총 여섯 가지 조건으로 대용량 무인기 영상으로부터 정사모자이크를 제작하였다. 아울러 사용자의 개입 없이 자동화된 방법으로 영상에서 지상기준점을 인식하여 항공삼각측량의 RMSE (Root Mean Square Error)를 측정함으로써 각 조건에 따른 결과의 일관성을 평가하였다. 4220만 화소의 무인기 영상 521장으로부터 정사모자이크를 제작한 결과, 본 연구에서 사용한 시스템에서는 CPU와 GPU의 조합이 가장 나은 성능을 나타내었고 모든 조건에서 Linux가 Windows보다 나은 성능을 나타내었다. 그러나 항공삼각측량의 RMSE를 측정한 결과, 각 설정에 따른 RMSE 값에서 오차 범위 안에서 미세한 차이가 나타났다. 따라서 Metashape는 운영체제 및 병렬처리 여부에 관계없이 동일한 결과가 도출되도록 개선할 여지가 있는 것으로 판단된다.

Abstract ▼ AI-Helper

In the present study, we assessed the parallel computing performance of Agisoft Metashape for orthomosaic generation, which can implement aerial triangulation, generate a three-dimensional point cloud, and make an orthomosaic based on SfM (Structure from Motion) technology. Due to the nature of SfM, most of the time is spent on Align photos, which runs as a relative orientation, and Build dense cloud, which generates a three-dimensional point cloud. Metashape can parallelize the two processes by using multi-cores of CPU (Central Processing Unit) and GPU (Graphics Processing Unit). An orthomosaic was created from large UAV (Unmanned Aerial Vehicle) images by six conditions combined by three parallel methods (CPU only, GPU only, and CPU + GPU) and two operating systems (Windows and Linux). To assess the consistency of the results of the conditions, RMSE (Root Mean Square Error) of aerial triangulation was measured using ground control points which were automatically detected on the images without human intervention. The results of orthomosaic generation from 521 UAV images of 42.2 million pixels showed that the combination of CPU and GPU showed the best performance using the present system, and Linux showed better performance than Windows in all conditions. However, the RMSE values of aerial triangulation revealed a slight difference within an error range among the combinations. Therefore, Metashape seems to leave things to be desired so that the consistency is obtained regardless of parallel methods and operating systems.

주제어

표/그림 (9)

그림 Fig. 1. Aerial targets detectable in Metashape (Han and Hong, 2017)
표 Table 1. Minimal workﬂow to generate an orthomosaic in Metashape
표 Table 2. Alternative workﬂow proposed by the present study
표 Table 3. Speciﬁcations of UAV
표 Table 4. Speciﬁcations of system and software
표 Table 5. Speciﬁcations of image and ﬂight
그림 Fig. 2. Placement of GCPs
표 Table 6. 3D coordinates of GCPs (unit: meter)
표 Table 7. Processing results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Metashape는 대용량 영상의 처리 시간을 단축하기 위하여 CPU 기반, GPU 기반, network cluster 기반, cloud 기반 병렬처리를 지원한다. 본 연구에서는 Metashape를 이용하여 대용량 무인기 영상으로부터 정사모자이크를 신속하게 생성하기 위한 최적 병렬처리 방법과 운영체제를 제시하는 것을 목표로 한다. 또한 항공삼각측량의 RMSE (Root Mean Square Error)를 계산하여 병렬처리 방법 및 운영체제의 차이에 따른 결과의 일관성을 확인하고자 한다.
본 연구에서는 Metashape를 이용하여 대용량 무인기 영상으로부터 정사모자이크를 신속하게 생성하기 위한 최적 병렬처리 방법과 운영체제를 제시하는 것을 목표로 한다. 또한 항공삼각측량의 RMSE (Root Mean Square Error)를 계산하여 병렬처리 방법 및 운영체제의 차이에 따른 결과의 일관성을 확인하고자 한다. 이때 자동화된 방법으로 영상에 지상기준점을 표시하여 사용자에 의한 오차를 제거하고자 한다.
또한 항공삼각측량의 RMSE (Root Mean Square Error)를 계산하여 병렬처리 방법 및 운영체제의 차이에 따른 결과의 일관성을 확인하고자 한다. 이때 자동화된 방법으로 영상에 지상기준점을 표시하여 사용자에 의한 오차를 제거하고자 한다. 단, 병렬처리 방법은 CPU only, GPU only, CPU + GPU로 한정하며 network cluster와 cloud 방식은 적용하지 않는다.
본 연구에서는 SfM을 기반으로 항공삼각측량 및 3차원 포인트 클라우드를 자동으로 생성하는 Metashape를 이용하여 대용량 무인기 영상으로부터 정사모자이크를 제작하기 위한 병렬처리 성능을 평가하였다. SfM의 속성상 상호표정에 해당하는 align photos와 3차원 포인트 클라우드를 생성하는 build dense cloud가 대부분의 시간을 소요하는데, Metashape에서는 이러한 과정에서 CPU의 다중코어뿐만 아니라 GPU를 이용하여 병렬처리를 수행할 수 있다.
향후 연구에서는 network cluster와 cloud를 이용한 병렬처리 성능 개선 효과를 검증하고자 한다. 아울러 향후 출시되는 버전의 Metashape에서는 운영체제 및 병렬처리 여부에 상관없이 일관된 결과가 도출되는지 검증하고자 한다.

제안 방법

이를 위하여 Metashape에서 제공하는 특별한 형식의 대공 표지(Fig. 1)를 출력하여(tools – markers – print markers) 촬영 대상 지역에 설치하고, 대공 표지의 자동 인식 및 중심점 디지타이징도 Metashpe의 자동 인식 기능을 이용한다(tools – markers – detect markers).
SfM의 두 번째 과정은 영상의 표정과 dense 포인트 클라우드 생성으로 구성된다. 먼저, 번들 조정을 통하여 각 영상의 표정 요소와 특징점들로 구성된 sparse 포인트 클라우드의 3차원 좌표를 상대적인 값으로 계산한다. 이는 전통적인 항공삼각측량의 상호표정에 해당한다고 볼 수 있다.
이후 공간전방교회를 통해 특징점쌍의 3차원 좌표를 계산한다. 다음으로, 앞에서 산출한 표정 요소를 이용하여 영상쌍에서 중복된 영역을 대상으로 상세한 자동 매칭을 수행한다. 이 과정을 통해 대량의 3차원 포인트를 생성하여 dense 포인트 클라우드를 구성한다.
Metashape의 병렬처리 성능과 결과물의 일관성을 평가하기 위하여, GPU 사용 여부에 따른 처리 시간을 비교하고 지상기준점을 사용하여 항공삼각측량의 RMSE를 측정한다. 다만, 사용자가 지상기준점을 입력하는 과정에서 정확도의 차이가 발생할 수 있으므로 지상기준점 입력은 자동화된 방법을 사용한다.
정사모자이크 제작에 사용한 영상의 제원과 영상 취득과 관련된 설정 내역은 Table 5와 같다. 모든 영상은 raw 형식으로 촬영하여 비손실 압축 tiff로 변환하였으며, F-stop 값은 4.5, 노출 시간은 1/1000초, ISO는 100으로 고정하였다. 무인기는 이륙 위치로부터 약 83m 고도에서 최대 속도 5 m/s로 비행하였으며, 약 15분간 1000매 이상의 영상을 촬영하여 그 중 지상기준점 인근의 영상 541매를 선택하였다.
영상입력으로부터 정사모자이크 제작까지의 각 과정마다 도출된 결과를 확인하기 위하여 리포트를 생성하였다(file – export – generate report).
본 연구에서는 CPU only, GPU only, CPU + GPU의 병렬처리 방법과 Windows, Linux의 운영체제를 조합하여 총 여섯 가지 조건으로 정사모자이크를 제작하였다. 각 조건에 의한 항공삼각측량 결과의 RMSE 평가는 Table 6의 모든 지상기준점을 이용하여 수행하였다.
일반적으로 지상기준점과 검사점을 구분하여 지상기준점으로는 항공삼각측량을 수행하고 검사점으로는 결과의 정확도를 평가한다. 그러나 본 연구에서는 병렬처리방법와 운영체제에 따른 일관성 검증을 목표로 하므로 지상기준점과 검사점을 구분하지 않고 RMSE를 평가하였다.
Table 2의 정사모자이크 제작 과정 중 첫 번째 과정과 두 번째 과정(영상입력, 대공 표지 입력, 지상기준점 좌표 입력)을 제외한 나머지 과정을 batch process로 진행하면서 각 과정에 소요된 시간을 측정하였다. Align photos는 accuracy를, build dense cloud는 quality를 선택할 수 있는데, 실험에 지나친 시간이 소요되지 않도록 두 과정 모두 medium quality를 선택하였으며, 나머지 과정에서는 기본 옵션을 선택하였다.
Table 2의 정사모자이크 제작 과정 중 첫 번째 과정과 두 번째 과정(영상입력, 대공 표지 입력, 지상기준점 좌표 입력)을 제외한 나머지 과정을 batch process로 진행하면서 각 과정에 소요된 시간을 측정하였다. Align photos는 accuracy를, build dense cloud는 quality를 선택할 수 있는데, 실험에 지나친 시간이 소요되지 않도록 두 과정 모두 medium quality를 선택하였으며, 나머지 과정에서는 기본 옵션을 선택하였다. 영상입력으로부터 정사모자이크 제작까지의 각 과정마다 도출된 결과를 확인하기 위하여 리포트를 생성하였다(file – export – generate report).

대상 데이터

무인기는 DJI Matrice 600으로서 Ronix MX 짐벌을 탑재하고 있으며 최대 적재 중량은 6kg, 최대 적재 시 비행 시간은 15분 정도이다. 카메라는 35mm CMOS를 탑재한 미러리스 카메라로서 약 4220만 화소의 영상을 취득할 수 있으며, 렌즈는 단렌즈로서 제조사에서 발표한 초점거리는 55mm이다. 처리는 동일한 컴퓨터에서 Windows와 Linux로 부팅하여 Windows 버전과 Linux 버전 Metasahpe를 사용하여 수행하였다.
5, 노출 시간은 1/1000초, ISO는 100으로 고정하였다. 무인기는 이륙 위치로부터 약 83m 고도에서 최대 속도 5 m/s로 비행하였으며, 약 15분간 1000매 이상의 영상을 촬영하여 그 중 지상기준점 인근의 영상 541매를 선택하였다.

데이터처리

본 연구에서는 CPU only, GPU only, CPU + GPU의 병렬처리 방법과 Windows, Linux의 운영체제를 조합하여 총 여섯 가지 조건으로 정사모자이크를 제작하였다. 각 조건에 의한 항공삼각측량 결과의 RMSE 평가는 Table 6의 모든 지상기준점을 이용하여 수행하였다. 일반적으로 지상기준점과 검사점을 구분하여 지상기준점으로는 항공삼각측량을 수행하고 검사점으로는 결과의 정확도를 평가한다.

이론/모형

이는 전통적인 항공삼각측량의 상호표정에 해당한다고 볼 수 있다. 이를 위해 approximate nearest neighbour(Arya et al., 1998)와 random sample consensus(Fischler and Bolles, 1987)를 이용하여 서로 다른 영상에 존재하는 동일 특징점쌍을 찾는다. 특징점쌍은 닮음 변환(similarity transformation)에 기반한 관계식에서 영상의 표정 요소를 최소제곱조정으로 산출하기 위한 구속조건으로 사용한다.

성능/효과

SfM의 속성상 상호표정에 해당하는 align photos와 3차원 포인트 클라우드를 생성하는 build dense cloud가 대부분의 시간을 소요하는데, Metashape에서는 이러한 과정에서 CPU의 다중코어뿐만 아니라 GPU를 이용하여 병렬처리를 수행할 수 있다. CPU only, GPU only, CPU + GPU의 병렬처리 방법과 Windows와 Linux의 운영체제를 조합한 여섯 가지 조건에서 정사모자이크를 제작한 결과, Linux에서 Windows보다 대체로 나은 성능을 나타내었고 GPU를 사용하는 방법에서 CPU만을 사용하는 방법보다 월등한 성능을 나타내었다. 따라서 GPU를 사용하여 병렬처리를 수행하는 것이 바람직하다고 볼 수 있다.
GPU를 사용한다면 Linux와 Windows의 성능 차이는 현저하게 줄어드므로 운영체제의 선택은 크게 중요하지 않은 것으로 판단된다. 그러나 지상기준점을 이용하여 항공삼각측량의 RMSE를 비교한 결과, 각 조건에 따른 RMSE 값에서 오차 범위 안의 미세한 차이가 나타났다. 따라서 Metashape는 운영체제 및 병렬처리 여부에 관계없이 동일한 결과가 도출되도록 개선할 여지가 있는 것으로 판단된다.
가자 많은 시간이 소요되는 build dense cloud 과정에서, CPU only 방법은 Linux가 Windows에 비해 약 1.6배의 성능을 나타내었고, GPU only 또는 GPU + CPU 방법은 근소한 차이로 나은 성능을 나타내었다.
지상기준점을 이용한 항공삼각측량 결과의 RMSE 비교에서는 다소의 문제점을 발견할 수 있었다. 여섯 가지 조건에서 측정된 RMSE를 비교하면 센티미터 단위로 소수점 이하 두 자리부터 서로 다르다는 것을 확인할 수 있다. 이는 미터 단위로 입력한 지상기준점의 유효 숫자 이하의 차이로서 실질적인 정확도에는 차이가 없다고 보아도 무방하다.
보다 근본적으로는 소프트웨어의 설계 및 구현에 보다 세심한 주의가 필요했던 것으로 판단할 수 있다. 결과로는 dense 포인트 클라우드의 포인트 수, DEM과 정사모자이크의 크기도 조금씩 다르게 나타났다.

후속연구

(2019)은 1억 화소의 중형 DSLR 카메라를 무인기에 장착하여 초고해상도, 초대용량 광학 영상을 취득하기 위한 연구를 수행하였다. 향후 초고해상도 무인기 영상의 수요 증가와 함께 카메라의 해상도도 지속적으로 향상될 것으로 전망된다.
향후 연구에서는 network cluster와 cloud를 이용한 병렬처리 성능 개선 효과를 검증하고자 한다. 아울러 향후 출시되는 버전의 Metashape에서는 운영체제 및 병렬처리 여부에 상관없이 일관된 결과가 도출되는지 검증하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Metashape란 무엇인가?	Metashape는 대상물을 다각도에서 촬영한 영상으로부터 3차원 포인트 클라우드 및 메쉬를 자동 생성하는 범용 소프트웨어이다. 뿐만 아니라 카메라 내/외부 표정요소 산출, 지상기준점 입력, DEM (Digital Elevation Model) 생성, 정사영상 및 정사 모자이크 생성 등을 자동화하여 항공사진측량 및 도화 분야에도 널리 활용되고 있다.
	무인기를 활용한 연구의 대표적인 분야에는 어떤 것들이 있는가?	최근 무인기(UAV: Unmanned Aerial Vehicle)에서 취득한 고해상도 광학 영상으로부터 대상물에 대한 상세한 정보를 취득하고자 하는 연구가 여러 분야에서 활발히 수행되고 있다. 대표적인 분야로는 광범위 지형 도화(Gao et al., 2019), 송전선/선로 등의 선형 개체 탐사(Zhang et al., 2017; Singh et al., 2017), 건축물의균열탐지(Kim et al., 2017)를들수있다.
	높은 해상도의 영상을 취득하기 위해 비행 고도를 낮추어 발생하는 단점은 무엇인가?	, 2017)를들수있다. 이러한목표를달성하기 위해서는 비행 고도를 낮추어 높은 해상도의 영상을 취득해야 하나 비행 고도를 낮추는 것은 안전상의 문제를 일으킴과 더불어 제한된 비행 시간 동안 촬영할 수 있는 면적이 줄어드는 단점이 있다. 따라서 적정 비행 고도와 속도, 카메라의 노출시간및구경을유지하는비행설계가필요하며, 보다근본적으로는 고해상도의 카메라와 고품질의 렌즈를 사용해야 한다(Han, 2017).

참고문헌 (15)

Arya, S., Mount, D.M., Netanyahu, N.S., Silverman, R., and Wu, A.Y. (2007), An optimal algorithm for approximate nearest neighbor searching fixed dimensions, Journal of the ACM, Vol. 45, No. 6, pp. 891-923.
Bianco, S., Ciocca, G., and Marelli, D. (2018), Evaluating the performance of structure from motion pipelines, Journal of Imaging, Vol. 4, No. 8:98.

상세보기
Fischler, M.A. and Bolles, R.C. (1981), Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, Vol. 24, No. 6, pp. 381-395.

상세보기
Gao, M., Xu, X., Klinger, Y., Woerd, J. van der, and Tapponnier, P. (2017), High-resolution mapping based on an unmanned aerial vehicle (UAV) to capture paleoseismic offsets along the Altyn-Tagh fault, China, Scientific Reports, Vol. 7:8281.

상세보기
Han, S. (2017), High-resolution and high-definition image acquisition using UAV and high-precision aerial triangulation, Journal of Korean Society for Geospatial Information Science, Vol. 25, No. 3, pp. 101-109. (in Korean with English abstract)

상세보기
Han, S. and Hong, C.-K. (2017), Acquisition of subcentimeter GSD images using UAV and analysis of visual resolution, Journal of the Korean Society of Survey, Geodesy, Photogrammetry, and Cartography, Vol. 35, No. 6, pp. 563-572. (in Korean with English abstract)
Kim, H., Lee, J., Ahn, E., Cho, S., Shin, M., and Sim, S.-H. (2017), Concrete crack identification using a UAV incorporating hybrid image processing, Sensors, Vol. 17, No. 9:2052.

상세보기
Laporte-Fauret, Q., Marieu, V., Castelle, B., Michalet, R., Bujan, S., and Rosebery, D. (2019), Low-cost UAV for high-resolution and large-scale coastal dune change monitoring using photogrammetry, Journal of Marine Science and Engineering, Vol. 7, No. 3:63.

상세보기
Lee, J., Choi, H., and Kim, D. (2019), Accuracy evaluation of stereo plotting with medium format camera image acquired by a drone, Fall Conference of Korean Society for Geospatial Information Science, 31 May-1 June, Busan, South Korea. (in Korean)
Lowe, D.G. (2004), Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110.

상세보기
Luhmann, T., Chizhova, M., Gorkovchuk, D., Hastedt, H., Chachava, N., and Lekveishvili, N. (2019), Combination of terrestrial laserscanning, UAV and close-range photogrammetry for 3D reconstruction of complex churches in Georgia, 2nd International Conference of Geomatics and Restoration, 8-10 May, Milan, Italy, pp. 753-761.
Micheletti, N., Chandler, J., and Lane, S.N. (2015), Structure from motion (SFM) photogrammetry, In: Clarke, L.E. and Nield, J.M. (Eds.), Geomorphological Techniques (Online Edition), British Society for Geomorphology, London, Chap. 2, Sec. 2.2.
Singh, A.K., Swarup, A., Agarwal, A., and Singh, D. (2017), Vision based rail track extraction and monitoring through drone imagery, ICT Express, In press.
Westoby, M.J., Brasington, J., Glasser, N.F., Hambrey, M.J., and Reynolds, J.M. (2012), 'Structure-from-Motion' photogrammetry: A low-cost, effective tool for geoscience applications, Geomorphology, Vol. 179, pp. 300-314.

상세보기
Zhang, Y., Yuan, X., Li, W., and Chen, S. (2019), Automatic power line inspection using UAV images, Remote Sensing, Vol. 9, No. 8:824.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증