[논문]가상 텍스쳐 영상과 실촬영 영상간 매칭을 위한 특징점 기반 알고리즘 성능 비교 연구

이유진; 이수암

doi:10.7780/kjrs.2022.38.6.1.7

가상 텍스쳐 영상과 실촬영 영상간 매칭을 위한 특징점 기반 알고리즘 성능 비교 연구
Study of Feature Based Algorithm Performance Comparison for Image Matching between Virtual Texture Image and Real Image 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.1, 2022년, pp.1057 - 1068

이유진 ((주)쓰리디랩스 영상공학연구소) , 이수암 ((주)쓰리디랩스 영상공학연구소)

초록
AI-Helper

본 논문은 모바일 기반의 실시간 영상 측위 기술 개발을 목표로 사용자가 촬영한 사진과 가상의 텍스쳐 영상 간의 매칭 가능성 확인 연구로 특징점 기반의 매칭 알고리즘의 조합 성능을 비교했다. 특징점 기반의 매칭 알고리즘은 특징점(feature)을 추출하는 과정과 추출된 특징점을 설명하는 서술자(descriptor)를 계산하는 과정, 최종적으로 서로 다른 영상에서 추출된 서술자를 매칭하고, 잘못 매칭된 특징점을 제거하는 과정으로 이루어진다. 이때 매칭 알고리즘 조합을 위해, 특징점을 추출하는 과정과 서술자를 계산하는 과정을 각각 같거나 다르게 조합하여 매칭 성능을 비교하였다. 가상 실내 텍스쳐 영상을 위해 V-World 3D 데스크탑을 활용하였다. 현재 V-World 3D 데스크톱에서는 수직·수평적 돌출부 및 함몰부와 같은 디테일이 보강되었다. 또한, 실제 영상 텍스쳐가 입혀진 레벨로 구축되어 있어, 이를 활용하여 가상 실내 텍스쳐 데이터를 기준영상으로 구성하고, 동일한 위치에서 직접 촬영하여 실험 데이터셋을 구성하였다. 데이터셋 구축 후, 매칭 알고리즘들로 매칭 성공률과 처리 시간을 측정하였고, 이를 바탕으로 매칭 성능 향상을 위해 매칭 알고리즘 조합을 결정하였다. 본 연구에서는 매칭 기법마다 가진 특장점을 기반으로 매칭 알고리즘을 조합하여 구축한 데이터셋에 적용해 적용 가능성을 확인하였고, 추가적으로 회전요소가 고려되었을 때의 성능 비교도 함께 수행하였다. 연구 결과, Scale Invariant Feature Transform (SIFT)의 feature와 descriptor 조합이 가장 매칭 성공률이 좋았지만 처리 소요 시간이 가장 큰 것을 확인할 수 있었고, Features from Accelerated Segment Test (FAST)의 feature와 Oriented FAST and Rotated BRIEF (ORB)의 descriptor 조합의 경우, SIFT-SIFT 조합과 유사한 매칭 성공률을 가지면서 처리 소요 시간도 우수하였다. 나아가, FAST-ORB의 경우, 10°의 회전이 데이터셋에 적용되었을 때에도 매칭 성능이 우세함을 확인하였다. 따라서 종합적으로 가상 텍스쳐 영상과 실영상간 매칭을 위해서 FAST-ORB 조합의 매칭 알고리즘이 적합한 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

This paper compares the combination performance of feature point-based matching algorithms as a study to confirm the matching possibility between image taken by a user and a virtual texture image with the goal of developing mobile-based real-time image positioning technology. The feature based matching algorithm includes process of extracting features, calculating descriptors, matching features from both images, and finally eliminating mismatched features. At this time, for matching algorithm combination, we combined the process of extracting features and the process of calculating descriptors in the same or different matching algorithm respectively. V-World 3D desktop was used for the virtual indoor texture image. Currently, V-World 3D desktop is reinforced with details such as vertical and horizontal protrusions and dents. In addition, levels with real image textures. Using this, we constructed dataset with virtual indoor texture data as a reference image, and real image shooting at the same location as a target image. After constructing dataset, matching success rate and matching processing time were measured, and based on this, matching algorithm combination was determined for matching real image with virtual image. In this study, based on the characteristics of each matching technique, the matching algorithm was combined and applied to the constructed dataset to confirm the applicability, and performance comparison was also performed when the rotation was additionally considered. As a result of study, it was confirmed that the combination of Scale Invariant Feature Transform (SIFT)'s feature and descriptor detection had the highest matching success rate, but matching processing time was longest. And in the case of Features from Accelerated Segment Test (FAST)'s feature detector and Oriented FAST and Rotated BRIEF (ORB)'s descriptor calculation, the matching success rate was similar to that of SIFT-SIFT combination, while matching processing time was short. Furthermore, in case of FAST-ORB, it was confirmed that the matching performance was superior even when 10° rotation was applied to the dataset. Therefore, it was confirmed that the matching algorithm of FAST-ORB combination could be suitable for matching between virtual texture image and real image.

주제어

표/그림 (11)

그림 Fig. 1. Flow of experiment.
표 Table 1. Smart phone specification used for capture
표 Table 2. Dataset used for experiment
표 Table 2. Continued
표 Table 4. Performance results per image matching algorithm combination for each dataset
표 Table 3. Specification of computing environment
그림 Fig. 2. Matching performance per image matching algorithm combination for each dataset.
표 Table 5. Matching results (SIFT-SIFT, FAST-ORB) per matched image
표 Table 5. Continued
그림 Fig. 3. Matching performance per image matching algorithm with dataset that applied rotation (5°-15°).
표 Table 6. Performance result per matching between forward image and rotated image

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 가상 텍스쳐 영상과 실촬영 영상간 매칭 성능 향상을 위한 알고리즘 조합을 제안하였다. 가상 텍스쳐 영상으로 V-World의 실내공간정보 컨텐츠를 활용하였으며, 해당 뷰포인트에 맞추어 직접 촬영한 영상과 매칭을 수행하였다.

제안 방법

마지막으로, 입력한 기준/타겟 영상을 조합된 각 매칭 알고리즘을 통해 매칭을 수행하고 매칭 성공률(%)과 매칭 소요 시간(ms)을 측정하여 가상 텍스쳐 영상과 실촬영 영상간의 매칭 성능 향상을 위한 매칭 알고리즘 조합을 결정하였다. 나아가 데이터셋의 회전 조건에 따라 매칭 성능에 영향을 미치기에, 타 연구사례에서 제안된 매칭 알고리즘을 본 연구의 데이터셋에 적용하여 매칭 성능을 분석하였다. 이때, 해당 연구사례에서 데이터셋에 적용한 회전 조건을 본 연구의 데이터셋에 적용하였을 때에도 제안된 매칭 알고리즘이 최적의 성능을 갖는지 분석하였다.
대조군 형성을 위해, 본 연구에서 구성한 데이터셋 중 핵심 구조물 외 배경에서도 유사한 밝기값 및 구조를 가졌던 데이터셋 B를 대표로 하여 정면을 바라보는 실체 촬영 영상(B_R0)과 10° 회전한 실제 촬영 영상(B_R10)간에 매칭을 수행하고, 비교군 형성을 위해, 정면을 바라보는 가상 텍스쳐 영상(B_V0)과 5°, 10°, 15° 회전한 실제 촬영 영상(B_R10) 간의 매칭을 수행하였고, 회전의 요소가 미치는 영향을 확인하기 위해 핵심 구조물 내에서만 매칭을 수행할 수 있도록 하였다
매칭 알고리즘의 조합을 결정하기 위해서 매칭 알고리즘별 특장점을 기반으로 알고리즘을 조합하였다. 마지막으로, 입력한 기준/타겟 영상을 조합된 각 매칭 알고리즘을 통해 매칭을 수행하고 매칭 성공률(%)과 매칭 소요 시간(ms)을 측정하여 가상 텍스쳐 영상과 실촬영 영상간의 매칭 성능 향상을 위한 매칭 알고리즘 조합을 결정하였다. 나아가 데이터셋의 회전 조건에 따라 매칭 성능에 영향을 미치기에, 타 연구사례에서 제안된 매칭 알고리즘을 본 연구의 데이터셋에 적용하여 매칭 성능을 분석하였다.
가상 텍스쳐 영상으로 V-World의 실내공간정보 컨텐츠를 활용하였으며, 해당 뷰포인트에 맞추어 직접 촬영한 영상과 매칭을 수행하였다. 매칭 알고리즘 조합은 매칭 알고리즘 별 특장점을 조합해 후보로 선정하였으며, 매칭 성능 평가를 위해 추출된 최종 매칭점들 중 매칭에 성공한 점의 비율을 계산하였고, 매칭에 소요된 시간을 측정하였다. 정면이 촬영된 두 영상 간의 매칭을 위해서는 SIFT-SIFT, FAST-ORB, ORB-ORB 조합의 매칭 알고리즘이 매칭 성공률이 높게 측정되었으며 FAST-ORB 매칭 알고리즘의 경우 SIFT-SIFT 매칭 알고리즘에 비해 매칭 소요 시간이 작게 측정되었고, 동일한 구조물이 2개이상 존재하는 영상간의 매칭에도 ORB-ORB 매칭 알고리즘에 비해 우수한 매칭 성능을 보였다.
이때, 두 영상이 갖는 뷰포인트를 일치시켜 정면을 바라보도록 영상을 촬영하였다. 매칭 알고리즘의 조합을 결정하기 위해서 매칭 알고리즘별 특장점을 기반으로 알고리즘을 조합하였다. 마지막으로, 입력한 기준/타겟 영상을 조합된 각 매칭 알고리즘을 통해 매칭을 수행하고 매칭 성공률(%)과 매칭 소요 시간(ms)을 측정하여 가상 텍스쳐 영상과 실촬영 영상간의 매칭 성능 향상을 위한 매칭 알고리즘 조합을 결정하였다.
Set H는 두 영상간 핵심 구조물의 형태가 변형되었지만 특징점 추출에 용이한 텍스쳐가 풍부하다는 특징이 있다. 본 논문에서는 데이터셋 별로 매칭을 수행해 매칭 성능을 분석하였고, 각 데이터셋이 가진 특징을 기반으로 매칭 성능을 분석하였다.
영상 기반의 실시간 측위는 영상 센서에서의 정밀 모델링 및 표정요소 추정을 통해 영상 내기하를 해석하여 상대 위치를 결정하고, 영상 촬영 당시의 자세값을 추정하는 기술이다. 본 논문에서는 특징점(feature) 기반의 영상 매칭(image matching) 알고리즘을 통해 기준자료와 사용자의 촬영물로부터 매칭점을 추출함으로써 측위 이전 단계에서 초기 사용자 위치를 추정하는데 추출된 매칭점을 활용할 수 있다.
Feature detection과 image matching 기술에 대한 다양한 성능 평가기법들이 존재한다. 본 연구에서는 최종 연산된 Inlier 매칭점(number of inlier, NI)들이 실제로 각 영상에서 매칭에 성공한 매칭점(number of success matching, NSM)인지 확인해 성공한 점의 수를 나타내어 이에 대한 비율(matching success rate, MSR)을 계산하였으며, feature 추출과 descriptor 연산에 소요된 시간 (matching process time, MPT)을 micro seconds 단위로 측정하였다. 매칭 성능은 Table 3에 기술한 컴퓨팅 환경에서 Table 4와 같이 계산되었으며, 이를 Fig.
나아가 데이터셋의 회전 조건에 따라 매칭 성능에 영향을 미치기에, 타 연구사례에서 제안된 매칭 알고리즘을 본 연구의 데이터셋에 적용하여 매칭 성능을 분석하였다. 이때, 해당 연구사례에서 데이터셋에 적용한 회전 조건을 본 연구의 데이터셋에 적용하였을 때에도 제안된 매칭 알고리즘이 최적의 성능을 갖는지 분석하였다.

대상 데이터

본 논문에서는 가상 텍스쳐 영상과 실촬영 영상간 매칭 성능 향상을 위한 알고리즘 조합을 제안하였다. 가상 텍스쳐 영상으로 V-World의 실내공간정보 컨텐츠를 활용하였으며, 해당 뷰포인트에 맞추어 직접 촬영한 영상과 매칭을 수행하였다. 매칭 알고리즘 조합은 매칭 알고리즘 별 특장점을 조합해 후보로 선정하였으며, 매칭 성능 평가를 위해 추출된 최종 매칭점들 중 매칭에 성공한 점의 비율을 계산하였고, 매칭에 소요된 시간을 측정하였다.
가상의 텍스쳐 영상은 V-World 3D 데스크탑의 실내 공간정보서비스를 이용하였고, 실촬영 영상과 동일한 뷰포인트로 View 각도를 고정한 상태에서 객체를 캡쳐해 데이터를 취득하였다. 실촬영 영상은 스마트폰 기기로 가상 텍스쳐 영상과 동일한 객체를 촬영하였고, 이때 카메라 센서의 자동 초점 잡기 기능을 꺼 배경 블러가 없는 상태에서 촬영하였다.
기준 이미지(reference image)로는 V-World에서 취득한 가상 텍스쳐 영상을 입력하고, 타겟 이미지(target image)로는 실제 카메라로 촬영한 영상을 입력하였다. 이때, 두 영상이 갖는 뷰포인트를 일치시켜 정면을 바라보도록 영상을 촬영하였다.
가상의 텍스쳐 영상은 V-World 3D 데스크탑의 실내 공간정보서비스를 이용하였고, 실촬영 영상과 동일한 뷰포인트로 View 각도를 고정한 상태에서 객체를 캡쳐해 데이터를 취득하였다. 실촬영 영상은 스마트폰 기기로 가상 텍스쳐 영상과 동일한 객체를 촬영하였고, 이때 카메라 센서의 자동 초점 잡기 기능을 꺼 배경 블러가 없는 상태에서 촬영하였다. Table 1에 촬영에 활용한 스마트폰 기기의 사양을 나타내었고, Table 2에 연구를 위해 각 플랫폼을 통해 구축한 데이터의 영상과 크기를 나타내었다.

성능/효과

정면이 촬영된 두 영상 간의 매칭을 위해서는 SIFT-SIFT, FAST-ORB, ORB-ORB 조합의 매칭 알고리즘이 매칭 성공률이 높게 측정되었으며 FAST-ORB 매칭 알고리즘의 경우 SIFT-SIFT 매칭 알고리즘에 비해 매칭 소요 시간이 작게 측정되었고, 동일한 구조물이 2개이상 존재하는 영상간의 매칭에도 ORB-ORB 매칭 알고리즘에 비해 우수한 매칭 성능을 보였다. 따라서, 가상 텍스쳐 영상과 실촬영 영상간 매칭을 위해 FAST-ORB 매칭 조합으로 매칭을 수행할 때 실시간 매칭이 가능함을 보였다.
매칭 알고리즘 조합은 매칭 알고리즘 별 특장점을 조합해 후보로 선정하였으며, 매칭 성능 평가를 위해 추출된 최종 매칭점들 중 매칭에 성공한 점의 비율을 계산하였고, 매칭에 소요된 시간을 측정하였다. 정면이 촬영된 두 영상 간의 매칭을 위해서는 SIFT-SIFT, FAST-ORB, ORB-ORB 조합의 매칭 알고리즘이 매칭 성공률이 높게 측정되었으며 FAST-ORB 매칭 알고리즘의 경우 SIFT-SIFT 매칭 알고리즘에 비해 매칭 소요 시간이 작게 측정되었고, 동일한 구조물이 2개이상 존재하는 영상간의 매칭에도 ORB-ORB 매칭 알고리즘에 비해 우수한 매칭 성능을 보였다. 따라서, 가상 텍스쳐 영상과 실촬영 영상간 매칭을 위해 FAST-ORB 매칭 조합으로 매칭을 수행할 때 실시간 매칭이 가능함을 보였다.

후속연구

향후 연구에서는 회전 및 배경 변화로부터 발생한 매칭 오류를 보완하는 연구가 수행될 필요가 있다. 또한, 본 논문에서 제안한 매칭 알고리즘을 실외 가상 텍스쳐 건물 영상과 실촬영 영상에 적용하여 매칭 성능을 분석하고, 이에 영향을 주는 변수를 통제하기 위한 추가적인 기술을 고안하여 매칭 알고리즘과 함께 적용한다면 실시간 실외 영상측위에 적용할 수 있을 것으로 기대한다.
향후 연구에서는 회전 및 배경 변화로부터 발생한 매칭 오류를 보완하는 연구가 수행될 필요가 있다. 또한, 본 논문에서 제안한 매칭 알고리즘을 실외 가상 텍스쳐 건물 영상과 실촬영 영상에 적용하여 매칭 성능을 분석하고, 이에 영향을 주는 변수를 통제하기 위한 추가적인 기술을 고안하여 매칭 알고리즘과 함께 적용한다면 실시간 실외 영상측위에 적용할 수 있을 것으로 기대한다.

참고문헌 (17)

Bay, H., T. Tuytelaars, and L.-V. Gool, 2006. SURF: Speeded up robust features, In: Leonardis, A., Bischof, H., Pinz, A. (eds), Computer Vision - ECCV 2006, Springer, Berlin, Heidelberg, Germany, vol. 3951, pp. 404-417. https://doi.org/10.1007/11744023_32

상세보기
Bayraktar, E. and P. Boyraz, 2017. Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics, Turkish Journal of Electrical Engineering and Computer Sciences, 25(3): 2444-2454. https://doi.org/10.3906/elk-1602-225

상세보기
Bookstein, A., V.-A. Kulyukin, and T. Raita, 2002. Generalized hamming distance, Information Retrieval, 5(4): 353-375. https://doi.org/10.1023/A:1020499411651

상세보기
Figat, J., T. Kornuta, and W. Kasprzak, 2014. Performance evaluation of binary descriptors of local features, In: Chmielewski, L.J., Kozera, R., Shin, B.S., Wojciechowski, K. (eds), ICCVG 2014: Computer Vision and Graphics, Springer, Cham, Switzerland, vol. 8671, pp. 187-194. https://doi.org/10.1007/978-3-319-11331-9_23

상세보기
Jiang, X., J. Ma, G. Xiao, Z. Shao, and X. Guo, 2021. A review of multimodal image matching: Methods and applications, Information Fusion, 73: 22-71. https://doi.org/10.1016/j.inffus.2021.02.012

상세보기
Jung, H.J. and J.-S. Yoo, 2015. Feature matching algorithm robust to viewpoint change, The Journal of Korean Institute of Communications and Information Sciences, 40(12): 2363-2371. https://doi.org/10.7840/kics.2015.40.12.2363

원문보기 상세보기
Kang, S.C., I.-T. Whoang, and K.-N. Choi, 2009. A Scheme for Matching Satellite Images Using SIFT, Journal of Internet Computing and Services, 10(4): 13-23.
Karami, E., S. Prasad, and M. Shehata, 2017. Image matching using SIFT, SURF, BRIEF and ORB: Performance comparison for distorted images, arXiv preprint arXiv:1710.02726. https://doi.org/10.48550/arXiv.1710.02726
Kim, H.S., J.-H. Kim, D.-H. Kim, and I.-C. Kim, 2014. Design of a Real-Time Visual Loop Closure Detector using Key Frame Images, Proc. of the 2014 Fall Conference of the Korea Information Processing Society, Busan, Korea, Nov. 7-8, vol. 21, pp. 809-812. https://doi.org/10.3745/PKIPS.y2014m11a.809
Kim, J.H., J.-W. Ko, and J. Yoo, 2016. A panorama image generation method using FAST algorithm, Journal of the Korea Institute of Information and Communication Engineering, 20(3): 630-638. https://doi.org/10.6109/jkiice.2016.20.3.630

원문보기 상세보기
Kim, J.H., K.-M. Koo, C.-K. Kim, and E.-Y. Cha, 2012. SURF algorithm to improve correspondence point using geometric features, Proc. of the Korean Society of Computer Information Conference, Busan, Korea, Jul. 12-14, pp. 43-46.
Lee, Y.H., J.-H. Park, and Y. Kim, 2013. Comparative Analysis of the Performance of SIFT and SURF, Journal of the Semiconductor & Display Technology, 12(3): 59-64 (in Korean with English abstract).
Luo, C., W. Yang, P. Huang, and J. Zhou, 2019. Overview of image matching based on ORB algorithm, Journal of Physics: Conference Series, 1237(3): 032020. https://doi.org/10.1088/1742-6596/1237/3/032020

상세보기
Pena, M. G., 2011. A comparative Study of three image matching algorithms: SIFT, SURF, and FAST, Utah State University, Logan, UT, USA.
Rublee, E., V. Rabaud, K. Konolige, and G. Bradski, 2011. ORB: An efficient alternative to SIFT or SURF, Proc. of 2011 International Conference on Computer Vision, Barcelona, Spain, Nov. 6-13, pp. 2564-2571. https://doi.org/10.1109/ICCV.2011.6126544
Tomono, M., 2010. 3D localization based on visual odometry and landmark recognition using image edge points, Proc. of 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, Oct. 18-22, pp. 5953-5959. https://doi.org/10.1109/IROS.2010.5649853
Yildirim, I., F. Demirtas, B. Gulmez, U.-M. Leloglu, M. Yaman, and E.-T. Guneyi, 2019. Comparison of image matching algorithms on satellite images taken in different seasons, Proc. of Turkiye Ulusal Fotogrametri ve Uzaktan Algilama Birligi Teknik Sempozyumu, Aksaray, Turkiye, Apr. 25-27, pp. 323-330. https://hdl.handle.net/11511/77295

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증