[논문]모바일 애플리케이션을 위한 특징점 검출 연산자의 비교 분석

이용환; 김흥준

모바일 애플리케이션을 위한 특징점 검출 연산자의 비교 분석
Evaluation of Feature Extraction and Matching Algorithms for the use of Mobile Application 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.14 no.4, 2015년, pp.56 - 60

이용환 (극동대학교 스마트모바일학과) , 김흥준 (경남과학기술대학교 컴퓨터공학과)

Abstract ▼ AI-Helper

Mobile devices like smartphones and tablets are becoming increasingly capable in terms of processing power. Although they are already used in computer vision, no comparable measurement experiments of the popular feature extraction algorithm have been made yet. That is, local feature descriptors are widely used in many computer vision applications, and recently various methods have been proposed. While there are many evaluations have focused on various aspects of local features, matching accuracy, however there are no comparisons considering on speed trade-offs of recent descriptors such as ORB, FAST and BRISK. In this paper, we try to provide a performance evaluation of feature descriptors, and compare their matching precision and speed in KD-Tree setup with efficient computation of Hamming distance. The experimental results show that the recently proposed real valued descriptors such as ORB and FAST outperform state-of-the-art descriptors such SIFT and SURF in both, speed-up efficiency and precision/recall.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

실험에서 각각의 알고리즘을 통해 검출된 특징점이 여러 변형된 영상을 대상으로 유일성을 확보하면서 정합 과정에서 일치성을 분석한다. 본 논문에서는 특징 추출 및 정합의 정확도와 처리 시간을 주요 평가 지표로 설정하고, 여러 특징 추출 알고리즘을 대상으로 모바일 애플리케이션 적용성을 평가하여 검증하는 것이 본 논문의 주요 연구 목적이다.
본 논문의 목적은 다양한 응용 분야에서 활용되는 영상 매칭 기술을 모바일에 적용하기 위해 성능적 분석을 실험적으로 비교 평가하기 위함이다. 이를 통해 모바일 디바이스에서 애플리케이션을 수행함에 있어 성능 향상을 위해 보다 적절한 기술자를 선택하는 지침을 제공하고 한다.
은 효율적 매칭 수행 시간이다. 본 실험에서는 SURF의 순차적 검색 대비 각 기술자의 속도 효율성을 계산하여 평가하였다. 이에 대한 결과는 Table 2와 같다.
본 논문의 목적은 다양한 응용 분야에서 활용되는 영상 매칭 기술을 모바일에 적용하기 위해 성능적 분석을 실험적으로 비교 평가하기 위함이다. 이를 통해 모바일 디바이스에서 애플리케이션을 수행함에 있어 성능 향상을 위해 보다 적절한 기술자를 선택하는 지침을 제공하고 한다.

제안 방법

구현 단계에서 컴퓨터 비전의 대표적인 오픈 라이브러리인 OpenCV 3.0을 활용하였으며 [10], 구현 환경으로, Mac OSX 10.11 EI Capitan 운영체제가 설치된 MacAir, Xcode 7.1 통합 환경에서 Objective-C와 C++를 이용하여 구현하였다. 구현된 소스 코드는 iPhone6로 포팅하여 모바일 환경에서 동작시켰다.
논문에서는 영상의 특징점을 추출하고 관심 점을 중심으로 영상 매칭을 수행하는 여러 알고리즘에 대해 살펴보고, 컴퓨터 비전 공개 라이브러리인 OpenCV를 활용하여 구현하고 각 기술자들을 성능적으로 비교 분석하였다. 아이폰에서 각 기술자의 특징 추출 시간을 조사하고, KD-Tree를 기반으로 특징점을 저장하고 해밍 브루트포스 거리(Hamming Bruteforce Distance)를 적용하여 특징 매칭의 정확도를 평가하였다.
본 연구에서는 컴퓨터 비전과 증강현실 애플리케이션에서 많이 활용되고 있는 SIFT, SURF, ORB, FAST, BRIEF 를 이용하여 고해상도 영상에서 특징점을 검출하고 영상 정합과정에서 특징점 연산의 효율성을 실험적으로 비교 검증한다. 이를 통해 모바일 애플리케이션에서 특징점 연산자가 얼마나 효율적으로 영상을 식별할 수 있는지를 분석한다.
서로 다른 영상에서 픽셀 강도, 색상, 에지 등을 기반하여 특징점을 추출하는 기술자 (Descriptor)에 대한 연구가 꾸준하게 진행되고 있으며[2], 본 연구에서는 제안된 여러 기술자들 중에서 양호한 성능을 보이는 기술자들을 선별하여 분석한다. 분석 대상은 SIFT (Scale Invariant Feature Transform) [4], SURF (SpeededUp Robust Feature) [5], FAST (Features from Accelerated Segment Test) [6], ORB (Oriented FAST and Rotated BRIEF) [1], BRISK (Binary Robust Invariant Scalable Keypoints) [7], MSER (Maximally Stable Extremal Regions) [8], A-KAZE (Accelerated-KAZE) [9]으로 한다.
이를 통해 모바일 애플리케이션에서 특징점 연산자가 얼마나 효율적으로 영상을 식별할 수 있는지를 분석한다. 실험에서 각각의 알고리즘을 통해 검출된 특징점이 여러 변형된 영상을 대상으로 유일성을 확보하면서 정합 과정에서 일치성을 분석한다. 본 논문에서는 특징 추출 및 정합의 정확도와 처리 시간을 주요 평가 지표로 설정하고, 여러 특징 추출 알고리즘을 대상으로 모바일 애플리케이션 적용성을 평가하여 검증하는 것이 본 논문의 주요 연구 목적이다.
논문에서는 영상의 특징점을 추출하고 관심 점을 중심으로 영상 매칭을 수행하는 여러 알고리즘에 대해 살펴보고, 컴퓨터 비전 공개 라이브러리인 OpenCV를 활용하여 구현하고 각 기술자들을 성능적으로 비교 분석하였다. 아이폰에서 각 기술자의 특징 추출 시간을 조사하고, KD-Tree를 기반으로 특징점을 저장하고 해밍 브루트포스 거리(Hamming Bruteforce Distance)를 적용하여 특징 매칭의 정확도를 평가하였다. 실험 결과에서 ORB, FAST와 BRISK가 SIFT와 SURF보다 처리시간 측면이나 메모리 효율성에서 좋은 성능을 보였으며, 정확성과 소환성에서도 비교 우위를 가진 것으로 나타났다.
본 연구에서는 컴퓨터 비전과 증강현실 애플리케이션에서 많이 활용되고 있는 SIFT, SURF, ORB, FAST, BRIEF 를 이용하여 고해상도 영상에서 특징점을 검출하고 영상 정합과정에서 특징점 연산의 효율성을 실험적으로 비교 검증한다. 이를 통해 모바일 애플리케이션에서 특징점 연산자가 얼마나 효율적으로 영상을 식별할 수 있는지를 분석한다. 실험에서 각각의 알고리즘을 통해 검출된 특징점이 여러 변형된 영상을 대상으로 유일성을 확보하면서 정합 과정에서 일치성을 분석한다.
본 절에서는 알고리즘의 효율성을 검증하기 위해, 1,020개의 영상을 대상으로 실험 평가를 한다. 평가 항목으로는 특징 추출 시간, 특징점 매칭 정확도와 해밍 거리에 따른 매칭 수준을 선정하여 각 항목에 대한 실험 평가를 수행한다. FAST를 제외한 모든 특징 추출 기술자는 해당 기술자를 제안하였던 논문에서 주어진 기본 매개변수를 적용하여 결과 값을 얻었다.
평균 특징 추출 시간과 매칭 시간의 단순 절대 비교 이외에, 기술자의 처리속도를 비교 분석하기 위해, 속도 효율성을 평가한다(수식 1). 이는 각 기술자를 처리하기 위해 추출 저장하는 특징점의 자료구조 레벨 차이에서 발생하는 요소를 최소화하여 공평하게 객관적 비교가 가능하다.

대상 데이터

본 절에서는 알고리즘의 효율성을 검증하기 위해, 1,020개의 영상을 대상으로 실험 평가를 한다. 평가 항목으로는 특징 추출 시간, 특징점 매칭 정확도와 해밍 거리에 따른 매칭 수준을 선정하여 각 항목에 대한 실험 평가를 수행한다.
서로 다른 영상에서 픽셀 강도, 색상, 에지 등을 기반하여 특징점을 추출하는 기술자 (Descriptor)에 대한 연구가 꾸준하게 진행되고 있으며[2], 본 연구에서는 제안된 여러 기술자들 중에서 양호한 성능을 보이는 기술자들을 선별하여 분석한다. 분석 대상은 SIFT (Scale Invariant Feature Transform) [4], SURF (SpeededUp Robust Feature) [5], FAST (Features from Accelerated Segment Test) [6], ORB (Oriented FAST and Rotated BRIEF) [1], BRISK (Binary Robust Invariant Scalable Keypoints) [7], MSER (Maximally Stable Extremal Regions) [8], A-KAZE (Accelerated-KAZE) [9]으로 한다.

데이터처리

각 기술자에 대한 특징점 매칭 시간을 평가한 결과는 Table 1에 함께 나타나 있다. 비교 평가의 공정성을 고려하여 각 기술자의 매개변수를 조정하여 1,000개 수준의 특징점을 추출하여 평균 매칭 시간을 계산하였다. 평균 매칭 시간에서 ORB가 가장 빠른 것으로 나타났으며, 산술적으로 계산하여 SIFT보다 대략 45배 빠른 결과를 보였다.

성능/효과

각 기술자에 대한 정확성과 소환성 산출 결과는 Table 3과 같다. SIFT와 SURF에서 다른 기술자에 비해 좋은 성능을 보였으며, ORB, FAST와 BRISK도 실험대상을 기준으로 적정한 성능을 가졌다.
SURF 기술자의 매칭 처리는 SIFT 보다 대략 3.4배 빠른 속도 효율성을 보였으며, SURF와 SIFT의 ε 값에 따라 차이가 있을 수도 있지만 정확성과 소환성에서 보다 낮은 성능을 보였다.
4배 빠른 속도 효율성을 보였으며, SURF와 SIFT의 ε 값에 따라 차이가 있을 수도 있지만 정확성과 소환성에서 보다 낮은 성능을 보였다. 또한 대용량 데이터베이스인 경우 KD-Tree에 따라 계산 복잡도가 선형적으로 증가한다는 것을 확인하였다.
실험 결과, 추출 특징점 대비 추출시간을 고려하면 ORB, MSER, BRISK, FAST 기술자가 비교적 좋은 성능을 보였다. 속도효율성 측면에서는 ORB, FAST, SURF가 다른 기술자에 비해 상대적으로 높은 효율성을 보였으며, 정확성 측면에서는 SIFT, SURF, ORB가 상대적으로 높은 성능을 보였다. 이러한 실험적 수치를 통해, 모바일 환경에서 영상을 처리하는 애플리케이션에서는 ORB, FAST가 보다 적합한 특징 기술자로 활용될 수 있다.
실험 결과, 추출 특징점 대비 추출시간을 고려하면 ORB, MSER, BRISK, FAST 기술자가 비교적 좋은 성능을 보였다. 속도효율성 측면에서는 ORB, FAST, SURF가 다른 기술자에 비해 상대적으로 높은 효율성을 보였으며, 정확성 측면에서는 SIFT, SURF, ORB가 상대적으로 높은 성능을 보였다.
아이폰에서 각 기술자의 특징 추출 시간을 조사하고, KD-Tree를 기반으로 특징점을 저장하고 해밍 브루트포스 거리(Hamming Bruteforce Distance)를 적용하여 특징 매칭의 정확도를 평가하였다. 실험 결과에서 ORB, FAST와 BRISK가 SIFT와 SURF보다 처리시간 측면이나 메모리 효율성에서 좋은 성능을 보였으며, 정확성과 소환성에서도 비교 우위를 가진 것으로 나타났다.
해당 값은 정확도와 매칭 시간을 고려하고 데이터베이스에 저장된 특징의 수와 기술자의 크기를 반영하여 반복적 실험을 통해 경험적으로 뽑은 값이다. 실험에서 32바이트 크기를 갖는 ORB 기술자가 가장 빠른 처리 효율성을 보였다. SURF 기술자의 매칭 처리는 SIFT 보다 대략 3.
각 기술자에 대한 매개변수와 영상의 구조에 따라 약간의 차이는 있을 수 있지만, 매개변수 설정을 유사 수준으로 맞췄을 때, Table 1에 의하면, 다중 스케일 FAST 에서 가장 많은 특징점을, MSER에서 가장 적은 특징점을 추출하였다. 특징 추출 시간측면에서 가장 효율적으로 나타난 FAST는 SURF에 비해 대략 34배 정도, MSER보다 22배 정도 빠르며, 처리시간은 하나의 영상에 대해 3 ms 정도 걸린 것으로 나타났다.
비교 평가의 공정성을 고려하여 각 기술자의 매개변수를 조정하여 1,000개 수준의 특징점을 추출하여 평균 매칭 시간을 계산하였다. 평균 매칭 시간에서 ORB가 가장 빠른 것으로 나타났으며, 산술적으로 계산하여 SIFT보다 대략 45배 빠른 결과를 보였다. ORB 다음으로 BRISK가 빠른 결과를 보였다.
각 기술자에 대한 평균 특징 추출 시간과 추출하는 주요점(keypoint)의 개수는 Table 1과 같다. 해당 결과는 Graffiti와 Corel color image데이터로부터 얻은 1,000개 영상에 대한 평균 처리시간과 평균 특징점 개 수다. 각 기술자에 대한 매개변수와 영상의 구조에 따라 약간의 차이는 있을 수 있지만, 매개변수 설정을 유사 수준으로 맞췄을 때, Table 1에 의하면, 다중 스케일 FAST 에서 가장 많은 특징점을, MSER에서 가장 적은 특징점을 추출하였다.

후속연구

이러한 기술은 증강 현실(Augmented Reality)에서의 정합과 머신 비전의 객체 인식, 실시간 추적 등의 핵심 기술이 되며, 산업에서 필요한 요소 기술과 서비스에 흡수될 수 있다. 수행된 결과에 따라, 모바일 환경에서 이미지 검색, 이미지 정합, 증강현실에서의 가상객체와 실세계 객체간의 매핑 등으로 확장하여 연구할 계획이다. 추가적으로, 본 연구에서 다루지 않은 LIOP (Local Intensity Order Pattern), BRIEF (Binary Robust Independent Elementary Features), MRRID (Multi-support Region Rotation and Intensity Monotonic Invariant Descriptor), MROGH (Multi-support Region Order-based Gradient Histogram) 등의 기술자에 대한 평가도 진행할 예정이다.
속도효율성 측면에서는 ORB, FAST, SURF가 다른 기술자에 비해 상대적으로 높은 효율성을 보였으며, 정확성 측면에서는 SIFT, SURF, ORB가 상대적으로 높은 성능을 보였다. 이러한 실험적 수치를 통해, 모바일 환경에서 영상을 처리하는 애플리케이션에서는 ORB, FAST가 보다 적합한 특징 기술자로 활용될 수 있다.
수행된 결과에 따라, 모바일 환경에서 이미지 검색, 이미지 정합, 증강현실에서의 가상객체와 실세계 객체간의 매핑 등으로 확장하여 연구할 계획이다. 추가적으로, 본 연구에서 다루지 않은 LIOP (Local Intensity Order Pattern), BRIEF (Binary Robust Independent Elementary Features), MRRID (Multi-support Region Rotation and Intensity Monotonic Invariant Descriptor), MROGH (Multi-support Region Order-based Gradient Histogram) 등의 기술자에 대한 평가도 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상에서 성능적으로 우수한 특징점을 검출하기 위한 조건은 무엇인가?	컴퓨터 비전, 멀티미디어 검색, 패턴 인식 등 다양한 분야에서 이러한 영상 특징 검출 및 매칭 방법이 연구되고 있다. 성능적으로 우수한 특징점을 검출하기 위해서는 객체의 형태나 크기, 위치에 변화가 생기더라도 식별이 용이해야 한다. 또한 카메라 시점이나 조명에 변화에도 특징점 위치를 쉽게 검출해야 한다. 이러한 조건을 만족하기 위한 특징점은 주로 객체의 외곽선에 기반하여 코너점(Corner point)을 추출하는 것이 좋다[2].
	영상에서 주요 특징점을 검출하여 비교하는 방법은 어떤 상황에서 이용되는가?	영상에서 객체를 인식하거나 추적할 때, 영상을 비교 연산하거나 매칭할 때 또는 대용량 영상 데이터베이스에서 검색을 수행할 때, 가장 일반적으로 사용되는 방법이 영상에서 주요 특징점을 검출하여 비교하는 것이다[1]. 컴퓨터 비전, 멀티미디어 검색, 패턴 인식 등 다양한 분야에서 이러한 영상 특징 검출 및 매칭 방법이 연구되고 있다.
	영상에서 특징점 추출 방식 2가지는 무엇인가?	특징점 추출 방식은 크게 2개로 분류된다. 첫 번째는 공간 영역(Spatial domain)에서 영상의 밝기 정보를 기반으로 밝기 값 변화의 크기 및 기울기를 활용하는 방법이며, 두 번째는 웨이블릿 변환(Wavelet transformation)을 적용하여 주파수 영역(Frequency domain)에서 특징점을 추출하는 방법이다[3].

참고문헌 (13)

Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary Bradski, "ORB: an efficient alternative to SIFT or SURF", International Conference on Computer Vision, pp. 2564-2571, (2011).
Krystian Mikolajczyk, Cordelia Schmid, "A performance evaluation of local descriptors", IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(10), pp. 1615-1630, (2005).

상세보기
Dong Ping Tian, "A review on image feature extraction and representation techniques", International Journal of Multimedia and Ubiquitous Engineering, 8(4), pp. 385-396, (2013).
David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60(2), pp. 91-110, (2004).

상세보기
Herbert Bay, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded-up robust features", Computer Vision and Image Understanding, 110(3), pp. 346-359, (2008).

상세보기
Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision, Volume 3951 of the series Lecture Notes in Computer Science, pp. 430-443, (2006).
Stefan Leutenegger, Margarita Chli, Roland Y. Siegwart, "BRISK: Binary Robust Invariant Scalable Keypoints", International Conference on Computer Vision (ICCV), pp. 2548-2555, (2011).
Jiri Matas, Ondrej Chum, Martin Urban, Tomas Pajdla, "Robust wide baseline stereo from maximally stable extremal regions", Proceedings of the British Machine Vision Conference, pp. 36.1-36. (2002).
Pabio F. Alcantarilla, Jesus Nuevo, Adrien Bartoli, "Fast explicit diffusion for accelerated features in nonlinear scale spaces", British Machine Vision Conference (BMVC), 2013.
website http://www.opencv.org
Zhenhua Wang, Bin Fan, Fuchao Wu, "Local intensity order pattern for feature description", International Conference on Computer Vision (ICCV), pp. 603-610, (2011).
Michael Calonder, Vincent Lepetit, Christoph Strecha, Pascal Fua, "BRIEF: Binary Robust Independent Elementary Features", International Conference on Computer Vision (ICCV), Volume 6314 of the series Lecture Notes in Computer Science, pp. 778-792, (2010).
Bin Fan, Fuchao Wu, Zhanyi Hu, "Rotationally invariant descriptors using intensity order pooling", IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(10), pp. 2031-2045, (2013).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증