선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 개선된 SURF 와 DCD를 통해 영상의 특징을 추출하고 2개의 특징 벡터를 결합하여 보다 효과적인 영상 검색 기술자를 새롭게 제안하였다. 실험 결과, 제안하는 검색 알고리즘은 기존의 다른 검색 기술자에 비해, 평균 14% 정도의 검색율 향상을 보였다.
- 본 논문에서는 모바일 콘텐츠들 중에서 가장 일반적이고 사용자층이 많은 정지영상(Still image)를 대상으로 한 영상 검색 기술을 연구 개발하는 것이 목표이다. 모바일 디바이스 적용성을 고려하여, 검색 과정에서의 메모리 효율성을 주요 검증요소로 설정하고 영상에서 추출하는 특징 벡터의 차원수를 감소시키는 것이 핵심 연구대상이다.
- 본 논문의 주된 목적은 컴퓨터 비전 분야에서 많이 활용되는 기존의 특징 추출 방법인 SURF알고리즘에서 불필요한 특징을 제거하여 특징 벡터 크기를 줄임으로써, 모바일 환경에서 보다 효율적으로 적용할 수있는 개선된 SURF 알고리즘을 연구한다. 이러한 목표를 달성하기 위해, SURF 알고리즘을 통해 추출된 특징의 손실을 최소한으로 유지하면서, 영상이 가지는 의미적 요소를 보존해야 하며, 특징 검출을 통한 영상 검색에서도 검색율의 저하를 방지할 수 있어야 한다.
- 다시 말해, 저밀도 영역 (Sparse region)에 위치한 특징은 영상 검색에서 큰 의미를 부여하지 않으며, 필요성이 높지 않다는 것을 뜻 한다. 본 연구에서는 이러한 특성을 반영하여 저밀도 영역에 분포한 특징을 불필요한 요소로 제거함으로써 계산 시간과 저장공간을 감소시키는 효과를 얻는다. 제안 알고리즘은 효율적 영상 특징점 추출을 위해, 고밀도 특징 검출 이전에 클러스터링 필더(Clustering filter)를 적용한다.
제안 방법
- 본 연구에서 제안하는 개선된 SURF (Advanced SURF)에서는 흑백영상을 기반으로 관심 특징점을 추출하며, DCD를 통한 칼라 특징 추출 단계에서는 변환된 HSV 영상을 활용한다. 각각의 추출 단계에서 검출한 특징 벡터를 결합하여 특징 데이터베이스를 구축한다. 사용자 질의에 응대하기 위해, 질의 벡터 fq와 데이터베이스 내에 저장된 대상 벡터 ft 간의 유사도(Similarity)를 측정하고, 유사도 랭킹(Ranking) 순위에 따라 적절한 검색 영상들을 반환한다.
- 실험 결과, 제안하는 검색 알고리즘은 기존의 다른 검색 기술자에 비해, 평균 14% 정도의 검색율 향상을 보였다. 또한 제안 알고리즘은 SURF 특징 추출 과정을 개선하여 특징 벡터차원을 줄였다. 기존 SURF는 128차원을, OpenSURF는 64차원 벡터를 추출하는 반면에 제안 알고리즘은 개선된 SURF의 32차원과 DCD 12차원을 결합한 44차원 벡터로 저장공간의 효율성을 가진다.
- 이러한 목표를 달성하기 위해, SURF 알고리즘을 통해 추출된 특징의 손실을 최소한으로 유지하면서, 영상이 가지는 의미적 요소를 보존해야 하며, 특징 검출을 통한 영상 검색에서도 검색율의 저하를 방지할 수 있어야 한다. 본 논문에서는 SURF 알고리즘의 개선과 함께 대표 칼라 기술자(Dominant Color Descriptor)를 결합하여 적용함으로써, 흑백영상(Grey-scale image)을 기반한 SURF 의 검색율을 향상시킨다. 본 논문에서 제안하는 영상 검색 방법을 도식화하면 Fig.
- 본 논문의 주요 공헌은 컴퓨터 비전 분야에서 최근 많이 활용되는 SURF 알고리즘을 개선한 것이며, 제안 알고리즘의 활용성을 검증하기 위해 영상 검색에 적용 하였다. 메모리 측면에서는 모바일 환경에 적용 가능성을 검증하였으나, 배터리 소모 문제가 존재함을 확인할수 있었다.
- 에 대해, 전처리 과정으로 칼라 모델(Color Space) 변환과 채널 분리(Channel Separation)를 수행한다. 본 연구에서 제안하는 개선된 SURF (Advanced SURF)에서는 흑백영상을 기반으로 관심 특징점을 추출하며, DCD를 통한 칼라 특징 추출 단계에서는 변환된 HSV 영상을 활용한다. 각각의 추출 단계에서 검출한 특징 벡터를 결합하여 특징 데이터베이스를 구축한다.
- iOS 기반 모바일 디바이스에서 개발하는 경우, 메모리와 CPU사용량을 측정할 필요가 있다. 본 연구에서는 Xcode통합환경에서 제공하는 분석도구인 Instruments를 사용하여 메모리와 CPU 사용량을 분석하였다. Activity Monitor를 구동하여 실행 테스트를 수행하면, 제안 알고리즘을 사용할 경우 38% CPU와 6.
- TN은 필터내의 특징 벡터의 임계값(Threshold)을, TS는 필터 내의 특징들 간의 밀도를, G는 필터를 통해 의미 있는 값으로 선택할 것인지를 결정하는 조건을 나타낸다. 본 연구에서는 필터 크기, 특징 벡터의 량과 밀도의 임계값을 설정하는 요소는 여러 실험을 통한 값으로 설정하였다. 특징 벡터 차원과 밀도 임계치는 영상의 모든 픽셀을 기반으로 클러스터링 필터를 변경하면서 계산을 하였으며, 이러한 과정에서 콘볼루션 연산에 따른 계산시간이 증가될 수도 있다.
- 각각의 추출 단계에서 검출한 특징 벡터를 결합하여 특징 데이터베이스를 구축한다. 사용자 질의에 응대하기 위해, 질의 벡터 fq와 데이터베이스 내에 저장된 대상 벡터 ft 간의 유사도(Similarity)를 측정하고, 유사도 랭킹(Ranking) 순위에 따라 적절한 검색 영상들을 반환한다. 제안 알고리즘의 특징 추출 과정은 다음과 같다.
- 실험 과정에서, 실험적 정량화와 신뢰성을 높이기 위해, Leave-one-out Cross Validation 방식을 적용하였으며, 영상 데이터베이스 내의 모든 영상을 차례로 하나씩 선택하여, 검색 질의 영상으로 입력 받고 나머지 영상들을 대상 영상으로 검색을 수행하였다.
- a는 검색된 적절한 영상을, b는 검색된 적절하지 않은 영상을, c는 검색되지 않은 적절한 영상을 의미하며, 적절성 여부는 같은 카테고리에 포함되는지의 여부로 판단한다. 영상 검색의 성능 평가에서 정확도와 재현도가 항상 적절하지 못할 경우가 발생하기 때문에, 본 연구에서는 정확도와 재현도를 결합시킨 F-점수(F-score) 로 적용하여 검색 효율성을 평가하였다[26]. 정확도와 재현도가 높을수록 보다 높은 F-점수를 가지며, 수식 (12)로 계산한다.
- 영상 특징을 추출한 다음, 사용자 질의에 대한 검색 결과는 질의 영상의 특징과 사전에 추출하여 데이터베이스에 저장하고 있는 대상 영상들의 특징간의 유사도를 측정하여 얻는다. 이러한 과정은 두 특징 벡터간에 얼마나 유사한가를 결정하기 때문에 매칭 프로세스는 검색에서 매우 중요한 요소가 된다.
- 클러스터링 필터를 적용한 특징 검출은 헤시안 행 렬을 통해 고밀도 영역에서의 의미 있는 정보를 추출 한다. 의미 있는 중요 특징을 추출하기 위해, 클러스터링 필터 내에서 특징 차원과 밀도 수를 선행적으로 계 산하고 검색을 위한 특징 기술자를 수행한다. 수식 (5) 와 (6)은 필터에서 의미 있는 특징 검출을 분류하기 위해 사용된다.
- 특징 벡터 차원과 밀도 임계치는 영상의 모든 픽셀을 기반으로 클러스터링 필터를 변경하면서 계산을 하였으며, 이러한 과정에서 콘볼루션 연산에 따른 계산시간이 증가될 수도 있다. 이러한 문제를 해결하기 위해, 선택된 특징점을 클러스터링의 중심 점으로 결정하여, 콘볼루션 연산에 따른 특징 차원과 임계치를 동적으로 계산한다. 이러한 동적 계산을 영상 특징 추출 단계에서 적용한다.
- 이러한 과정은 두 특징 벡터간에 얼마나 유사한가를 결정하기 때문에 매칭 프로세스는 검색에서 매우 중요한 요소가 된다. 이러한 유사도 평가는 질의 영상의 특징 벡터와 데이터베이스 내에 저장되어 있는 대상 특징 벡터간의 거리를 계산하여 측정한다. 많은 실험 연구에서 유사도 측정에 따른 비교 분류에서 마할라노비스 거리(Mahalanobis distance) 계산이 우수한 성능을 보이기 때문에[22], 본 연구에서도 유사도 매칭 계산식으로 마할라노이스 측정 계산 방법을 활용하며, 계산식은 수식(10)과 같다.
- 입력된 질의 영상 IQ에 대해, 전처리 과정으로 칼라 모델(Color Space) 변환과 채널 분리(Channel Separation)를 수행한다. 본 연구에서 제안하는 개선된 SURF (Advanced SURF)에서는 흑백영상을 기반으로 관심 특징점을 추출하며, DCD를 통한 칼라 특징 추출 단계에서는 변환된 HSV 영상을 활용한다.
- 3은 실험에 따른 영상 검색 효율성 평가 결과이다. 정확도와 재현도를 계산하기 위해 순위 검색을 수행하여 상위 25개의 영상을 검색 효율성을 계산하였다. 실험에 적용된 모든 질의로부터 평균 F-점수는 제안 알고리즘에서 80.
- SURF 알고리즘에서는 처리 시간의 감소를 위해 가 우시안 2차 미분 콘볼루션의 박스 필터 적응 근사치 (Approximation)를 사용한다. 제안 알고리즘에서는 헤 시안 행렬과 필터의 콘볼루션 2차 미분의 근사치를 계 산하기 위해 수식(3)과 (4)를 각각 적용한다.
- 본 연구에서는 이러한 특성을 반영하여 저밀도 영역에 분포한 특징을 불필요한 요소로 제거함으로써 계산 시간과 저장공간을 감소시키는 효과를 얻는다. 제안 알고리즘은 효율적 영상 특징점 추출을 위해, 고밀도 특징 검출 이전에 클러스터링 필더(Clustering filter)를 적용한다.
- 제안 알고리즘을 실험하기 위해, OS X Yosemite가구동하는 MacAir의 Xcode 5.1.1 통합 개발환경에서 Objective-C와 C++을 이용하여 구현하였다. 실험 결과를 비교 평가하기 위해, 오픈 라이브러리로 제공되는 OpenSURF를 Objective-C++로 구현하였으며, Fig.
대상 데이터
- (Ground Truth Sets)에 따라 사람, 꽃, 차량, 구조물, 과일 등 다양한 종류의 영상을 포함한다. 검색 실험에 적용된 영상은 해당 데이터셋에서 1,137개 영상을 선택 적으로 선별하였고, 71개 카테고리로 분류되었다. 카테고리는 GTS에서 제공되는 정보를 그대로 사용하였으며, 검색에 활용되지는 않고 검색 효율성 평가에만 활용되었다.
- 제안하는 검색 기술자의 성능을 평가하기 위해, 2개의 데이터셋을 사용한다. 본 연구에서는 검색 분야에서 많이 사용되는 MPEG-7 CCD[23]와 Ualberta 영상 데이터베이스[24]를 사용하였다. 각 영상은 JPEG 포맷으 로 다양한 해상도(320 × 240, 384 × 256, 640 × 420, 768 × 512, 1,600 × 1,200 등)를 가지며, 제공되는 GTS
- 제안하는 검색 기술자의 성능을 평가하기 위해, 2개의 데이터셋을 사용한다. 본 연구에서는 검색 분야에서 많이 사용되는 MPEG-7 CCD[23]와 Ualberta 영상 데이터베이스[24]를 사용하였다.
데이터처리
- 1 통합 개발환경에서 Objective-C와 C++을 이용하여 구현하였다. 실험 결과를 비교 평가하기 위해, 오픈 라이브러리로 제공되는 OpenSURF를 Objective-C++로 구현하였으며, Fig. 3은 실험에 따른 영상 검색 효율성 평가 결과이다. 정확도와 재현도를 계산하기 위해 순위 검색을 수행하여 상위 25개의 영상을 검색 효율성을 계산하였다.
이론/모형
- SURF을 개선하여 빠르게 특징을 검출하기 위해, SURF에서 적용하는 가우시안 필터(Gaussian Filter) 행렬을 대신하여 헤시안(Hessian) 행렬을 사용한다. 또한 전처리 과정에서 영상 크기 조정을 수행하지 않고 필터 블록 크기를 조정하여, 다양한 해상도의 영상을 대상으로 효과적 검색을 지원한다.
- DCD 방법은 관심점 영역에서의 대표적인 칼라 특징을 검출하며, 대용량 데이터베이스에서 효율적인 인덱싱이 가능하다[9]. 대표 칼라를 추출하는 과정에서 SURF 관심점 주위의 픽셀 칼라 값을 분류하기 위해, 일반화된 로 이드(Generalized Lloyd) 알고리즘을 사용한다. 앞에서 언급한 대로, 전처리 과정에서 HSV(Hue, Saturation and Value) 칼라 모델로 변환하고, DCD특징 벡터를 구성하는 칼라 인덱스 ci, 백분율 pi, 칼라 분산 vi 와 특정 일관성(Special coherency) sc는 수식(7)을 통해 계산된다[21].
- 이러한 유사도 평가는 질의 영상의 특징 벡터와 데이터베이스 내에 저장되어 있는 대상 특징 벡터간의 거리를 계산하여 측정한다. 많은 실험 연구에서 유사도 측정에 따른 비교 분류에서 마할라노비스 거리(Mahalanobis distance) 계산이 우수한 성능을 보이기 때문에[22], 본 연구에서도 유사도 매칭 계산식으로 마할라노이스 측정 계산 방법을 활용하며, 계산식은 수식(10)과 같다.
- 본 논문에서 중점으로 다루는SURF알고리즘은 회전불변성(Rotation-invariant)을 갖는 관심점을 추출하며, 실행 속도를 높이기 위해 적분(Integral) 영상을 활용한다. SURF 알고리즘을 확장 연구한 다수의 논문들이있으며, Kumar은 특징 검출을 위해 크기 조절, 회전및 변환에 강인한 알고리즘을 제안하였다[12].
성능/효과
- 카테고리는 GTS에서 제공되는 정보를 그대로 사용하였으며, 검색에 활용되지는 않고 검색 효율성 평가에만 활용되었다. 검색 결과에서 질의 영상과 동일한 카테고리에 속한 검색 결과 영상은 적절하게 검색된 것으로 판정하며, 카테고리가 서로 다른 경우에는 검색에 적절하지 않은 것으로 판정한다. Fig.
- 또한 제안 알고리즘은 SURF 특징 추출 과정을 개선하여 특징 벡터차원을 줄였다. 기존 SURF는 128차원을, OpenSURF는 64차원 벡터를 추출하는 반면에 제안 알고리즘은 개선된 SURF의 32차원과 DCD 12차원을 결합한 44차원 벡터로 저장공간의 효율성을 가진다. 그러나 제안 알고리즘에서 계산시간이 증가하는 단점도존재하였으며, 이는 배터리 소모와 연관되는 문제이기에 모바일 디바이스에 적용하기 위해서는 개선할 여지가 남아 있다.
- 본 논문의 주요 공헌은 컴퓨터 비전 분야에서 최근 많이 활용되는 SURF 알고리즘을 개선한 것이며, 제안 알고리즘의 활용성을 검증하기 위해 영상 검색에 적용 하였다. 메모리 측면에서는 모바일 환경에 적용 가능성을 검증하였으나, 배터리 소모 문제가 존재함을 확인할수 있었다.
- 본 논문에서는 개선된 SURF 와 DCD를 통해 영상의 특징을 추출하고 2개의 특징 벡터를 결합하여 보다 효과적인 영상 검색 기술자를 새롭게 제안하였다. 실험 결과, 제안하는 검색 알고리즘은 기존의 다른 검색 기술자에 비해, 평균 14% 정도의 검색율 향상을 보였다. 또한 제안 알고리즘은 SURF 특징 추출 과정을 개선하여 특징 벡터차원을 줄였다.
- 4%의 성능적 향상을 보였다. 실험 결과는 제안 방법에 의한 검색 효율성이 다른 방법을 적용한 검색보다 높은 검색율을 나타냈으며, 실험 영상들이 서로 다른 해상도와 크기를 가질 때, 보다 좋은 성능적 우위를 보였다.
- 정확도와 재현도를 계산하기 위해 순위 검색을 수행하여 상위 25개의 영상을 검색 효율성을 계산하였다. 실험에 적용된 모든 질의로부터 평균 F-점수는 제안 알고리즘에서 80.8%를 보였으며, 이는 OpenSURF를 적용한 검색(66.4%)에 비해 14.4%의 성능적 향상을 보였다. 실험 결과는 제안 방법에 의한 검색 효율성이 다른 방법을 적용한 검색보다 높은 검색율을 나타냈으며, 실험 영상들이 서로 다른 해상도와 크기를 가질 때, 보다 좋은 성능적 우위를 보였다.
후속연구
- 계산시간 단축을 위한 개선 연구는 향후 연구과제로 남긴다. 영상의 특징 추출과 유사도 측정에 할애되는 시간을 줄이기 위한 방안으로, 처리 대상을 줄이는 방법을 고려할 수 있으며, 관심영역(Region of Interest)을 자동으로 식별하여 처리시간을 단축하는 방법을 적용할 예정이다.
- SURF을 개선하여 빠르게 특징을 검출하기 위해, SURF에서 적용하는 가우시안 필터(Gaussian Filter) 행렬을 대신하여 헤시안(Hessian) 행렬을 사용한다. 또한 전처리 과정에서 영상 크기 조정을 수행하지 않고 필터 블록 크기를 조정하여, 다양한 해상도의 영상을 대상으로 효과적 검색을 지원한다. 헤시안 행렬은 필터와 영상에 대한 2차 미분의 콘볼루션(Convolution) 연산을 통해 얻으며, 수식은 다음과 같다[19]
- 계산시간 단축을 위한 개선 연구는 향후 연구과제로 남긴다. 영상의 특징 추출과 유사도 측정에 할애되는 시간을 줄이기 위한 방안으로, 처리 대상을 줄이는 방법을 고려할 수 있으며, 관심영역(Region of Interest)을 자동으로 식별하여 처리시간을 단축하는 방법을 적용할 예정이다. 또한 영상의 텍스트 메타데이터 또는 지리적 위치 등의 컨텍스트 정보를 활용하여 검색 대상을 선행적으로 선별할 경우 측정시간을 단축할 수 있을 것으로 판단된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.