일반적인 영상 검색의 경우 질의 영상과 같은 영상 또는 최대한 유사한 영상을 결과로써 보여주게 되는데 회전 영상의 경우에는 일반적인 영상 검색 방법들의 성능이 현저하게 떨어지는 경향이 있다. 이에 따라 본 논문에서는 회전 영상에 대해서도 검색 성능이 우수하도록 하기 위해 질의 영상과 DB 영상에 대해 Harris Corner Detector알고리즘을 통해 특징점을 구하고, 그 특징점을 토대로 Principal Components Analysis 알고리즘을 이용해 물체의 주축을 구하여 회전 불변 상태의 영상으로 전환한다. 제안한 기법은 Wang의 원본 1000장의 영상과 $30^{\circ}$, $45^{\circ}$, $90^{\circ}$, $135^{\circ}$, $180^{\circ}$로 회전된 총 6000 장의 지름이 256 크기인 자연 영상을 가지고 실험한 결과, 기존의 기법과 비교하였을 때 회전 영상에 대해서도 우수한 검색 성능을 보였다.
일반적인 영상 검색의 경우 질의 영상과 같은 영상 또는 최대한 유사한 영상을 결과로써 보여주게 되는데 회전 영상의 경우에는 일반적인 영상 검색 방법들의 성능이 현저하게 떨어지는 경향이 있다. 이에 따라 본 논문에서는 회전 영상에 대해서도 검색 성능이 우수하도록 하기 위해 질의 영상과 DB 영상에 대해 Harris Corner Detector 알고리즘을 통해 특징점을 구하고, 그 특징점을 토대로 Principal Components Analysis 알고리즘을 이용해 물체의 주축을 구하여 회전 불변 상태의 영상으로 전환한다. 제안한 기법은 Wang의 원본 1000장의 영상과 $30^{\circ}$, $45^{\circ}$, $90^{\circ}$, $135^{\circ}$, $180^{\circ}$로 회전된 총 6000 장의 지름이 256 크기인 자연 영상을 가지고 실험한 결과, 기존의 기법과 비교하였을 때 회전 영상에 대해서도 우수한 검색 성능을 보였다.
The image retrieval generally shows the same or similar images to a query image as a result. In the case of rotated image, however, its performance tends to be debased significantly. We propose a method to ensure a reliable image retrieval of rotated images as follows; First, to obtain feature point...
The image retrieval generally shows the same or similar images to a query image as a result. In the case of rotated image, however, its performance tends to be debased significantly. We propose a method to ensure a reliable image retrieval of rotated images as follows; First, to obtain feature points of query/DB images by Harris Corner Detector; and then, utilizing the feature points, to find the object's axis and query/DB images into rotation invariant images with Principal Components Analysis algorithm. We have experimented with 6,000 natural images which are 256 pixels in diameter. They are 1,000 Wang's images and their rotated images by $30^{\circ}$, $45^{\circ}$, $90^{\circ}$, $135^{\circ}$ and $180^{\circ}$. The simulation results show that the proposed method retrieves rotated images more effectively than the conventional method.
The image retrieval generally shows the same or similar images to a query image as a result. In the case of rotated image, however, its performance tends to be debased significantly. We propose a method to ensure a reliable image retrieval of rotated images as follows; First, to obtain feature points of query/DB images by Harris Corner Detector; and then, utilizing the feature points, to find the object's axis and query/DB images into rotation invariant images with Principal Components Analysis algorithm. We have experimented with 6,000 natural images which are 256 pixels in diameter. They are 1,000 Wang's images and their rotated images by $30^{\circ}$, $45^{\circ}$, $90^{\circ}$, $135^{\circ}$ and $180^{\circ}$. The simulation results show that the proposed method retrieves rotated images more effectively than the conventional method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 연구[9]는 DCT Filter-Bank의 특성상 AC성분의 방향성을 이용하기 때문에, 질의 영상과의 회전각이 다른 후보 영상을 검색하고자 할 때에는 검색을 하지 못하는 경향이 있다. 따라서 본 논문에서는 컬러공간에서의 DCT Filter-Bank을 이용한 영상검색에 관한 연구[9]의 회전 영상 검색의 비효율성을 극복하기 위해 회전 불변 상태의 영상으로 변환하여 영상 검색을 행한다.
제안 방법
또한 회전 질의 영상이나 회전 후보 영상을 위해 테스트 영상을 30°, 45°, 90°, 135°, 180° 회전하여 본 논문에서 제안한 방법과 기존 방법의 성능을 평가하였다. 10종류의 6000장의 자연 영상에 대해 일정한 크기로 정규화하고 특징 정보를 미리 추출하여 데이터베이스에 저장하였다.
본 논문에서 제안한 기법은 Harris Corner Detector 알고리즘[4]으로 영상의 특징점을 구하고, 그 특징점들을 PCA (Principal Components Analysis) 알고리즘[5]을 통해, 축을 맞춤으로써 회전 불변 영상으로 변환한다. 그 후, DCT Filter-Bank를 이용해 특징벡터를 구하여 유사 영상을 검색하였다.
따라서 본 논문에서는 질의 영상과 DB 영상에 대하여 정규화된 256×256 크기를 갖는 회전 불변 영상으로 전환시킴으로써 영상 검색의 성능을 향상시키도록 한다.
또한 회전 질의 영상이나 회전 후보 영상을 위해 테스트 영상을 30°, 45°, 90°, 135°, 180° 회전하여 본 논문에서 제안한 방법과 기존 방법의 성능을 평가하였다.
셋째, 영상의 특징 벡터를 구한 후, AC성분에 대해서는 Otsu 이진화를 적용하여, 영상 내의 객체에 대해서 어느 정도의 형태 정보를 얻고, Otsu 이진화가 적용된 AC성분에 대해서 수평/수직방향으로 투영 히스토그램을 이용하여 특징 값으로 산출 하고, 먼저 산출된 DC성분들의 특징 값과 함께 검색에 이용한다.
이러한 검색이 가능하도록 하기 위해서는, 256×256 크기의 영상을 지름이 256 크기가 되도록 정규화한 후, Harris Corner Detector 알고리즘을 통해 특징점을 추출한다. 이러한 특징점을 이용해 PCA 알고리즘으로 물체의 주축을 구해 회전 불변 영상으로 전환하여 실험하였다. 정확율과 재현율을 이용하여 평가한 결과, 기존 방법보다 성능이 우수함을 알 수 있었다.
제안한 방법은 첫째, 아래 [그림 3]과 같이 256×256 크기의 원영상 1000장을 각각 30°, 45°, 90°, 135°, 180° 로 회전하고 지름이 256인 원형으로 잘라내어 DB에 기록한다.
:180°) 의 특징 값을 이용하여 히스토그램 feature bin을 획득한다. 추출된 주요한 AC성분에 대해서는 Otsu 이진화를 적용하여, 영상 내의 객체에 대해서 어느 정도의 형태 정보를 얻고, Otsu 이진화가 적용된 AC성분에 대해서 수평/수직방향으로 투영 히스토그램을 이용하여 특징 값으로 산출 하고, 먼저 산출된 DC성분들의 특징 값과 함께 검색에 이용한다.
대상 데이터
질의 영상과 데이터베이스를 구성하는 후보 영상은 “SIMPLIcity: Semantics-Sensitive Integrated matching for Picture Libraries[10]”의 100장씩 10개의 서로 다른 주제를 갖는 총 1000장으로 구성 되어 있는 James Z. Wang[11]의 데이터베이스를 이용하여 1000장에 대해 각각 30°, 45°, 90°, 135°, 180° 로 회전되어 지름이 256의 크기를 갖는 자연 영상으로 구성되어 있다.
데이터처리
실험 결과를 통해, 정확율 (Precision Rate) 과 재현율 (Recall Rate) 로 검색 효율성을 평가하여 비교 분석하였다. 다음 식 (4)은 정확율과 재현율을 계산하기 위한 식이다.
이론/모형
PCA 알고리즘을 이용하여 고유 벡터에 의해 물체의 주축을 구하였다. 이렇게 주축이 구해지면 주축을 기준으로 회전 불변 영상을 구할 수 있다.
제안한 방법은 첫째, 아래 [그림 3]과 같이 256×256 크기의 원영상 1000장을 각각 30°, 45°, 90°, 135°, 180° 로 회전하고 지름이 256인 원형으로 잘라내어 DB에 기록한다. 둘째, [그림 3]의 회전 변형 영상에 대하여 Harris Corner Detector 알고리즘[4]을 통해 특징점을 추출한다. 이 특징점을 PCA 알고리즘[5]을 이용해 축을 맞추어 회전 불변 영상으로 전환한다.
본 논문에서 제안한 기법은 Harris Corner Detector 알고리즘[4]으로 영상의 특징점을 구하고, 그 특징점들을 PCA (Principal Components Analysis) 알고리즘[5]을 통해, 축을 맞춤으로써 회전 불변 영상으로 변환한다. 그 후, DCT Filter-Bank를 이용해 특징벡터를 구하여 유사 영상을 검색하였다.
둘째, [그림 3]의 회전 변형 영상에 대하여 Harris Corner Detector 알고리즘[4]을 통해 특징점을 추출한다. 이 특징점을 PCA 알고리즘[5]을 이용해 축을 맞추어 회전 불변 영상으로 전환한다. [그림 4]는 Harris Corner Detector 알고리즘을 통해 나타난 특징점과 PCA 알고리즘으로 주축을 찾은 결과를 나타낸 것이다.
이러한 검색이 가능하도록 하기 위해서는, 256×256 크기의 영상을 지름이 256 크기가 되도록 정규화한 후, Harris Corner Detector 알고리즘을 통해 특징점을 추출한다.
성능/효과
두 번째, 내용 기반 검색방법은 영상 내의 특징정보인 컬러 (Color), 질감 (Texture), 형태 (Shape) 등을 자동으로 추출하고, 이를 색인으로 이용하여 검색을 수행함으로써 텍스트 기반 검색 기법의 단점을 극복할 수 있다. 컬러정보는 관측 위치나 크기 변화, 조명 변화 등에 어느 정도 무관하게 적용 가능하다는 장점을 가지고 있다.
성능평가를 통해, 임의 각도로 회전된 영상에 대한질의가 있을 경우나 DB에 회전 후보 영상이 있을 경우에도 본 논문에서 제안한 방법을 이용하는 것이 기존 방법보다 효율적인 검색 성능을 얻을 수 있음을 알 수 있었다.
이러한 특징점을 이용해 PCA 알고리즘으로 물체의 주축을 구해 회전 불변 영상으로 전환하여 실험하였다. 정확율과 재현율을 이용하여 평가한 결과, 기존 방법보다 성능이 우수함을 알 수 있었다.
후속연구
향후, 배경의 영향이나 조명의 변화, 확대나 축소가 이루어진 영상에 대해서도 검색 성능을 높일 수 있는 연구가 계속되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
일반적으로 내용기반 영상검색에서 주로 사용하는 것은 무엇인가?
일반적으로 내용기반 영상검색에서 주로 사용하는 것은 컬러 히스토그램 방법이다. 이 방법은 영상의 색상 정보에 대한 표현을 효과적으로 나타낼 수 있으며, 각 색상 값에 속하는 화소의 수에 대한 통계적인 정보를 이용하는 것이 주된 내용이다.
멀티미디어를 검색 하는 방법 중 텍스트 기반 검색 방법의 단점은 무엇인가?
첫 번째, 텍스트 기반 검색 방법은 대상이 되는 각각의 영상에 사람이 문자 주제어를 일일이 부과하고 이를 이용하여 영상을 검색하는 방법이다. 이 방법은 제한된 범위 내에서는 정확도가 높다는 장점을 가지고 있지만 방대한 영상 정보에 대해 사람이 일일이 주제어를 부여하기가 쉽지 않고, 같은 영상에 대해 다른 주제어가 주어져 있으면 검색이 불가능하다는 단점이 있다.
영상 검색에서 상당한 어려움이 따르는 경우의 검색은 무엇인가?
영상 검색의 경우, 질의 영상과 같은 영상 또는 최대한 유사한 영상을 결과로써 보여주게 되는데, 다양한 각도로 회전된 영상이 질의 영상으로 입력이 되거나 DB의 후보영상이 회전 되어 있는 경우의 검색에는 상당한 어려움이 따른다.
참고문헌 (11)
Y. Rui and T. S. Huang, "Image Retrieval : Current Techniques, Promising, Directions and Open Issues," J. of Computer Visual Communication and Image Representation, Vol.10, pp.39-62, 1999.
G. Pass, R. Zabih, and J. Miler, "Comparing Images Using Color Coherence Vectors," Proceedings of the fourth ACM International Conference on Multimedia, pp.65-73, 1996.
S. K. Saha, A. K. Das, and B. Chanda, "CBIR using Perception Based Texture and Colour Measures," 17th International Conference on Pattern Recognition(ICPR'04), Vol.2, 2004.
김용호, 이석환, 윤용인, 이상근, 최종수, "컬러성분과 DCT Filter-Bank을 이용한 영상검색에 관한 연구", 제22회 신호처리합동학술대회, 2009.
James Z. Wang, Jia Li, and Gio Wiederhold, "SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture Libraries," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.9, pp.947-963, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.