본 논문에서는 컬러 영상에서 배경의 복잡도와 객체의 위치에 관계없이 영상 내에 존재하는 중요 객체를 자동으로 추출하는 방법을 제안한다. 제안하는 방법은 중요 객체를 추출하기 위해 에지(edge) 정보와 색상(color) 정보를 이용한 특징 지도를 사용한다. 또한, 효과적인 객체 추출을 위해서 참조 지도(reference map)를 제안한다. 참조 지도를 생성하기 위해서는 영상에서 사람의 시각에 두드러지게 구분되는 영역을 표현하는 특징 지도(feature map)를 먼저 생성한다. 그런 다음, 특징 지도들을 효과적으로 결합하여 배경의 영향을 최소화 하면서, 중요 객체가 존재할 확률이 높은 영역들을 포함하는 참조 지도를 생성한다. 특징 지도를 생성하기 위해서는 밝기 차 정보를 나타내는 에지와 YCbCr 컬러와 HSV 컬러 공간에서의 색상 성분을 사용하며, 특징 지도에 대한 생성 방법은 영상 내에서 밝기차이와 색상차이에 의해서 나타나는 경계 부분을 추출하는 방법을 사용한다. 최종적으로 중요 객체가 존재하는 영역을 나타내기 위해서 참조 지도와 특징 지도들을 결합한 결합 지도(combination map)를 생성한다. 결합 지도는 중요 객체의 외곽선 정보만을 표현하기 때문에, 객체 전체를 표현할 수 있는 객체 후보 영역을 추출하는데, 이를 위해서는 객체 후보 영역을 추출하기 위해서 convex hull알고리즘을 사용한다. Convex hull 알고리즘에 의해서 추출된 영역은 여전히 배경 부분을 포함하고 있으므로, 영상 분할 방법을 적용하여 배경을 제거한 후 영상에서의 중요 객체를 추출한다. 제안한 알고리즘의 성능을 실험적으로 확인한 결과, 평균적으로 84.3%의 정확율과 81.3%의 재현율의 성능을 보였다.
본 논문에서는 컬러 영상에서 배경의 복잡도와 객체의 위치에 관계없이 영상 내에 존재하는 중요 객체를 자동으로 추출하는 방법을 제안한다. 제안하는 방법은 중요 객체를 추출하기 위해 에지(edge) 정보와 색상(color) 정보를 이용한 특징 지도를 사용한다. 또한, 효과적인 객체 추출을 위해서 참조 지도(reference map)를 제안한다. 참조 지도를 생성하기 위해서는 영상에서 사람의 시각에 두드러지게 구분되는 영역을 표현하는 특징 지도(feature map)를 먼저 생성한다. 그런 다음, 특징 지도들을 효과적으로 결합하여 배경의 영향을 최소화 하면서, 중요 객체가 존재할 확률이 높은 영역들을 포함하는 참조 지도를 생성한다. 특징 지도를 생성하기 위해서는 밝기 차 정보를 나타내는 에지와 YCbCr 컬러와 HSV 컬러 공간에서의 색상 성분을 사용하며, 특징 지도에 대한 생성 방법은 영상 내에서 밝기차이와 색상차이에 의해서 나타나는 경계 부분을 추출하는 방법을 사용한다. 최종적으로 중요 객체가 존재하는 영역을 나타내기 위해서 참조 지도와 특징 지도들을 결합한 결합 지도(combination map)를 생성한다. 결합 지도는 중요 객체의 외곽선 정보만을 표현하기 때문에, 객체 전체를 표현할 수 있는 객체 후보 영역을 추출하는데, 이를 위해서는 객체 후보 영역을 추출하기 위해서 convex hull 알고리즘을 사용한다. Convex hull 알고리즘에 의해서 추출된 영역은 여전히 배경 부분을 포함하고 있으므로, 영상 분할 방법을 적용하여 배경을 제거한 후 영상에서의 중요 객체를 추출한다. 제안한 알고리즘의 성능을 실험적으로 확인한 결과, 평균적으로 84.3%의 정확율과 81.3%의 재현율의 성능을 보였다.
In this paper, we propose a technique for extracting attentive objects in images using feature maps, regardless of the complexity of images and the position of objects. The proposed method uses feature maps with edge and color information in order to extract attentive objects. We also propose a refe...
In this paper, we propose a technique for extracting attentive objects in images using feature maps, regardless of the complexity of images and the position of objects. The proposed method uses feature maps with edge and color information in order to extract attentive objects. We also propose a reference map which is created by integrating feature maps. In order to create a reference map, feature maps which represent visually attentive regions in images are constructed. Three feature maps including edge map, CbCr map and H map are utilized. These maps contain the information about boundary regions by the difference of intensity or colors. Then the combination map which represents the meaningful boundary is created by integrating the reference map and feature maps. Since the combination map simply represents the boundary of objects we extract the candidate object regions including meaningful boundaries from the combination map. In order to extract candidate object regions, we use the convex hull algorithm. By applying a segmentation algorithm to the area of candidate regions to separate object regions and background regions, real object regions are extracted from the candidate object regions. Experiment results show that the proposed method extracts the attentive regions and attentive objects efficiently, with 84.3% Precision rate and 81.3% recall rate.
In this paper, we propose a technique for extracting attentive objects in images using feature maps, regardless of the complexity of images and the position of objects. The proposed method uses feature maps with edge and color information in order to extract attentive objects. We also propose a reference map which is created by integrating feature maps. In order to create a reference map, feature maps which represent visually attentive regions in images are constructed. Three feature maps including edge map, CbCr map and H map are utilized. These maps contain the information about boundary regions by the difference of intensity or colors. Then the combination map which represents the meaningful boundary is created by integrating the reference map and feature maps. Since the combination map simply represents the boundary of objects we extract the candidate object regions including meaningful boundaries from the combination map. In order to extract candidate object regions, we use the convex hull algorithm. By applying a segmentation algorithm to the area of candidate regions to separate object regions and background regions, real object regions are extracted from the candidate object regions. Experiment results show that the proposed method extracts the attentive regions and attentive objects efficiently, with 84.3% Precision rate and 81.3% recall rate.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그리고 이 예제들을 통해서 Itti가 제안한 방법처럼 생성된 특징 지도들을 결합한 후 평균 영상을 이용하여 객체정보를 추출한다면, 배경의 영향을 많이 받을 수 있다는 것을 알 수 있다. 그러므로 본 논문에서는 배경의 영향을 최대한 줄이면서 객체를 표현할 수 있는 참조 지도에 대한 생성 방법을 제안한다.
따라서 본 논문에서는 영상 분할 알고리즘을 이용하여 영상 내의 중요 객체 영역만을 추출하기 위한 방법을 제안한다. 영상 분할 알고리즘은 속도와 성능이 좋은 것으로 알려진 W&w의 영상 분할 기법을 사용한다囲.
본 논문에서는 CbCr 맵의 다양한 색상을 표현해 주지 못한다는 단점을 보완하기 위해 인간의 색상 인식 작용과 유사하면서, 충분한 색상정보를 표현할 수 있는 HVS 색상 모델의 H(hue) 성분도 이용한다. 앞에서 설명한 에지 지도 및 Cb, Cr 색상 지도들과 동일한 과정으로 구성되며 식(4)의 방법으로 하나의 H 색상 지도를 생성한다.
본 논문에서는 밝기 차이 값을 갖는 에지 정보를 이용하여 에지 지도를 생성한다. 영상의 에지 정보를 표현하기 위해서 소 벨(Sobel) 알고리즘을 사용한다.
본 논문에서는 색상 지도를 생성하기 위해서 YCbCr 색상 모델에서 Cb와 Cr, 그리고 HSV 색상 모델에서 H 채널를 사용하여 색상 지도를 생성한다. 기존 방법에서는 빨간색(Red), 녹색 (Green), 파란색(Blue)의 RGB 색상 모델에 노란색(Yellow)을 추가로 정의하여 색상지도를 생성하였다网.
방법을 제안하였다. 본 논문에서는 에지 지도와 두 종류의 색상 지도를 이용해 중요 객체를 추출하는 방법을 제안 하였으며, 배경의 영향을 줄이기 위해서 참조 지도와 결합 지도를 생성하는 방법을 제안하였다. 실험 결과 정확율이 84.
본 논문에서는 영상에 대한 사전 정보 없이 영상의 배경의 복잡도나 객체의 위치, 그리고 객체의 수에 관계없이 영상 내에 존재하는 중요 객체를 자동적으로 추출하는 방법을 제안하였다. 본 논문에서는 에지 지도와 두 종류의 색상 지도를 이용해 중요 객체를 추출하는 방법을 제안 하였으며, 배경의 영향을 줄이기 위해서 참조 지도와 결합 지도를 생성하는 방법을 제안하였다.
본 논문에서는 효과적인 중요 객체 영역을 추출하기 위해 참조 지도를 생성한 후 중요 객체 영역이 아닌 영역들을 제거한다. 이를 위해, 먼저 참조 지도를 8×8 크기의 서브 블록으로 나눠준다.
본 논문은 영상에서 배경의 복잡도나 객체의 위치에 관계없이 중요 객체를 자동으로 추출하는 방법을 제안한다. 그림 1은 본 논문에서 제안한 알고리즘의 전반적인 순서도를 보여주고 있다.
가설 설정
영상 분할 알고리즘은 속도와 성능이 좋은 것으로 알려진 W&w의 영상 분할 기법을 사용한다囲. 중요 객체 추출 방법은 객체 후보 영역에서 convex hull 경계선에 인접한 영역들을 배경 영역으로 가정하고 객체 후보 영역에서 제거한다. 이러한 방법은 객체 후보 영역이 객체를 포함하는 최소의 영역이므로 적용이 가능 하다.
제안 방법
그러나 결합 지도는 중요 객체 전체를 표현하고 있는 것이 아니고, 객체의 경계선 영역을 표현하고 있는 것을 알 수 있다. 그러므로 본 논문에서는 중요 객체를 추출하기 위해서 먼저 결합 지도에 나타난 객체의 경계선을 포함하는 객체 후보 영역을 추출한다. 그림 9는 결합 지도로부터 객체 후보 영역을 추출하는 과정을 나타내고 있다.
왜냐하면 기존의 방법은 영상 내에 중요 객체보다 배경이 더 밝거나 복잡해질수록 객체를 제대로 주줄 해 주지 못하기 때문이다. 따라서, 본 논문에서는 특징 지도는 Itti의 방법으로 생성하지만, 밝기 (Intensity), 색상(Color), 질감(Textuue) 정보를 이용하지 않고 에지와 두 개의 색상 정보를 이용하여 특징 지도를 생성한다. 그림 2는 기존 방법과 제안하는 방법의 차이점을 보여주고 있다.
그런 다음, 각 블록에 대해 레이블링 알고리즘을 적용하여 최종적으로 노이즈 블록을 제거한다. 본 논문에서는 많은 실험을 통해서 블록들의 위치에 상관없이 블록 수가 6개 이하인 레이블을 갖는 블록들을 노이즈 블록으로 간주하여 객체 영역에서 배경으로 분리한다. 그림 10은 서브 블록들에 대해서 레이블링을 통한 노이즈를 제거한 결과를 보여주고 있다.
가진다. 본 논문에서는 에지 지도를 생성하기 위해서 원 영상 크기의 1/2배, 1/3배, 1/4배로 축소하여 사용하기 때문에 모두 3장의 서로 다른 크기를 가진 에지 지도를 생성한다. 그런 다음, 서로 다른 크기를 가진 세 장의 에지 지도를 결합하여 에지 지도를 대표할 수 있는 한 장의 새로운 대표 에지 지도를 생성한다.
성능평가를 위한 척도는 정확율과 재현율을 사용하였다. 정확율 (precision)을 측정하기 위해 기준 영상과 비교해서 제안한 방법에 의해 추출된 객체 영역이 얼마나 정확한지를 측정하는 것과 재현율(recall)을 계산하기 위해 제안한 방법에 의해 추출된 객체 영역이 얼마나 실제 객체영역을 포함하고 있는가에 대한 비율을 계산하여 평가하는 방법이다.
나타내고, s는 [0, 1] 사이의 값을 갖는 가중치를 의미한다. 에지 지도 및 두 종류의 색상 지도들에 대해서 각각 수정된 특징 지도들을 생성한 후, 수식 (7)을 이용하여 최종적으로 결합 지도를 생성한다. 그림 7은 원본 영상에 대한 참조 지도와 결합 지도를 보여주고 있다.
영상의 에지 정보를 표현하기 위해서 소 벨(Sobel) 알고리즘을 사용한다. 에지 지도를 생성하기 위해서 원본 영상을 1/2, 1/3, 1/4로 축소한 후 각 축소 영상에 대해 소 벨 알고리즘을 이용하여 에지영상을 생성한다. 그런 다음, 축소된 영상에 대하여 그림 3과 같이 필터를 적용시켜 필터의 중심 화소와 주변 화소 간의 밝기 차이의 평균값을 구한다.
입력 영상의 배경이 복잡해질수록 객체를 정확하게 표현할 수 없기 때문에 배경의 영향을 줄이기 위해서 참조 지도(Reference map, RM)를 제안한다. 참조 지도는 배경의 영향을 최소화하면서 객체가 존재할 확률이 가장 큰 영역을 나타내는 영상이다.
특징 지도의 사용은 Itti에 의해 처음으로 제안 되었다 的 하지만 itti의 방법이 영상 내에서 다른 영역과 현저하게 차이가 나는 곳에 시선이 무의식적으로 집중되는 인간의 시각 특성을 반영하여 중요도가 높은 부분을 구해내는 것과 달리 제안하는 방법에서는 영상내의 밝기 차이와 색상 차이에 의해서 나타나는 경계 부분을 구해내는 것에 중점을 둔다. 왜냐하면 기존의 방법은 영상 내에 중요 객체보다 배경이 더 밝거나 복잡해질수록 객체를 제대로 주줄 해 주지 못하기 때문이다.
대상 데이터
사용하였다. 10개의 클래스를 사용하였고, 사용된 영상의 수는 160 장이다. 그림 14는 본 논문에서 실험에 사용된 영상들 중에서 대표적인 영상들을 보여주고 있다.
본 논문에서는 영상 검색 또는 객체 추출과 관련한 연구에서 주로 사용되는 Corel DB 영상을 사용하였다. 10개의 클래스를 사용하였고, 사용된 영상의 수는 160 장이다.
데이터처리
제안된 방법의 객체 후보 영역 추출.결과를 기존 방법들과 비교하였다. 기존방법 1은 Itti가 제안한 방법的에 의해서 구해진 객체 후보 영역이고 기존방법 2는 Hu가 제안한 방법口이에 의해서 구해진 객체 후보 영역이다.
중요 객체 추출에 대한 결과를 검증하기 위해서 그래픽 툴을 이용하여 영상 내의 객체 영역을 정확하게 추출하여 기준 영상(ground truth)을 생성하고, 제안한 알고리즘을 이용하여 비교 영상을 생성하였다. 성능평가를 위한 척도는 정확율과 재현율을 사용하였다.
이론/모형
노이즈 블록이 제거된 영상에서 중요 객체를 포함하는 다각형 영역을 구한다. 본 논문에서는 Andrew가 제안한 monotone chain 알고리즘"을 사용하여 convex hull로 구성된 영역을 객체 후보 영역으로 나타낸다. 그림 11은 객체 후보 영역을 검출하기 위한 과정을 보여주고 있다.
본 논문에서는 YCbCr 색상 모델을 사용하여 색상지도를 생성한다. YCbCr 색상 모델은 색상 정보로부터 광도를 분리하는 또 하나의 색상 모델이다.
에지 지도를 생성한다. 영상의 에지 정보를 표현하기 위해서 소 벨(Sobel) 알고리즘을 사용한다. 에지 지도를 생성하기 위해서 원본 영상을 1/2, 1/3, 1/4로 축소한 후 각 축소 영상에 대해 소 벨 알고리즘을 이용하여 에지영상을 생성한다.
성능/효과
기존방법 1은 Itti가 제안한 방법的에 의해서 구해진 객체 후보 영역이고 기존방법 2는 Hu가 제안한 방법口이에 의해서 구해진 객체 후보 영역이다. 결과를 정량적으로 비교할 수 있는 척도가 제안되지 않아서 객관적인 비교를 하기에는 어려움이 있지만, 그림 15에서 볼 수 있듯이 제안한 방법에 의한 객체 후보 영역에 대한 추출 결과가 전반적으로 우수함을 확인할 수 있다. 이에 반해, 기존 방법들은 객체와 배경이 인접한 영역 부분에서는 객체의 일부분을 제대로 검출해 내지 못하는 것을 볼 수 있다.
있다. 그리고 이 예제들을 통해서 Itti가 제안한 방법처럼 생성된 특징 지도들을 결합한 후 평균 영상을 이용하여 객체정보를 추출한다면, 배경의 영향을 많이 받을 수 있다는 것을 알 수 있다. 그러므로 본 논문에서는 배경의 영향을 최대한 줄이면서 객체를 표현할 수 있는 참조 지도에 대한 생성 방법을 제안한다.
그림 2는 기존 방법과 제안하는 방법의 차이점을 보여주고 있다. 그림 2에서 Itti 의 방법에 의해 생성된 밝기 (Intensity) 지도와 방향성 (Orientation) 지도를 보면 객체와 배경을 구분하기 힘든 반면에, 제안한 방법에 의해 생성된 특징 지도들은 객체 정보를 공통적으로 잘 표현하고 있는 것을 확인할 수 있다.
본 논문에서는 에지 지도와 두 종류의 색상 지도를 이용해 중요 객체를 추출하는 방법을 제안 하였으며, 배경의 영향을 줄이기 위해서 참조 지도와 결합 지도를 생성하는 방법을 제안하였다. 실험 결과 정확율이 84.3%와 재현율이 8L3%로서 영상으로부터 중요 객체를 효과적으로 추출할 수 있음을 확인할 수 있었다. 하지만 객체 후보 영역 추출 결과를 객관적으로 평가할만한 척도가 아직까지 제시된 봐가 없어 객관적인 평가를 하지 못하였다.
그리고 표 1은 실험에서 사용한 10개의 클래스 영상들에 대한 중요 객체 추출 결과를 보여주고 있다. 실험 결과 평균적으로 84.3%의 정확율과 81.3%의 재현율의 성능을 보였다.
실험 결과를 통해 제안한 방법은 배경이 단순하거나 복잡한 영상일지라도 효과적으로 중요 객체를 추출할 수 있었고, 또한 객체의 위치에 상관없이 영상 내에 하나 이상의 중요 객체를 포함하고 있더라도 자동 적으로 모든 객체를 추출할 수 있었다. 하지만 다음의 두 가지점에 대해서 유의할 필요가 있다.
후속연구
하지만 객체 후보 영역 추출 결과를 객관적으로 평가할만한 척도가 아직까지 제시된 봐가 없어 객관적인 평가를 하지 못하였다. 그러므로 향후 실험 결과에 대한 객관적인 평가 기준을 마련해야 할 필요가 있으며, 성능 개선을 위해 중요 객체를 추출하는 과정에서 적용 가능한 최적의 영상 분할 알고리즘 개발에 대한 연구가 진행되어야 할 것이다.
하지만 영상에 포함된 관심 객체를 추출할 수 있다면, 영상의 핵심 정보에 대한 효과적인 표현이 가능하게 되어 다양한 응용 분야에 유용하게 활용할 수 있다. 추출된 관심 객체는 객체 기반의 영상 검색, MPEG4 혹은 MPEG7의 비디오 객체 요소(video object components) 추출을 통한 비디오 객체 평면(video object plane, VOP)의 구성, 다양한 크기의 디스플레이장치에 동일한 크기의 영상 전송 그리고 객체 및 배경에 상이한 압축률을 적용함으로써 보다 효과적인 영상 압축이 가능할 것이다.
참고문헌 (19)
Y. Rui and T.S.Huang, 'Image Retrieval : Current Techniques, Promising Directions, and Open Issues,' Jouranl of Visual Communication and Image Representation, vol. 10, pp.39-62, 1999
A.W.M Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, 'Content Based Image Retrieval at The End of The Early Years,' IEEE Trans. Pattern Analysis and Machine Intelligence, vol.22, pp.1349-1380, Dec. 2000
M. Flicker, H. Sawhneyy, W. Niblack, J. Ashley and P. Yanker 'Query by Image and Video Content: The QBIC System,' IEEE Computer Special Issue on Content Based Picture Retrieval System, Vol. 28, pp.23-32, 1995
W.Y. Ma and B.S. Manjunath 'Netra: A Tool-box for Navigating Large Image Database,' IEEE Conference on Image Processing, Vol. 1, pp.568-571, 1997
J. Smith and S. Chang 'VisualSEEK: A Fully Automated Content-Based Image Query System,' ACM Multimedia, pp.87-98, 1996
C. Carson, M. Thomas, S. Belongie, J.M. Hellerstein and J. Malik, 'Blobworld: A System for Region-based Image Indexing and Retrieval,' International Conference of Visual Information System, Vol. 3, pp.509-516, 1999
W. Osberger and A.J. Maeder, 'Automatic Identification of Perceptually Important Regions in An Image,' IEEE International Conference on Pattern Recognition, pp.701-704, 1998
J. Luo and A. Singhal, 'On Measuring Low Level Saliency in Photographic Images,' IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp.84-89, 2000
C. M. Privitera and L.W Stark, 'Algorithms for Defining Visual Regions of Interest: Comparison with Eye Fixations,' IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 22, pp.970-982, Sep. 2000
J. Senders, 'Distribution of Attention in Static and Dynamic Scenes,' Proceedings of SPIE Human Vision and Electronic Imaging II, vol. 3016, pp.186-194, Feb. 1997
Y. Lu and H. Guo, 'Background Removal in Image Indexing and Retrieval,' Proceedings of 10th International Conference on Image Analysis and Processing, pp.933-938, Sep. 1999
Q. Huang, B. Dom, D. Steels, J. Ashely, and W. Niblack, 'Foreground background segmentation of color images by integration of multiple cues,' International Conference on Image Processing, vol. 1, pp.246-249, 1995
T. Tamaki, T. Yamamura, and N. Ohnishi, 'Image Segmentation and Object Extraction Based on Geometric Features of Regions,' SPIE Conference on Visual Communications and Image Processing, vol. 3653, pp.937-945, Jan. 1999
J. R. Serra and J. B. Subirana, 'Texture Frame Curves and Regions of Attention Using Adaptive Non-cartesian Networks,' Pattern Recognition, vol. 32, pp.503-515, Mar. 1999
L. Itti, C. Koch, and E. Niebur, 'A Model of Saliency-based Visual Attention for Rapid Scene Analysis,' IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.20, No. 11, pp.1254- 1259, 1998
D. Wang, 'Unsupervised Video Segmentation Based on Watersheds and Temporal Tracking,' IEEE Transaction on Circuits and System for Video Technology, Vol. 2, pp.539-546, 1998
Y. Hu, X. Xie, W. Y Ma, L. T. Chia, and D. Rajan, 'Salient Region Detection Using Weighted Feature Maps Based on The Human Visual Attention Model,' Proceedings of the Fifth IEEE Pacific-Rim Corference on Multimedia, Vol. 2, pp.993-1000, 2004
※ AI-Helper는 부적절한 답변을 할 수 있습니다.