본 논문에서는 웹 이미지의 분류 효과를 높이기 위해 이미지 자체에서 추출된 저수준의 비주얼 특징뿐만 아니라 이미지와 관련된 텍스트 정보로부터 나온 고수준 시맨틱 특징들을 이용하는 분류 방법을 제안한다. 이 고수준의 텍스트 특징들은 이미지 URL, 파일명, 페이지 타이틀, 하이퍼링크 및 이미지 주변 텍스트로부터 얻어진다. 분류 엔진으로는 Kohonen의 SOM(Self Organizing Map)을 사용한다. 고수준의 텍스트 특징들과 저수준의 비주얼 특징들을 동시에 사용하는 SOM 기반의 이미지 분류에서는 10개의 카테고리로부터 수집된 200개의 테스트 이미지들이 사용되었다. 분류 성능을 평가하기 위해 간단하면서도 새로운 두 가지 척도, 즉 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다. 실험결과, SOM기반의 웹 이미지 분류에서는 고수준의 텍스트 특징들이 보다 유용한 것임이 밝혀졌다.
본 논문에서는 웹 이미지의 분류 효과를 높이기 위해 이미지 자체에서 추출된 저수준의 비주얼 특징뿐만 아니라 이미지와 관련된 텍스트 정보로부터 나온 고수준 시맨틱 특징들을 이용하는 분류 방법을 제안한다. 이 고수준의 텍스트 특징들은 이미지 URL, 파일명, 페이지 타이틀, 하이퍼링크 및 이미지 주변 텍스트로부터 얻어진다. 분류 엔진으로는 Kohonen의 SOM(Self Organizing Map)을 사용한다. 고수준의 텍스트 특징들과 저수준의 비주얼 특징들을 동시에 사용하는 SOM 기반의 이미지 분류에서는 10개의 카테고리로부터 수집된 200개의 테스트 이미지들이 사용되었다. 분류 성능을 평가하기 위해 간단하면서도 새로운 두 가지 척도, 즉 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다. 실험결과, SOM기반의 웹 이미지 분류에서는 고수준의 텍스트 특징들이 보다 유용한 것임이 밝혀졌다.
In this paper, we propose an approach to increase the power of clustering Web images by using high-level semantic features from text information relevant to Web images as well as low-level visual features of image itself. These high-level text features can be obtained from image URLs and file names,...
In this paper, we propose an approach to increase the power of clustering Web images by using high-level semantic features from text information relevant to Web images as well as low-level visual features of image itself. These high-level text features can be obtained from image URLs and file names, page titles, hyperlinks, and surrounding text. As a clustering engine, self-organizing map (SOM) proposed by Kohonen is used. In the SOM-based clustering using high-level text features and low-level visual features, the 200 images from 10 categories are divided in some suitable clusters effectively. For the evaluation of clustering powers, we propose simple but novel measures indicating the degrees of scattering images from the same category, and degrees of accumulation of the same category images. From the experiment results, we find that the high-level text features are more useful in SOM-based Web image clustering.
In this paper, we propose an approach to increase the power of clustering Web images by using high-level semantic features from text information relevant to Web images as well as low-level visual features of image itself. These high-level text features can be obtained from image URLs and file names, page titles, hyperlinks, and surrounding text. As a clustering engine, self-organizing map (SOM) proposed by Kohonen is used. In the SOM-based clustering using high-level text features and low-level visual features, the 200 images from 10 categories are divided in some suitable clusters effectively. For the evaluation of clustering powers, we propose simple but novel measures indicating the degrees of scattering images from the same category, and degrees of accumulation of the same category images. From the experiment results, we find that the high-level text features are more useful in SOM-based Web image clustering.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
나머지 2가지 특징 벡터들의 조합, 즉 25차원의 칼라 및 텍스트 특징 벡터, 그리고 20차원의 질감 및 텍스트 특징 벡터를 사용하였을 때 각각의 S0M 분류 맵 형태는 (그림 3)과 뚜렷한 차이가 없고 정량적인 비교가 어려웠다. 따라서 좀 더 구체적인 분석을 위해 분류의 성능을 나타내는 정량적인 척도를 도입하여 비교해 보고자 한다.
본 논문에서는 SOM기반의 웹 이미지 분류에 대한 새로운 시도를 소개하였다. 이 시도는 분류하고자 하는 이미지의 특징으로 저수준의 비주얼 특징뿐만 아니라 고수준의 텍스트 특징을 동시에 이용하는 것이며, 그 결과 얼마만큼의 분류기 성능의 향상이 있었는지 측정해 보고자 하는 것이었다.
이를 위해서는 분류 결과를 분석하고 성능을 측정할 수 있는 도구가 필요하다. 본 논문에서는 서로 다른 이미지 특징 벡터를 사용하였을 때 나타나는 분류기의 성능을 측정하기 위한 도구로서, 동일 카테고리로부터 나온 이미지들의 산포 정도와, 역시동일 카테고리로부터 나온 이미지들이 하나의 결과 분류 노드에 집적되는 정도를 나타내는 척도를 제안한다. 먼저 어떤 카테고리 에 대하여 산포 정도를 나타내는 척도인 S, 는 다음과 같이 정의된다.
본 논문에서는 웹 이미지 분류에서 저수준의 비주얼 특징들뿐만 아니라 웹 이미지와 관련된 텍스트 정보로부터 나온 고수준의 시맨틱 특징들을 이용함으로써 분류 성능을 얼마나 높일 수 있는지 실증적으로 확인해 보고자 한다. 이들 고수준 텍스트 특징들은 이미지 URL, 파일명, 페이지 타이틀, 그리고 주변 텍스트들로부터 얻어진다.
본 연구에서 우리의 시도는 SOM에 기반한 웹 이미지 클러스터링이며, 이미 기존의 연구에서 SOM을 이용한 웹 이미지의 분류 또는 검색에 관한 것을 찾아볼 수 있다. 연구[8]에서는 SOM을 이용한 컨텐트 민감형의 풍부한 속성을 가진 이미지 분류기를 발표하였다.
웹 이미지 검색에서 SOM을 기반으로 하거나, 텍스트 특징들을 이용한 여러 관련 연구와 달리, 본 연구의 관심은 SOM 기반의 분류기에서 텍스트 특징을 이용할 때 분류의 성능이 얼마나 좋아지는가를 밝히는 데 있다. 따라서 우리는 두 가지 종류의 이미지 특징 벡터인 저수준 비주얼 특징 벡터와 고수준 텍스트 특징 벡터를 따로 구성하고, 200개의 웹이미지로부터 이들 특징들을 추출하여 분류에 이용하였다.
소개하였다. 이 시도는 분류하고자 하는 이미지의 특징으로 저수준의 비주얼 특징뿐만 아니라 고수준의 텍스트 특징을 동시에 이용하는 것이며, 그 결과 얼마만큼의 분류기 성능의 향상이 있었는지 측정해 보고자 하는 것이었다. 이를 위해 두 가지 종류의 이미지 특징들을 서로 다른 조합으로 묶어서 SOM 기반 분류기에 적용하여 그 성능을 평가하였다.
가설 설정
• 웹 페이지 제목 및 하이퍼링크-웹 페이지 제목과 이미지의 하이퍼링크들은 이미지 내용과 관련이 있을 수 있다. 따라서 이들 또한 이미지의 텍스트 특징 소스로 이용될 수 있다.
• 이미지 파일명과 URL-대체로 웹 이미지에는 의미있는 이름이 지정된다. 그러나 파일명과 URL의 유용성을 높이기 위해 다음과 같은 몇 가지 처리가 필요하다.
• 질감 특징들-질감은 영역 또는 블록 형태의 근접 특징으로 정의된다. 근접한 픽셀에 대한 각 픽셀의 변화량이 질감을 결정하는 것이다.
제안 방법
얼마나 좋아지는가를 밝히는 데 있다. 따라서 우리는 두 가지 종류의 이미지 특징 벡터인 저수준 비주얼 특징 벡터와 고수준 텍스트 특징 벡터를 따로 구성하고, 200개의 웹이미지로부터 이들 특징들을 추출하여 분류에 이용하였다. 분류 성능을 측정하기 위해 서로 다른 특징 벡터를 이용하여 SOM 분류기에서 각각 실험하였으며, 평가를 위해 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 두 가지척도를 정의하여 사용하였다.
따라서 우리는 두 가지 종류의 이미지 특징 벡터인 저수준 비주얼 특징 벡터와 고수준 텍스트 특징 벡터를 따로 구성하고, 200개의 웹이미지로부터 이들 특징들을 추출하여 분류에 이용하였다. 분류 성능을 측정하기 위해 서로 다른 특징 벡터를 이용하여 SOM 분류기에서 각각 실험하였으며, 평가를 위해 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 두 가지척도를 정의하여 사용하였다.
이를 위해 두 가지 종류의 이미지 특징들을 서로 다른 조합으로 묶어서 SOM 기반 분류기에 적용하여 그 성능을 평가하였다. 성능 평가를 위해 우리는 간단하면서도 새로운 2가지 척도, 즉, 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다. 실험 및 평가에서는 칼라 히스토그램 특징들과 질감 특징들만 사용하였을 때보다 텍스트 특징들이 각각 추가되었을 때 더 큰 분류 성능이 나타남을 알 수 있었고 따라서 SOM 기반의 이미지 분류에서 텍스트 특징의 유효성을 확인할 수 있었다.
비주얼 특징과 텍스트 특징을 사용함으로써 얻어지는 분류기의 .성능을 조사하기 위해, 이 두 가지종류의 이미지 특징들을 서로 다른 조합으로 묶어서 몇 가지분류 실험에 적용하였다. 3가지의 특징 벡터들의 조합이 가능한데 그 것은 25차원의 칼라 및 질감 특징 벡터, 25차원의 칼라 및 텍스트 특징 벡터, 그리고 20차원의 질감 및 텍스트특징 벡터이다.
이웃함수는 가우시안을 사용하였고 이웃함수의 크기는 맵 전체 폭의 50%부터 1%까지 역시 기하급수적으로 감소시키며 실험하였다. 여기서 사용된 노드의 수 및 기타 파라미터 값들은 훈련 집합에서 유사한 클러스터들의 수를 고려하여 여러 번의 비교 실험을 거쳐 경험적으로 결정되었다.
따라서 이미지 주변의 텍스트들은 그 이미지의 내용과 의미론적으로 관련이 있다고 여겨진다. 우리는 이미지의 상, 하, 좌, 우, 4가지 가능한 지역으로부터 텍스트를 추출하여 사용한다.
이 시도는 분류하고자 하는 이미지의 특징으로 저수준의 비주얼 특징뿐만 아니라 고수준의 텍스트 특징을 동시에 이용하는 것이며, 그 결과 얼마만큼의 분류기 성능의 향상이 있었는지 측정해 보고자 하는 것이었다. 이를 위해 두 가지 종류의 이미지 특징들을 서로 다른 조합으로 묶어서 SOM 기반 분류기에 적용하여 그 성능을 평가하였다. 성능 평가를 위해 우리는 간단하면서도 새로운 2가지 척도, 즉, 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다.
1 까지 기하급수적으로 감소시켰다. 이웃함수는 가우시안을 사용하였고 이웃함수의 크기는 맵 전체 폭의 50%부터 1%까지 역시 기하급수적으로 감소시키며 실험하였다. 여기서 사용된 노드의 수 및 기타 파라미터 값들은 훈련 집합에서 유사한 클러스터들의 수를 고려하여 여러 번의 비교 실험을 거쳐 경험적으로 결정되었다.
제안된 2가지 척도를 사용하여 SOM 분류 결과를 분석한다. <표 1>은 25차원의 칼라 및 질감 특징 벡터, 25차원의 칼라 및 텍스트 특징 벡터, 그리고 20차원의 질감 및 텍스트특징 벡터를 적용한 경우, 각각의 성능을 비교한 것이다.
대상 데이터
SOM 기반 이미지 분류 시스템에 적용하기 위해 10개의 카테고리로부터 200개의 이미지가 수집되었다. 10개의 카테고리는 'monkey', 'tomato', "building', "tree', , boat', vehicle', 'bird', 'fish', "bridge', 'rose'를 포함한다.
후보 이미지들로부터 각 카테고리마다 20개의 이미지와 관련 텍스트 정보를 선택한다. 따라서 수집된 전체 이미지의 수는 200개가 된다.
사용된다. 앞에서 언급한 것처럼, 우리는 SOM기반의 분류를 위해 10개 카테고리의 오브젝트 이미지들을 사용한다. 따라서 키워드는 'monkey', 'tomato' 등과 같은 10개의 카테고리 이름으로 주어진다.
이 시스템은 3가지 주요 기능을 내세우는데 이는 다양한 저수준 이미지 특징들에 기반한 이미지 특징 추출, 유사성 분석 및 SOM을 이용한 이미지 분류 등이다. 이 연구는 칼라 기반, 에지 기반, 영역 기반 및 질감 기반의 4가지 이미지 특징들을 사용하였고, 100개의 이미지를 대상으로 그들의 방법을 평가하였다. SOM에서의 분류평가 결과, 유사 이미지들은 동일 영역에 배치됨을 보였다.
시리즈로 훈련된다. 이미지들은 현재 가동 중인 웹사이트에서 수집되었으며, 대표 이미지 특징 벡터를 구성하기 위해 이들로부터 앞에서 언급된 비주얼 특징 및 텍스트 특징이 추출되었다. 비주얼 특징과 텍스트 특징을 사용함으로써 얻어지는 분류기의 .
훈련을 위해 10×10 격자를 가지는 100개 노드의 SOM이 사용되었다. 훈련 사이클은10회, 학습 파라미터 a는 초기값 0.
이론/모형
이들 고수준 텍스트 특징들은 이미지 URL, 파일명, 페이지 타이틀, 그리고 주변 텍스트들로부터 얻어진다. 분류 엔진으로는 Kohonen의 자기조직화지도(SOM: Self Organizing Map)[7]를 이용한다.
텍스트 특징들을 나타내기 위해 텍스트 특징 벡터가 구성되는데, 텍스트 특징 벡터의 각 키워드에 가중치를 주기 위해 TF*IDF(term frequency & inverse document frequency)방법[14]이 사용된다. 앞에서 언급한 것처럼, 우리는 SOM기반의 분류를 위해 10개 카테고리의 오브젝트 이미지들을 사용한다.
성능/효과
(2) 승자의 가중치 벡터와 배열 상의 그 이웃 노드들은 학습 원칙에 따라 입력 벡터를 향해서 바뀌어진다. SOM학습 프로세스에서 이상적인 경우는 각 입력 벡터 x(t)에 대해 승자와 그 이웃 노드들이 입력 데이터 공간의 x(t)로 근접하여 변하는 것이다.
이 연구는 칼라 기반, 에지 기반, 영역 기반 및 질감 기반의 4가지 이미지 특징들을 사용하였고, 100개의 이미지를 대상으로 그들의 방법을 평가하였다. SOM에서의 분류평가 결과, 유사 이미지들은 동일 영역에 배치됨을 보였다. 이 연구에서는 다양한 비주얼 특징들을 채택하여 이미지 분류의 약점을 극복하고자 하였으며 본 연구에서 다루고자 하는 고수준 텍스트 특징들은 고려되지 않았다.
질감 및 텍스트 특징 벡터를 사용한 경우는 성능 향상의 정도가 더큰 것을 알 수 있다. 다양한 특징 벡터 조합을 사용했을 때 각각의 SOM 분류 맵만으로는 그 성능을 비교하기 어려웠으나 본 논문에서 제안하는 척도를 사용함으로써 텍스트 특징벡터의 사용이 분류 성능에 더 좋은 영향을 미친다는 결과를 얻을 수 있다.
성능 평가를 위해 우리는 간단하면서도 새로운 2가지 척도, 즉, 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다. 실험 및 평가에서는 칼라 히스토그램 특징들과 질감 특징들만 사용하였을 때보다 텍스트 특징들이 각각 추가되었을 때 더 큰 분류 성능이 나타남을 알 수 있었고 따라서 SOM 기반의 이미지 분류에서 텍스트 특징의 유효성을 확인할 수 있었다. 이는 현재의 CBIR 시스템에서 검색 또는 분류의 취약성을 극복하기 위해 이미지의 분류 또는 인덱싱에 적절한 고수준 텍스트 특징들을 사용하는 것이 하나의 해결책이 될 수 있음을 시사한다.
식(3) (4)에 정의된 바에 따르면 는 작을수록, Ai는 클수록더 좋은 성능이라고 할 수 있다. <표 1>에서 보듯이 칼라 및질감 특징 벡터를 사용하였을 때, 의 합은 105, &의 합은 43이지만, 칼라 및 텍스트 특징 벡터를 사용하였을 때, A의합은 119로 증가하였고, S.의 합은 38로 감소하였다.
검색 엔진을 발표하였다. 이 연구는 이미지를 묘사하는웹 페이지 상의 텍스트 정보를 추출하고, 이를 다른 저수준의 이미지 특징들과 결합함으로써 검색의 효과를 높일 수 있었다. 또한 이들은 이미지 검색 성능을 높이기 위해 사용자의 피드백 로그 정보에 데이터 마이닝을 적용하였다.
후속연구
본 실험에서는 향상된 SOM 분류의 결과를 얻기 위해 각종 파라미터를 조절하는 것보다 입력 데이터를 구성하는 특징 벡터들의 종류에 따라 어떤 분류 결과가 나타나는지 알아보는 것이 더 중요하게 여겨진다. 고수준 텍스트 특징들이 얼마나 효과적인지 밝혀내고자 하기 때문이다.
참고문헌 (14)
D. Arotaritei and S. Mitra, 'Web mining: a survey in the fuzzy framework, ' Fuzzy Sets and Systems, Vol.148, pp.5-19, 2004
Y. Rui, T. Huang and S. Chang, 'Image retrieval: current techniques, promising directions and open issues, ' Journal of Visual Communication and Image Representation, Vol.10, No.4, pp.39-62, 1999
A.W.M. Smeulders, M. Worring, S. Santini, A.Gupta and R. Jain, 'Content-based image retrieval at the end of the early years,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, pp.1349-1379, 2000
Z. Chen, L. Wenyne, F. Zhang, M. Li and H. Zhang, 'Web Mining for Web Image Retrieval,' Journal of the American Society for Information Science and Technology, Vol.52, No. 10, pp.831-839, 2001
Y.Lu, C. Hu，X. Zhu，H. Zhang and Q. Yang，'A unified framework for semantics and feature based relevance feedback in image retrieval systems,' In proceedings of the 8th ACM international Conference on Multimedia, pp.31 - 38, 2000
T. Kohonen, 'Self-Organizing Maps', New York: SpringerVerlag, 1997
S.W.K. Chan and M.W.C. Chong, 'Unsupervised clustering for nontextual web document classification,' Decision Support Systems, Vol.37, pp.377-396, 2004
J. Laaksonen, M. Koskela, S. Laakso and E. Oja, 'PicSOM-content-based image retrieval with self-organizing maps,'Pattern Recognition Letters, Vol.21, pp.1199-1207, 2000
J. Laaksonen, M. Koskela, S. Laakso and E. Oja, 'Self-organizing maps as a relevance feedback technique in content-based image retrieval,' Pattern analysis & Applications, Vol.4, pp.140-152, 2001
J. Laaksonen, M. Koskela and E. Oja, 'PicSOM-Self-organizing image retrieval with MPEG-7 content descriptions,' IEEE Transactions on Neural Networks, Special Issue on Intelligent Multimedia Processing, Vol.13, pp.841-853, 2002
※ AI-Helper는 부적절한 답변을 할 수 있습니다.