의미기반 이미지 검색에서의 의미적 내용 인식은 주석 위주의 텍스트 정보를 이용하는 것이 일반적이다. 이러한 텍스트 정보 기반 이미지 검색은 전통적인 검색 방법인 키워드 검색 기술을 그대로 사하여 쉽게 구현할 수 있으나, 텍스트의 개념적 매칭이 아닌 스트링 매칭이므로 주석 처리된 단어와 정확한 매칭이 없다면 검색할 수 없는 단점이 있었다. 이에 본 논문에서는 Ontology의 일종인 WordNet을 이용하여 깊이, 정보량, 링크 타입, 밀도 등을 고려한 단어간 의미 유사도를 측정하여 패턴 매칭의 문제점을 해결하고자 한다. 또한, 이미지의 컬러 분포 유사도를 측정하여 저차원 특징과 결합한 의미적 이미지 검색이 가능하도록 설계하였다. 제안된 검색 방안에 대해 'Microsoft Design Gallery Live'의 주석을 포함한 이미지를 대상으로 실험한 결과, 기존 의미기반 검색 시스템보다 향상된 결과를 확인하였다.
의미기반 이미지 검색에서의 의미적 내용 인식은 주석 위주의 텍스트 정보를 이용하는 것이 일반적이다. 이러한 텍스트 정보 기반 이미지 검색은 전통적인 검색 방법인 키워드 검색 기술을 그대로 사하여 쉽게 구현할 수 있으나, 텍스트의 개념적 매칭이 아닌 스트링 매칭이므로 주석 처리된 단어와 정확한 매칭이 없다면 검색할 수 없는 단점이 있었다. 이에 본 논문에서는 Ontology의 일종인 WordNet을 이용하여 깊이, 정보량, 링크 타입, 밀도 등을 고려한 단어간 의미 유사도를 측정하여 패턴 매칭의 문제점을 해결하고자 한다. 또한, 이미지의 컬러 분포 유사도를 측정하여 저차원 특징과 결합한 의미적 이미지 검색이 가능하도록 설계하였다. 제안된 검색 방안에 대해 'Microsoft Design Gallery Live'의 주석을 포함한 이미지를 대상으로 실험한 결과, 기존 의미기반 검색 시스템보다 향상된 결과를 확인하였다.
Semantic interpretation of image is incomplete without some mechanism for understanding semantic content that is not directly visible. For this reason, human assisted content-annotation through natural language is an attachment of textual description to image. However, keyword-based retrieval is in ...
Semantic interpretation of image is incomplete without some mechanism for understanding semantic content that is not directly visible. For this reason, human assisted content-annotation through natural language is an attachment of textual description to image. However, keyword-based retrieval is in the level of syntactic pattern matching. In other words, dissimilarity computation among terms is usually done by using string matching not concept matching. In this paper, we propose a method for computerized semantic similarity calculation In WordNet space. We consider the edge, depth, link type and density as well as existence of common ancestors. Also, we have introduced method that applied similarity measurement on semantic image retrieval. To combine wi#h the low level features, we use the spatial color distribution model. When tested on a image set of Microsoft's 'Design Gallery Line', proposed method outperforms other approach.
Semantic interpretation of image is incomplete without some mechanism for understanding semantic content that is not directly visible. For this reason, human assisted content-annotation through natural language is an attachment of textual description to image. However, keyword-based retrieval is in the level of syntactic pattern matching. In other words, dissimilarity computation among terms is usually done by using string matching not concept matching. In this paper, we propose a method for computerized semantic similarity calculation In WordNet space. We consider the edge, depth, link type and density as well as existence of common ancestors. Also, we have introduced method that applied similarity measurement on semantic image retrieval. To combine wi#h the low level features, we use the spatial color distribution model. When tested on a image set of Microsoft's 'Design Gallery Line', proposed method outperforms other approach.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
최종 검색 결과를 출력한다. 따라서 본 장에서는 의미 유사도 측정으로 검색된 결과를 다시 컬러 분포별로 분류하기 위한 절차에 대해 기술하고자 한다.
본 논문에서는 각각의 측정법의 단점을 보완하기 위해 노드 기반과 에지 기반 측정법을 결합한 방법을 제안한다. 먼저 인접한 두 노드(두 개념 간의 최단 경로가 하나의 에지인 경우)어】 유사성 측정은 다음과 같다.
필요하다. 본 논문에서는 이를 위해 .Miller and Charles' 에 의한 30개의 단어 쌍 데이터 집합을 사용하였다.
본 절에서는 기존 WordNet의 계층적 구조를 이용한 개념 간 유사성을 측정 방법에 대해 살펴본다.
이에 본 논문에서는 주석 처리된 이미지 정보의 의미기반검색을 위해 WordNet을 이용하여 의미 유사도 측정 방안을 제안하고, 이를 이미지의 컬러 분포와 함께 의미기반 이미지 검색에 활용할 수 있도록 제안한다.
제안 방법
이를 위해 유클리드 공간에서의 거리 계산 방법을 이용하여 유사도를 측정하였다. 각 특징 벡터별로 유클리드 거리를 이용하여 유사도를 측정한 후 이미지의 순위를 정한다. N차원의 특징벡터 사이의 유클리드 거리 D는 다음 식 (4.
검색을 실행한다. 또한, 컬러 분포 유사도 측정 모듈은단어 의미 유사도에 의해 검색된 1차 검색 결과를 토대로사용자가 입력한 색상정보와 유사한 컬러 분포를 갖는 이미지를 검색하여 최종적으로 의미적 이미지 검색 결과를출력한다.
본 논문에서 제안하는 검색 과정은 검색어와 주석 사이의의미 유사도를 측정하여 의미 유사성이 높은 순으로 이미지를 검색한 후, 그 결과를 다시 사용자가 선택한 컬러를중심으로 컬러 분포를 분석하여 해당' 컬러와 유사한 분포순으로 최종 검색 결과를 출력한다. 따라서 본 장에서는 의미 유사도 측정으로 검색된 결과를 다시 컬러 분포별로 분류하기 위한 절차에 대해 기술하고자 한다.
본 논문에서 제안하는 의미기반 검색시스템의 전체 구성은 (그림 5)와 같이 단어간 의미 유사도 측정 모듈과 컬러분포 유사도 측정 모듈로 구성된다.
본 논문에서는 영상 데이터 내에 존재하는 객체들과 그객체 사이의 개념관계를 Ontology의 한 형태인 WordNet을이용하여 의미 정보를 정의하였다. 기존의 이미지 검색 시스템은 영상의 저차원 정보만을 이용하거나 임의의 주석을이용하여 검색하였기에 해당 영상이 가지고 있는 개념적인해석과 이를 기반으로 하는 검색이 이루어지지 못했다.
영상에 존재하는 잡음을 제거하기 위해 Median Filter를적용한 후, 인간의 시각 능력과 유사한 특성을 갖는 HSI (Hue, Saturation, Intensity) 컬러공간을 이용한다.
이를 위해 유클리드 공간에서의 거리 계산 방법을 이용하여 유사도를 측정하였다. 각 특징 벡터별로 유클리드 거리를 이용하여 유사도를 측정한 후 이미지의 순위를 정한다.
일반적으로 사람이 영상을 볼 때 배경의 변화보다는 객체영역의 변화에 더 민감하며, 객체가 위치하는 영역은 주로 영상의 중심에 위치함을 전제로 본 논문에서는 영상의 중심으로부터 일정 범위를 초기 영역으로 설정한 후, 초기 영역 내에서 가장 많은 동일한 컬러 값을 가지는 화소들이 이루는 영역을 객체영역으로 결정한다. 결정된 이미지 영역을 다섯 영역으로 나누어 중심(R0)에는 컬러 가중치를 높게 주고, 주변(Rl, R2, R3, R4)은 중심에 비해 낮은 컬러 가중치를 부여하였다.
제안된 시스템은 단어 간 의미 유사도 측정에 의한 1차검색에서 주요 이미지 탐색이 이루어지므로, 성능 평가 시컬러분포 유사도 측정값을 제외한 단어 간 의미 유사도 측정 방법을 통한 검색 결과 위주로 성능 평가를 실시하였다.
대상 데이터
본 논문에서는 이를 위해 .Miller and Charles' 에 의한 30개의 단어 쌍 데이터 집합을 사용하였다. 이는각 단어 쌍에 대해 인간이 생각하는 유사성을 측정한 값의평균을 포함하고 있으며, 의미 기반 단어간 유사성 측정을 위한 알고리즘 테스트용으로 많이 활용되고 있다.
이는각 단어 쌍에 대해 인간이 생각하는 유사성을 측정한 값의평균을 포함하고 있으며, 의미 기반 단어간 유사성 측정을 위한 알고리즘 테스트용으로 많이 활용되고 있다. 본 논문에서 사용한 WordNet은 1.6 버전으로 60, 000 여개의 명사를 포함하고 있다[1, 11].
com)의 약 2, 300개의 동 . 식물 이미지를 이용하였다. 이미지의 대부분은 일정하지 않은 배경의 컬러 이미지로 각 이미지당 3〜5개 정도의 키워드로 주석처리되어 있다.
제안된 시스템의 실험을 위해 약 60, 000개의 명사 Synset으로 구성된 WordNet 1.6 버전을 이용하였으며, 분야별로 카테고리화 되어 있는 Microsoft Design Gallery Live (http://dgl.microsoft.com)의 약 2, 300개의 동 . 식물 이미지를 이용하였다.
데이터처리
과 같은 수치에 대해 제안된 측정 방법과 기존 방법의 유사성 측정 결과를 비교하기 위해 상관계수를 이용하였고, 측정값은 다음와 같다.
이론/모형
본 논문에서 제시된 의미기반 이미지 검색의 성능을 분석하기 위하여 Precision과 Recall의 두 가지 성능 평가 척도를 이용하였다. Precision은 검색된 영상 중에서 질의와 관련된 영상의 비율을 의미하고, Recall은 영상 데이터베이스내에서 질의와 관련된 영상 중 검색된 영상의 비율을 의미한다.
성능/효과
단어간의 유사도 측정 결과, 본 논문에서 제안한 유사도측정 방법은 기존 방법에 비해 사람의 판단에 근접한 유사수치를 보이고 있다.
위의 결과를 살펴보면, 'hawk'는 'bird'에 비해 검색어 'eagle'에 대하여 의미적으로 더 유사하다는 것을 알수 있다.
(그림 8)은 기존 'Jiang and Conrath (J&C)' 의미 측정 계산법을 적용한 결과이다[6]. 이를 제안된 시스템과 비교해 보면, 본 논문에서 제안한 방법에 따른검색 결과가 더 우수함을 알 수 있다.
제안된 의미 유사도 측정식을 이미지 검색에 활용한다면 검색어와 이미지 관련 주석 사이의 유사성 척도의 측정이 가능하므로, 검색자가 원하는 정확한 의미를 내포한 이미지의 검색의 효율성을 높일 수 있고, 다의어와 관련된 검색의 문제점을 극복할수 있다. .
후속연구
또한, 향후 연구에는 개념적인 인식률을 높이기 위해 Word- Net에 존재하는 여러 계층별 단어들의 개념적 유사도 측정에서 보다 효율적이고 정확한 계산 방법을 위한 연구가 필요할 것이다.
위와 같이 기존 'Jiang and Conrath(J&C)' 의미측정 방식을 적용한 검색 결과와 본 논문에서 제안한 방식의 검색 결과를 분석해 보면, 본 논문에서 제안한 의미 유사도 측정 방법을 적용한 검색이 기존 측정 방법보다 더정확한 의미적인 검색이 가능하고, 이를 실제 검색 시스템에 적용하면 검색자가 원하는 검색 대상을 찾는데 좋은 효과를 보일 뿐만 아니라, 검색어의 다의성을 극복할 수 있는방안으로 활용될 수 있을 것이다.
기존의 이미지 검색 시스템은 영상의 저차원 정보만을 이용하거나 임의의 주석을이용하여 검색하였기에 해당 영상이 가지고 있는 개념적인해석과 이를 기반으로 하는 검색이 이루어지지 못했다. 이에 본 논문에서 제시하는 영상 데이터의 의미 정보를 활용한다면 영상 데이터의 자동 주석 시스템이나 검색 시스템에서 인간이 인식하는 개념적인 사고방식에 더욱 접근할수 있는 결과물을 얻을 수 있을 것으로 판단된다.
제안된 각 단어간의 유사도 측정식에 대한 성능 평가를 위해서는 실제 인간이 생각하는 개념적 유사성 측정값과의 비교가 필요하다. 본 논문에서는 이를 위해 .
참고문헌 (16)
George A. Miller, 'Introduction to WordNet : An On-line Lexical Database,' International Journal of Lexicography, 1990
Sussna, 'WordSense Disambiguation for Free-text Indexing Using a Massive Semantic Network,' Proceedings of the Second International Conference on Information and Knowledge Management, CIKM93
Philip Resnik, 'Using Information Content to Evaluate Semantic Similarity in a Taxonomy,' Proceedings of the 14th International Joint Conference on Artificial Intelligence, 1995
R. Richardson, A. F. Smeaton, 'Using WordNet in a Knowledge-Based Approach to Information Retrieval,' Working paper, CA-0395, School of Computer Applications, Dublin City University, Ireland, 1995
Eneko Agirre and German Rigau, 'Word sense disambiguation using conceptual density,' In Proceedings of the 16th International Conference on Computational Linguistics, pp. 1622, Copenhagen, 1996
Jay J Jiang, David W. Conrath, 'Semantic Similarity Based Corpus Statistics and Lexical Taxonomy,' Proc. Of International Conference Research on Computational Linguistics, 1997
Y. Alp Aslandogan. et al., 'Using Semantic contents and WordNet in image retrieval,' Proceeding of ACM SIGIR 97, Philadelphia PA, USA, pp.286-295, 1997
J. Z. Wang, J. Li, D. Chan, G. Wiederhold, 'Semantics-sensitive Retrieval or Digital Picture Libraries,' D-Lib. Magazine, 1999
Y. C. Park, F. Golshani, S. Panchanathan, 'Conceptualization and Ontology : Tools for Efficient Storage and Retrieval of Semantic Visual Information,' Internet Multimedia Management Systems Conference, 2000
Y. C. Park, P. K. Kim, F. Golshani, S. Panchanathan, 'Concept-based visual information management with large lexical corpus,' DEXA, 2001
http://www.cogsci.princeton.edu/~wn/
Kobus Barnard, Pinar Duygulu, David Forsyth, 'Clustering Art,' In IEEE conf. on Computer vision and Pattern Recognition, 2001
K. Barnard, D. A. Forsyth, 'Learning the semantics of words and pictures,' In Int. Conf. on Computer Vision, 2001
Guarino, N. and Welty, C., 'Supporting Ontological Analysis of Taxonomic Relationship,' Data and Knowledge Engineering (in press), 2001
Budanitsky, A. and G. Hirst, 'Semantic Distance in WordNet : An Experimental, Application-oriented Evaluation of Five Measures,' Workshop on WordNet and Other Lexical Resources, in the North American Chapter of the Association for Computational Linguistics (NAACL-2000), Pittsburgh, PA, June, 2001
K. Barnard, P. Duygulg, J. F. G. de Freitas, D. A. Forsyth 'Object Recognition as Machine Translation : Learning a Lexicon for a Fixed Image vocabulary,' Seventh European Conference on Computer Vision, 2002
※ AI-Helper는 부적절한 답변을 할 수 있습니다.