현대 과학 기술의 발달로 인해, 사람들은 필요한 정보들을 웹에 보관하고 관리한다. 특히, 이미지 데이터는 복잡한 데이터를 한눈에 알아보기 쉽게 표현할 수 있기 때문에 가장 많이 사용하고 있다. 또한 스캔(scan) 기술의 발달, 핸드폰 카메라와 디지털 카메라가 보편화 되면서 누구나 손쉽게 이미지를 제작하여 웹상에 게시할 수 있게 되었다. 하지만 이렇게 많은 이미지 데이터의 생성 및 제공에 반해, 웹상에 있는 이미지를 검색하는 시스템에는 극히 원시적인 방법(text-based)을 이용하고 있는 것이 추세이다. 이에 본 논문에서 우리는 ‘공간 관계 표현 기반 RBF메타데이터를 이용한 의미적 이미지 검색’을 제안한다. 이는 이미지에 표현되어 있는 개체들 사이의 공간적인 관계의 표현을 위하여 새로운 공간관계 어휘들을 정의하고, RDF 메타데이터에 이를 의미적으로 표현함으로써, 이미지 검색에서 더욱 정확한 응답을 제공하고, 궁극적으로 의미적 이미지 검색 시스템(Semantical Image Retrieval System)을 구축하고자 한다.
현대 과학 기술의 발달로 인해, 사람들은 필요한 정보들을 웹에 보관하고 관리한다. 특히, 이미지 데이터는 복잡한 데이터를 한눈에 알아보기 쉽게 표현할 수 있기 때문에 가장 많이 사용하고 있다. 또한 스캔(scan) 기술의 발달, 핸드폰 카메라와 디지털 카메라가 보편화 되면서 누구나 손쉽게 이미지를 제작하여 웹상에 게시할 수 있게 되었다. 하지만 이렇게 많은 이미지 데이터의 생성 및 제공에 반해, 웹상에 있는 이미지를 검색하는 시스템에는 극히 원시적인 방법(text-based)을 이용하고 있는 것이 추세이다. 이에 본 논문에서 우리는 ‘공간 관계 표현 기반 RBF 메타데이터를 이용한 의미적 이미지 검색’을 제안한다. 이는 이미지에 표현되어 있는 개체들 사이의 공간적인 관계의 표현을 위하여 새로운 공간관계 어휘들을 정의하고, RDF 메타데이터에 이를 의미적으로 표현함으로써, 이미지 검색에서 더욱 정확한 응답을 제공하고, 궁극적으로 의미적 이미지 검색 시스템(Semantical Image Retrieval System)을 구축하고자 한다.
As the modern techniques have improved, people intend to store and manage the information on the web. Especially, it is the image data that is given a great deal of weight of the information because of the development of the scan and popularization of the digital camera and the cell-phone's camera. ...
As the modern techniques have improved, people intend to store and manage the information on the web. Especially, it is the image data that is given a great deal of weight of the information because of the development of the scan and popularization of the digital camera and the cell-phone's camera. However, most image retrieval systems are still based on the text annotations while many images are creating everyday on the web. In this paper, we suggest the new approach for the semantic image retrieval using the RDF metadata based on the representation of the spatial relationships. For the semantic image retrieval, firstly we define the new vocabularies to represent the spatial relationships between the objects in the image. Secondly, we write the metadata about the image using RDF and new vocabularies. Finally. we could expect more correct result in our image retrieval system.
As the modern techniques have improved, people intend to store and manage the information on the web. Especially, it is the image data that is given a great deal of weight of the information because of the development of the scan and popularization of the digital camera and the cell-phone's camera. However, most image retrieval systems are still based on the text annotations while many images are creating everyday on the web. In this paper, we suggest the new approach for the semantic image retrieval using the RDF metadata based on the representation of the spatial relationships. For the semantic image retrieval, firstly we define the new vocabularies to represent the spatial relationships between the objects in the image. Secondly, we write the metadata about the image using RDF and new vocabularies. Finally. we could expect more correct result in our image retrieval system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이를 위해 먼저, 공간관계 표현을 위한 새로운 어휘들을 정의하고, 이를 이용하여 이미지에 대한 메타데이터를 작성한다. 그리고 작성된 메타데이터를 메타데이터 저장소에 저장하고, 이미지 검색 시에 저장소를 접근하여 응답하는 것이다. 이러한 새로운 이미지 검색 방법을 적용하여 의미적 이미지 검색 시스템의 구축을 통하여 검색의 정확도를 높이고, 시맨틱 웹에 어울리는 이미지 검색 시스템을 제안한다.
정의하는 과정을 설명한다. 본 논문에서는 새로운 공간 관계 어휘들을 확장하기 위해서 RDF 어휘의 Semant- ics의 기반이 Description Logics의 확장인 Spatial Descrip tion Logics[3-5]에 기반하여 확장한다. Spatial Description Logics에서는 대표적 공간 관계를 아래의 (그림 2)와 같이 여덟 가지로 정의하고, 각각의 관계에 대한 Semantics를 정의하였다.
본 논문에서는 시맨틱 웹에 어울리는 의미적 이미지 검색 시스템을 설계하고, 그 가능성을 살펴보았다. 특히, 이미지들의 검색 쿼리에서 중요한 단어가 공간관계임에 기반하여, 공간관계 표현을 위한 어휘들을 정의하여, 좀더 구조적이고 의미적인 검색을 꾀하였다.
결과적으로, RDF 메타데이터와 온톨로지와의 결합을 통하여 언어적 모호성을 최소화한 의미적 검색이 가능할 것으로 기대된다. 본론에서는 공간관계 표현을 위한 어휘들을 정의하고, 확장하는 과정에 대한 내용과 본 논문에서 제안하는 의미적 이미지 검색 시스템의 구조에 대해서 상세히 설명한다.
것이라 할 수 있다[6]. 여기에서 온톨로지 기반의 이미지 검색은 기존의 텍스트 기반의 이미지 검색의 단점인 이미지 인텍싱의 주관성의 문제를 해결하기 위한 방법으로, 단어들 사이에 존재하는 의미적 모호성을 최소화하고자 한다. 이를 위해, 이미지 검색에 단어들 사이의 관계를 명확하게 하는 온톨로지 개념을 접목하고자 시도한 것이다.
이러한 취약점을 보완하고 이미지 검색에 대한 보다 정확한 응답과 의미적인 정보 검색을 위해서, 본 논문에서는 '공간 관계 표현 기반 RDF 메타데이터를 이용한 의미적 이미지 검색, 을 새롭게 제안한다. W3C(World Wide Web Con- sortium)에서는 2004년 2월에 RDF[2]에 관한 표준안을 발표하여 RDF를 메타데이터 표현을 위한 표준으로 공식적 인정을 하였고, 또 RDF는 차세대 웹인 시맨틱 웹[1]의 기반이 되는 기술로 자리매김했다.
여기에서 온톨로지 기반의 이미지 검색은 기존의 텍스트 기반의 이미지 검색의 단점인 이미지 인텍싱의 주관성의 문제를 해결하기 위한 방법으로, 단어들 사이에 존재하는 의미적 모호성을 최소화하고자 한다. 이를 위해, 이미지 검색에 단어들 사이의 관계를 명확하게 하는 온톨로지 개념을 접목하고자 시도한 것이다. 이러한 온톨로지 기반의 이미지 검색은 다른 검색 시스템에 비해 질의에 해당하는 정확한 응답을 제공할 수 있다.
1 절에서 정의한 공간관계 어휘들을. 이용하여 보다 구조적이고 의미적인 서술을 꾀한다. 대표 공간관계인 'Dis- connectedWith', 'ConnectedWith', 'Insidelnto' 그■리고 'Overlap- With'를 적용하여, 이미지내 각 객체들 사이의 관계를 통일적으로 정의함으로서, 관계 정의 시 발생하는 의미적 모호성을 최소화한다.
가설 설정
RDF Ropository에는 상위 클래스를 '새'로 갖는 많은 새들이 .정의되어 있을 것이고, '물이라는 상위 클래스에 강, 바다, 호수둥과 같은 많은 하위 클래스들이 각각의 도메인 온톨로지로구축되어져 있을 것이다. 본 시스템에서는 각각의 도메인 온톨로지를 접근하여, 정확히 "물위에 앉아있는 새”라고 정의된 이미지 메타데이터 뿐 아니라, “호수에서 헤엄치는 백조”, "바다위의 갈매기” 등과 같이 의미적 모호성을 최소화한 포괄적 검색을 기대할 수 있다.
데이터를 검색하기를 원한다. 특흐】, 요즘 사용자의 검색 성향은 예전의 단순한 검색과는 차이가 있다. 예전에는 주로 “자동차”, “사과”, "사람” 등과 같은 단일 대표 명사를 사용하는 질의어를 검색에 사용하여 검색한 후, 검색된 많은 결과에서 자기가 원하는 이미지를 다시 찾아야 하는 두 단계의 과정을 거치는 게 일반적이었다.
제안 방법
본 논문에서는 시맨틱 웹의 기반을 구성하는 RDF를 사용한 이미지 메타데이터 작성과 본 연구에서 정의하고 확장한 공간 관계표현 어휘를 사용한다. 그리고 시맨틱 웹의 핵심부분인 온톨로지를 적용하여 최대한 시맨틱 웹에 어울리는 의미적 검색시스템을 설계하였다.
W3C(World Wide Web Con- sortium)에서는 2004년 2월에 RDF[2]에 관한 표준안을 발표하여 RDF를 메타데이터 표현을 위한 표준으로 공식적 인정을 하였고, 또 RDF는 차세대 웹인 시맨틱 웹[1]의 기반이 되는 기술로 자리매김했다. 본 논문에서 제안하는 이미지 검색 기법은, 이미지 데이터내 의미를 포함하고 있는 개체들 사이의 공간적 관계에 대한 정보를 표현하고 이를 이미지 검색에 적용한다. 이를 위해 먼저, 공간관계 표현을 위한 새로운 어휘들을 정의하고, 이를 이용하여 이미지에 대한 메타데이터를 작성한다.
그리고 웹은 계속 발전하여, 시맨틱웹의 실현이 멀지 않는 시점에서, 시맨틱 웹과 어울리는 이미지 검색 시스템에 대한 연구는 반드시 필요하다. 본 논문에서는 시맨틱 웹의 기반을 구성하는 RDF를 사용한 이미지 메타데이터 작성과 본 연구에서 정의하고 확장한 공간 관계표현 어휘를 사용한다. 그리고 시맨틱 웹의 핵심부분인 온톨로지를 적용하여 최대한 시맨틱 웹에 어울리는 의미적 검색시스템을 설계하였다.
jpg이다. 본 시스템에서 웹상의 이미지 자원인 apple.jpg 이미지에 대하여 Metadata Creator는 이미지내의 객체 이름과 객체들간의 관계 정의를 RDF를 이용하여 표현하고, 이를 RDF Repository에 저장한다. Metadata Creator는 이미지에 대한 메타데이터를 만들 때, 3.
예를들어, 모든 검색어를 RDF Triple로 표현하여 분석하고, 또 이미지에 대한 메타데이터를 RDF를 이용하여 표현을 시도한다면, 이러한 문제의 해결도 그리 불가능한 일은 아닐 것이다. 본 연구에서는 이러한 의미적 검색을 위해서, 먼저 이미지에 대한 메타데이터 서술 표현에서 자주 사용되는 공간관계 표현을 위한 공간관계 어휘를 확장하고, 이러한 공간관계 어휘를 사용하여, 이미지에 대한 메타데이터를 좀더 구조적이고, 의미적으로 표현한다. 결과적으로, RDF 메타데이터와 온톨로지와의 결합을 통하여 언어적 모호성을 최소화한 의미적 검색이 가능할 것으로 기대된다.
웹에 있는 이미지를 찾아, 이미지 자원에 대한 U^Iref 에 기반하여 Metadata Creator는 RDF를 이용하여 새롭게 작성된 메타데이터를 RDF Repository에 저장하고, 사용자가 이미지 검색을 요구하면, 이미지 검색 엔진은 먼저 RDF Repository에 접근하여 RDF 메타데이터를 분석한다. 그런 다음에, 비슷한 메타데이터 구문을 찾으면, 이미지의 URIref 를 검색 결과로 보내주고, 브라우져는 U用Iref를 참조하여, 이미지를 사용자에게 제공한다.
그리고 작성된 메타데이터를 메타데이터 저장소에 저장하고, 이미지 검색 시에 저장소를 접근하여 응답하는 것이다. 이러한 새로운 이미지 검색 방법을 적용하여 의미적 이미지 검색 시스템의 구축을 통하여 검색의 정확도를 높이고, 시맨틱 웹에 어울리는 이미지 검색 시스템을 제안한다.
본 논문에서 제안하는 이미지 검색 기법은, 이미지 데이터내 의미를 포함하고 있는 개체들 사이의 공간적 관계에 대한 정보를 표현하고 이를 이미지 검색에 적용한다. 이를 위해 먼저, 공간관계 표현을 위한 새로운 어휘들을 정의하고, 이를 이용하여 이미지에 대한 메타데이터를 작성한다. 그리고 작성된 메타데이터를 메타데이터 저장소에 저장하고, 이미지 검색 시에 저장소를 접근하여 응답하는 것이다.
이에, 본 연구에서는 의미적 이미지 검색을 위해서, RDF 메타데이터를 이용한다. 특히, 본 논문에서는 기존의 RDF 어휘에 공간 관계 표현을 위한 새로운 어휘를 생성하고, 추가하여 이미지 검색에서 객체들 사이의 위상 관계를 이용하여 좀더 의미적 검색을 시도한다.
시스템을 설계하고, 그 가능성을 살펴보았다. 특히, 이미지들의 검색 쿼리에서 중요한 단어가 공간관계임에 기반하여, 공간관계 표현을 위한 어휘들을 정의하여, 좀더 구조적이고 의미적인 검색을 꾀하였다. 그리고, RDF를 이용하여 이미지에 대한 메타데이터를 표현하면, 복잡한 검색 매커니즘 없이도 Syntax 분석을 통한 간단한 방법으로 최대한의 성능을 기대할 수 있다.
대상 데이터
그리고 온톨로지 기반 이미지검색은 텍스트 기반 이미지 검색 방법의 주관적 특징을 객관적 특징으로 보완하여, 좀더 친숙하면서도 객관적인 검색 결과를 기대할 수 있으나, 온톨로지에 대한 깊은 연구가 필수적으로 동시에 진행 되어야 한다. 이에, 본 연구에서는 의미적 이미지 검색을 위해서, RDF 메타데이터를 이용한다. 특히, 본 논문에서는 기존의 RDF 어휘에 공간 관계 표현을 위한 새로운 어휘를 생성하고, 추가하여 이미지 검색에서 객체들 사이의 위상 관계를 이용하여 좀더 의미적 검색을 시도한다.
성능/효과
(그림 7)을 살펴보면, 사용자가 Triple을 작성하였을 때, 사용자 Triple이 분석되어 RDF 구문내에 Subject-Predicate- Object의 관계로 표현이 되며, 특히 Predicate 표현은 본연구에서 새롭게 정의한 공간관계 어휘들을 속성으로 사용하여 표현하고 있음을 확인할 수 있다. 또한 각 객체들은 각각의 도메인 온톨로지에 접근하여, 표현되고 있음을 확인할 수 있다.
특히, 이미지들의 검색 쿼리에서 중요한 단어가 공간관계임에 기반하여, 공간관계 표현을 위한 어휘들을 정의하여, 좀더 구조적이고 의미적인 검색을 꾀하였다. 그리고, RDF를 이용하여 이미지에 대한 메타데이터를 표현하면, 복잡한 검색 매커니즘 없이도 Syntax 분석을 통한 간단한 방법으로 최대한의 성능을 기대할 수 있다. 그렇지만 본 연구는 실제 시맨틱 웹이 실현되지 않은 이 시점에서 그 성능에 대한 직접적인 평가를 하지 못하였고, 이는 향후에 연구되어야 할 과제이다.
하였다. 비교 실험에서는 RDF와 DAML+OIL을 적용하여, 이미지 내의 객체들을 메타데이터로 표현하고자 하는 PhotoSMORE®와 본 시스템의 RDF 표현의 비교를 통하여, 좀더 의미적 검색이 가능함을 설명한다. 먼저, 다음 (그림 6)는 PhotoSMORE의 이미지에 대한 메타데이터를 RDF와 DAML+OIL을 사용하여 표현하는 내용이다.
후속연구
정의되어 있을 것이고, '물이라는 상위 클래스에 강, 바다, 호수둥과 같은 많은 하위 클래스들이 각각의 도메인 온톨로지로구축되어져 있을 것이다. 본 시스템에서는 각각의 도메인 온톨로지를 접근하여, 정확히 "물위에 앉아있는 새”라고 정의된 이미지 메타데이터 뿐 아니라, “호수에서 헤엄치는 백조”, "바다위의 갈매기” 등과 같이 의미적 모호성을 최소화한 포괄적 검색을 기대할 수 있다.
본 연구에서는 이러한 의미적 검색을 위해서, 먼저 이미지에 대한 메타데이터 서술 표현에서 자주 사용되는 공간관계 표현을 위한 공간관계 어휘를 확장하고, 이러한 공간관계 어휘를 사용하여, 이미지에 대한 메타데이터를 좀더 구조적이고, 의미적으로 표현한다. 결과적으로, RDF 메타데이터와 온톨로지와의 결합을 통하여 언어적 모호성을 최소화한 의미적 검색이 가능할 것으로 기대된다. 본론에서는 공간관계 표현을 위한 어휘들을 정의하고, 확장하는 과정에 대한 내용과 본 논문에서 제안하는 의미적 이미지 검색 시스템의 구조에 대해서 상세히 설명한다.
그리고, RDF를 이용하여 이미지에 대한 메타데이터를 표현하면, 복잡한 검색 매커니즘 없이도 Syntax 분석을 통한 간단한 방법으로 최대한의 성능을 기대할 수 있다. 그렇지만 본 연구는 실제 시맨틱 웹이 실현되지 않은 이 시점에서 그 성능에 대한 직접적인 평가를 하지 못하였고, 이는 향후에 연구되어야 할 과제이다.
하지만 이와 같이 검색어를 분석하고 비슷한 이미지를 찾는다는 것은 현재의 웹 기술과 검색 기술로는 불가능한 일이다. 그렇지만 웹이 더욱더 지능화되면서, 시맨틱 웹의 실현이 멀지 않은 지금의 시점에서, 시맨틱 웹의 자원 표현 기술을 적용한다면, 이러한 근본적 문제에 접근가능할 것으로 기대된다. 예를들어, 모든 검색어를 RDF Triple로 표현하여 분석하고, 또 이미지에 대한 메타데이터를 RDF를 이용하여 표현을 시도한다면, 이러한 문제의 해결도 그리 불가능한 일은 아닐 것이다.
그리고 내용 기반 이미지 검색 방법은 이미지내의 기초적 특성들을 사용하여 이미지 검색을 시도하지만, 사용자로 하여금 복잡한 인터페이스로 친숙하지 않아 많은 연구가 진행되고 있는 반면에, 그 실용성이 극히 낮다. 그리고 온톨로지 기반 이미지검색은 텍스트 기반 이미지 검색 방법의 주관적 특징을 객관적 특징으로 보완하여, 좀더 친숙하면서도 객관적인 검색 결과를 기대할 수 있으나, 온톨로지에 대한 깊은 연구가 필수적으로 동시에 진행 되어야 한다. 이에, 본 연구에서는 의미적 이미지 검색을 위해서, RDF 메타데이터를 이용한다.
그렇지만 모든 사람들의 생각과 또 상황에 따른 모든 이미지에 대한 인덱스가 서로 다르게 되기 때문에, 기존의 검색 엔진으로는 사용자의 욕구를 충분히 채워줄 수 없다. 그리고 웹은 계속 발전하여, 시맨틱웹의 실현이 멀지 않는 시점에서, 시맨틱 웹과 어울리는 이미지 검색 시스템에 대한 연구는 반드시 필요하다. 본 논문에서는 시맨틱 웹의 기반을 구성하는 RDF를 사용한 이미지 메타데이터 작성과 본 연구에서 정의하고 확장한 공간 관계표현 어휘를 사용한다.
참고문헌 (15)
T. Berners-Lee, J. Hendler and O. Lassila, 'The Semantic Web,' Scientific Am., Vol.284, No.5, pp.34-43, May, 2001
D. Brickley, R. Guha(eds), 'Resource Description Framework (RDF) Schema Specification,' W3C Candidate Recommendation, 27, March, 2000, http://www.w3.org/TR/2000/CR-rdf-schema-20000327
V. Haarslev, C. Lutz and R. Moller, 'Foundations of spatio-terminological reasoning with description logics,' KR '98, pp.112-123, June, 1998
V. Haarslev, R. Moller and M. Wessel, 'Visual spatial query languages : A semantics using description logic,' Diagrammatic Representation and Reasoning, 2000
A. Cohn, Z. Cui and D. Randell, 'A spatial logic based on regions and connection,' Proc. Third International Conference on Principles of Knowledge Representation and Reasoning(KR '92), 1992
B. Chandrasekaran, J. Josephson, and R. Benjamins, 'What Are Ontologies, and Why do we Need Them?,' IEEE Intelligent Systems, Vol14, No.1, pp.20-26, 1999
W. Kim, H. Kong, K. Oh, Y. Moon and P. Kim, 'Concept Based Image Retrieval Using the Domain Ontology,' Computational Science and Its Applications(ICCSA 2003), pp.401-410, 2003
http://www.mindswap.org/~aditkal/editor2.shtml
Rohini K. Srihari, 'Automatic Indexing and Content-based Retrieval of Captioned images,' IEEE Computer, Vol.28, No.9, September, 1995
Akan F. Smeaton and Ian Quiegley, 'Experiments on Using Semantic Distance Between Words in Image Caption Retrieval,' In Proceedings of ACM SIGIR Conference, pp.174-180, 1996
노형기, 황본우, 문종섭, 이성환, '내용 기반 영상 정보 검색 기술의 현황', 전자공학회지, 제25권 제8호, 1998
M. R. Naphade and T. S. Huang, 'Extracting Semantics from audio-visual content : the final frontier in multimedia retrieval,' IEEE Trans. on Neural Networks, Vol.13, No.4, pp.793-810, July, 2002
A. pentland, R. W. Picard, S. Sc laroff, 'Photobook : Tools for Content-Based Manipulation of Image Database,' SPIE Stroage and Retrieval Image and Video Database II, Vol.2, 185, pp.34-47, 1994
A. B. Benitez, S.-F. Chang and J. R. Smith, IMKA : A Multimedia Organization System Combining Perceptual and Semantic Knowledge, Proceeding of the 9th ACM International Conference on Multimedia (ACM MM-2001), Canada, Ottawa, Sep.30-Oct.5, 2001
C. Jorgensen, A. Jaimes, A. B. Benitez and S.-F. Chang, A Conceptual Framework and Research for Classifying Visual Descriptors, Journal of the American Society for Information Science (JASIS), Invited Paper on Special Issue on Image Access : Bridging Multiple Needs and Multiple Perspectives, Sep., 2001
※ AI-Helper는 부적절한 답변을 할 수 있습니다.