[논문]모바일 환경에서 의미 기반 이미지 어노테이션 및 검색

노현덕; 서광원; 임동혁

doi:10.9717/kmms.2016.19.8.1498

모바일 환경에서 의미 기반 이미지 어노테이션 및 검색
Semantic Image Annotation and Retrieval in Mobile Environments 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.19 no.8, 2016년, pp.1498 - 1504

노현덕 (Division of Computer and Information Engineering., Hoseo University) , 서광원 (Division of Computer and Information Engineering., Hoseo University) , 임동혁 (Division of Computer and Information Engineering., Hoseo University)

Abstract ▼ AI-Helper

The progress of mobile computing technology is bringing a large amount of multimedia contents such as image. Thus, we need an image retrieval system which searches semantically relevant image. In this paper, we propose a semantic image annotation and retrieval in mobile environments. Previous mobile-based annotation approaches cannot fully express the semantics of image due to the limitation of current form (i.e., keyword tagging). Our approach allows mobile devices to annotate the image automatically using the context-aware information such as temporal and spatial data. In addition, since we annotate the image using RDF(Resource Description Framework) model, we are able to query SPARQL for semantic image retrieval. Our system implemented in android environment shows that it can more fully represent the semantics of image and retrieve the images semantically comparing with other image annotation systems.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

우리는 [4]에서 모바일 환경에서 의미 기반 이미지 어노테이션 및 검색 시스템에 대한 시스템 및 데이터베이스 설계를 제안하였다. 본 논문에서는 [4]의 설계를 바탕으로 모바일 기기에서 이미지를 의미적으로 어노테이션하고 검색할 수 있는 시스템 Moment(MobileSemanticImage Annotation andRetrieval System)를 구현한다.
이미지 검색도 더욱 중요해진다.본 논문에서는 모바일 기기의 상황 정보를 이용하여 이미지가 가지는 의미적 정보를 어노테이션하여 사용자가 원하는 이미지를 검색 할 수 있는 Moment 시스템을 제안하였다.Moment는 어노테이션 정보를 RDF 모델을 이용하여 이미지 검색 시 SPARQL질의를 이용하도록 하였다.

제안 방법

LinkedTag에서는 이미지가 가지는 태그를 온톨로지를 활용하여 RDF트리플로 확장하여 어노테이션하고 사용자가 SPARQL질의어로 의미 기반 이미지 검색을 할 수 있도록 한다. 또한 RDF트리플을 이용하여 이미지 태그 랭킹 알고리즘을 제안하였다.
FILTER는 시간 값에 대해 조건에 맞는 필터링을 수행하는 구문을 표시한다.본 논문에서는 모든 이미지가 RDF 그래프로 어노테이션을 가지고 있기 때문에 SPARQL 질의로 이미지를 검색할 수 있다.
본 논문에서는 이미지를 키워드나 태그가 아닌 RDF모델을 기반으로 어노테이션하였다.따라서 이미지 검색을 RDF질의 언어인 SPARQL을 사용할 수 있다.
사용자가직접 입력을 하거나 외부 데이터의 정보를 참고해 서자 동으로 Property의 값을 연결해주거나 사용자에게 후보 값을 추천해준다.본 논문에서는 추가적으로 시간정보에 대해서는 “http://dbpedia.org/prop-erty/date”, 공간정보에 대해서는 “http://dbpedia. org/property/location”술어 값을 자동으로 입력해준다. 예를 들면, Fig.
태그의 의미는 워드넷 등의 어휘사전 등에서 해당 단어(태그)의 상위어를 탐색함으로서 알아 낼 수 있는데, [10]에서는 웹 상에서 사용자가 자유롭게 올린 태그로부터 자동으로 단어(태그)의 의미를 식별했다는 점에서 기존 연구와 차이점이 있다.사용자, 태그, 대상 리소스등의 관계로 태그 네트워크를 모델링하고 그래프 클러스터링 알고리즘을 적용하여 태그의 의미에 해당하는 또 다른 태그를 찾는 방법을 제안하였다. [11]에서는 이미지에 부착된 여러 개의 이미지 태그 각각을 어휘 온톨로지에 대응시킴으로서 중의적 의미를 가지각 태그의 의미를 하나로 특정 짓는 방법을 제안하였다.
첫 번째로 이미지가 가지는 의미 정보를 어노테이션 해야 한다. 사용자가 입력하는 태그와 자동으로 생성되는 태그 정보를 확인하고 두 태그들간의 의미 관계를 표현할 수 있는 술어를 연결하거나 사용자에게 선택 가능한 후보 술어들을 추천해준다. 어노테이션 된 정보는 Fig.
[12]에서는 사용자가 온톨로지를 이용하여 수동으로 어노테이션 하는 방법을 제안하였다.온톨로지로 구축된 제한된 어휘들을 이미지 어노테이션에 사용하게끔 하여 사용자가 이미지의 내용을 판단하고 직접 입력할 수 있게 하고 검색 시에도 사용하도록 하였다. [13] 에서는 이미지의 색상, 모양 등의 비주얼 정보 각각을 특정 개념에 대응시키고 미리 정의된 온톨로지 기반 규칙을 적용하여 해당 이미지의 대표 개념을 식별하는 방법을 제안하였다.
이미지 어노테이션에 대한 대표적인 시스템과 moment를 비교하였다. 비교 대상으로는 Linked Tag[1], KaleidoPhoto[5], PhotoMap[6]로 의미 기반 이미지 어노테이션과 모바일 기반 이미지 어노테이션을 대표하는 시스템들이 포함되었다.
6].이에 반해 본 연구에서는 모바일 기기의 상황 정보와 사용자 입력 태그 정보를 추가하여 온톨로지 기반 어노테이션을 사용한다.모바일 기기에서 자동으로 획득하는 시간 정보와 위치 정보를 온톨로지 언어인 RDF[7]트리플의 그래프 데이터로 변환하여어노테이션 한다.
모바일 기기에서 자동으로 획득하는 시간 정보와 위치 정보를 온톨로지 언어인 RDF[7]트리플의 그래프 데이터로 변환하여어노테이션 한다.추가적으로 사용자가 입력한 태그 정보를 DBPedia를 이용하여 RDF트리플로 모델링하여 어노테이션 한다.Fig.
2000년대 이전에 이미지를 관계형 데이터베이스에 저장하고 이미지의 메타 정보(파일 이름, 색상, 크기)와 색상, 형태가 비슷한 유사 이미지 검색 등을 SQL을 이용한 연구들이 많이 진행되어 왔다. 하지만, 본 논문에서는 그림처럼 이미지가 가지는 의미 정보에 기반한 SPARQL질의어 처리를 개발하였다. SPARQLe 현재 시맨틱 웹 데이터(RDF, OWL)을 효과적으로 접근하고 탐색하기 위한 질의언어이다.

대상 데이터

비교하였다. 비교 대상으로는 Linked Tag[1], KaleidoPhoto[5], PhotoMap[6]로 의미 기반 이미지 어노테이션과 모바일 기반 이미지 어노테이션을 대표하는 시스템들이 포함되었다.
안드로이드 환경을 사용하였다.이미지 태그에 대한 자동 트리플 어노테이션을 위한 데이터로는 DBPedia1)를 이용하였으며 이미지를 저장하기 위한 저장소로는 MySQL, 어노테이션 RDF트리플 데이터를 저장하기 위한 저장소로는 JenaTDB2)를 이용하였다. 이미지 검색을 위한 SPARQL질의 처리 역시 Jena API를 이용하여 구현하였다.

이론/모형

본 논문에서는 모바일 기기의 상황 정보를 이용하여 이미지가 가지는 의미적 정보를 어노테이션하여 사용자가 원하는 이미지를 검색 할 수 있는 Moment 시스템을 제안하였다.Moment는 어노테이션 정보를 RDF 모델을 이용하여 이미지 검색 시 SPARQL질의를 이용하도록 하였다.
2는 RDF그래프와 이에 해당하는 질의어를 보여준다.본 예제에서는 시간 속성을 포함하는 SPARQL질의를 사용하고 있다.Fig.
이미지 태그에 대한 자동 트리플 어노테이션을 위한 데이터로는 DBPedia1)를 이용하였으며 이미지를 저장하기 위한 저장소로는 MySQL, 어노테이션 RDF트리플 데이터를 저장하기 위한 저장소로는 JenaTDB2)를 이용하였다. 이미지 검색을 위한 SPARQL질의 처리 역시 Jena API를 이용하여 구현하였다.
이미지 태그들 간의 의미 관계를 나타내는 Property는 LinkedTag[1]의 방법을 이용한다. 사용자가직접 입력을 하거나 외부 데이터의 정보를 참고해 서자 동으로 Property의 값을 연결해주거나 사용자에게 후보 값을 추천해준다.

성능/효과

6과같다.이미지 검색 질의와 검색 결과를 확인하면 사용자가 원하는 의미적인 내용으로 검색이 가능함을 알 수 있다.

후속연구

향후 과제로는 SPARQL질의에 익숙하지 않은 사용자를 위한 SPARQL질의 생성 기능이 필요하며 대용량 이미지 처리를 위한 하둡이나 NoSQL 등의 빅데이터 처리 기술을 활용하여 어노테이션 데이터의 처리를 효율적으로 가능하게 할 계획이다.

참고문헌 (15)

D. Im and G. Park, "Linked Tag: Image Annotation using Semantic Relationships between Image Tags," Journal of Multimedia Tools and Applications, Vol. 74, No. 7, pp. 2273-2287, 2015.

상세보기
D. Im and G. Park, "STAG: Semantic Image Annotation Using Relationships between Tags," Proceedings of Information Science and Applications, pp. 1-2, 2013.
J. Jeong, H. Hong, and D. Lee, "i-TagRanker: an Efficient Tag Ranking System for Image Sharing and Retrieval Using the Semantic Relationships between Tags," Journal of Multimedia Tools and Applications, Vol. 62, No. 2, pp. 451-478, 2013.

상세보기
H. No, K. Seo, and D. Im, "Design of Ontology-Based Image Annotation and Retrieval System in Android Environment," Proceedings of the Fall Conference of the Korea Multimedia Society, pp, 1748-1750, 2015.
S. Xia, X. Gong, W. Wang, Y. Tian, X. Yang, and J. Ma, "Context-aware Image Annotation and Retrieval on Mobile Device," Proceedings of Multimedia and Information Technology, pp. 111-114, 2010.
W. Viana, J. Filho, J. Gensel, M. Oliver, and H. Martin, "PhotoMap: Automatic Spatiotemporal Annotation for Mobile Photos," Proceeding of Web and Wireless Geographical Information Systems, pp. 187-201, 2007.
Resource Description Framework(RDF): Concepts and Abstract Syntax, http://www.w3.org/TR/2014/REC-rdf11-concepts-20140225/, W3C Recommendation, (accessed Jan., 14, 2016).
SPARQL Query Language for RDF, http://w3c.org/TR/rdf-sparql-query/, (accessd Jan., 14, 2016).
N. Magesh and P. Thangarai, "Semantic Image Retrieval Based on Ontology and SPARQL Query," Proceedings of ICACT, pp. 12-16, 2011.
C. Yeung, N. Gibbins, and N. Shadbolt, "Contextualising Tags in Collaborative Tagging Systems," Proceedings of the Twentieth ACM Conference on Hypertext and Hypermedia, pp. 251-260, 2009.
S. Fadzli and R. Setchi, "Semantic Approach to Image Retrieval Using Statistical Models Based on a Lexical Ontology," Proceedings of the 14 th International Conference on Knowledge-based and Intelligent Information & Engineering Systems, pp. 240-250, 2010.
L. Hollink, G. Schreiber, J. Wielemaker, and B. Wielinga, "Semantic Annotation of Image Collections," Proceedings of KCAP , pp. 41-48, 2003.
K. Park, J. Jeong, and D. Lee, "OLYBIA: Ontology-based Automatic Annotation System Using Semantic Inference Rules," Proceedings of International Conference on Database Systems for Advanced Application, pp. 485-496, 2007.
N. Chen, Q. Zhou, and V. Prasnna, "Under-Standing Web Images by Object Relation Network," Proceedings of World Wide Web, pp. 291-300, 2012.
H. Shin and B. Chang, "Design and Implementation of Location-based Mobile Bus Guide System using Social Tagging," Journal of Korea Multimedia Society, Vol. 15, No. 2, pp. 281-289, 2012.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증