[논문]모바일 플랫폼에서 다중 특징 기반의 이미지 검색

이용환; 조한진; 이준환

doi:10.14400/jdc.2014.12.6.237

모바일 플랫폼에서 다중 특징 기반의 이미지 검색
Image Retrieval using Multiple Features on Mobile Platform 원문보기

디지털융복합연구 = Journal of digital convergence, v.12 no.6, 2014년, pp.237 - 243

이용환 (극동대학교 스마트모바일학과) , 조한진 (극동대학교 스마트모바일학과) , 이준환 (극동대학교 스마트모바일학과)

초록
AI-Helper

본 논문에서는 다양한 검색 환경과 모바일 디바이스의 센서 정보를 활용한 모바일 이미지 검색 방법을 제안하고 안드로이드 플랫폼에서 구동하는 검색 시스템을 구현하였다. 설계 개발 시스템은 JPEG 이미지를 대상으로 산업계 표준 메타데이터인 EXIF 속성과 시각적 특징을 결합한 새로운 검색 기술자이며, 검색을 위한 특징 추출 및 유사도 평가 알고리즘을 모바일 환경에 최적화한 이미지 검색 모듈이다. 실험을 통해, 대용량 이미지 데이터셋을 대상으로 안드로이드 폰에서 효율적인 이미지 검색을 수행하였음을 보였다.

Abstract ▼ AI-Helper

In this paper, we propose a mobile image retrieval system which utilizes the mobile device's sensor information and enables running in a variety of the environments, and implement the system on Android platform. The proposed system deals with a new image descriptor using combination of the visual feature with EXIF attributes in the target of JPEG image, and image matching algorithm which is optimized to the mobile environments. Experiments are performed on the Android platform, and the experimental results revealed that the proposed algorithm exhibits a significant improved results with large image database.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

모바일 이미지 검색 시스템은 다중의 클라이언트와 하나의 서버 간에 통신 및 요청이 이뤄지기 때문에, 데이터의 중복화 및 동기화 문제가 발생할 수 있다. 따라서 본 논문에서는 데이터의 전송 방식에서 스레드를 통한 1:1 데이터 전송 방식을 구현하여 이러한 문제점을 해결한다. 제안 시스템의 클라이언트에서 서버로의 전송은 ImageInfo 클래스를 이용하여 특징 값을 전달한다.
본 논문에서는 다양한 모바일 디바이스 환경에서 이미지 검색이 가능한 모듈화된 시스템 개발을 목표로 하며, 높은 시스템 적응성을 위해 API설계 및 단일 컴포넌트의 높은 활용성 제공과 컴포넌트들 간의 독립성을 유지하는 것이다. 이를 효율적으로 지원하기 위해, 기능별 클래스를 설계하여 재사용성과 개발 효율성을 높였다.
본 논문에서는 모바일 이미지 검색을 위해 모바일 환경에 최적화된 모듈별 클래스를 설계하고, 클라이언트-서버 간의 통신 효율성을 높인 직렬화 프로그램을 설계 구현하였다. JPEG 이미지를 대상으로, 안드로이드 플랫폼에서 동작하는 검색 알고리즘을 설계 구현하였으며, 이를 라이브러리 형식으로 쉽게 API를 적용하여 활용성 높은 시스템을 개발하였다.
본 논문에서는 모바일 콘텐츠들 중에서 가장 일반적이고 사용자층이 많은 이미지 검색 기술을 대상으로 상용화 서비스가 가능한 검색 기술을 연구 개발하는 것이 목표이다. 이미지 검색 방법으로, 텍스트 기반 질의 방식이 아닌 이미지의 속성 메타데이터, 시각적 특징 및 위치 정보를 결합한 내용 기반의 검색 방법을 구체화한 모바일 특화된 이미지 검색 기술을 구현한다.
본 연구의 제안 시스템 목표는 다양한 검색 환경과 모바일 디바이스의 센서 정보를 활용한 모바일 환경에 최적화된 이미지 검색 시스템을 제안하고 이를 구현하는 것이다. 이를 위해, 다양한 모바일 디바이스 환경에서 적응적이고 모바일 단말기와 서버 간의 효율적인 통신을 위한 최적화된 통신 환경 지원, 모바일 환경의 특성을 반영한 위치 정보와 센서 정보를 활용한다.

제안 방법

본 논문에서는 모바일 이미지 검색을 위해 모바일 환경에 최적화된 모듈별 클래스를 설계하고, 클라이언트-서버 간의 통신 효율성을 높인 직렬화 프로그램을 설계 구현하였다. JPEG 이미지를 대상으로, 안드로이드 플랫폼에서 동작하는 검색 알고리즘을 설계 구현하였으며, 이를 라이브러리 형식으로 쉽게 API를 적용하여 활용성 높은 시스템을 개발하였다.
모바일 환경에서의 이미지는 조명 및 다양한 환경에 제약을 받게 된다. 따라서 영상 분석의 최적화를 위하여 히스토그램 평활화(Histogram Equalization) 작업을 수행한다.
모바일 시스템이 많은 발전을 거듭하고 있지만,아직까지 그래픽 부분에서 PC 성능을 따라가지 못한다. 따라서 영상 처리 과정에서 이미지의 크기 조정 (Resizing) 및 보정 작업을 통하여 시스템 성능 향상을 도모하고 모바일 환경에 보다 적응적인 검색 기술자를 설계하기 위해 전처리 과정을 수행한다.
두 번째 단계인 특징 추출 과정에서는 스마트폰의 계산 능력과 이동성을 고려한 이미지 특징을 추출한다. 본 논문에서 추출하는 특징 벡터는 시각적 특징(Visual Feature)과 위치 정보(Location)를 결합한 형태이며,시각적 특징으로 칼라와 질감 정보를 활용한 CEDD (Color Edge and Directivity Descriptor)[17]를 적용한다. 이미지 생성 위치 정보는 위도와 경도 (Latitude/Longitude)를 추출한다.
이를 위해, 다양한 모바일 디바이스 환경에서 적응적이고 모바일 단말기와 서버 간의 효율적인 통신을 위한 최적화된 통신 환경 지원, 모바일 환경의 특성을 반영한 위치 정보와 센서 정보를 활용한다. 본 논문의 제안 검색 시스템은 이미지 표준인 JPEG 파일에서 이미지 검색을 위한 메타데이터와 시각적 특징을 추출하는 검색 기술자, 유사도 검색 알고리즘을 통하여 모바일 최적화된 이미지 검색 모듈을 연구 개발하며, 제안하는 시스템의 구성도는 [Fig. 1]과 같다.
반대로, 서버에서의 검색 결과 이미지들을 클라이언트에 전송하는 과정에서 이미지 파일을 전송하게 되면, 전송 속도 문제뿐만 아니라 과도한 데이터 사용량을 초래할 수 있다. 이러한 문제점을 해결하기 위해, 제안 시스템의 서버에서는 http 통신 방식을 이용하여 하이브리드 앱(HybridApp) 방식을 이용하여 결과 화면을 보여주는 방식으로 수행한다.
최근의 스마트폰 이미지는 높은 해상도를 가지기 때문에 모바일 디바이스의 계산 능력을 고려할 때, 고해상도의 전체 이미지를 직접 처리하기 어려운 문제점이 있다. 이를 해결하기 위해, 영상 처리 시에 모바일 디바이스의 적응성을 고려하여, 스마트폰 환경에 적합한 이미지 사이즈로 조정하며(800*600), 선형보관법을 이용하여 이미지 크기를 조정한다. 모바일 환경에서의 이미지는 조명 및 다양한 환경에 제약을 받게 된다.
따라서 본 논문에서는 데이터의 전송 방식에서 스레드를 통한 1:1 데이터 전송 방식을 구현하여 이러한 문제점을 해결한다. 제안 시스템의 클라이언트에서 서버로의 전송은 ImageInfo 클래스를 이용하여 특징 값을 전달한다. 즉 객체간의 통신을 진행하여 데이터의 캡슐화를 보장한다.
제안하는 모바일 이미지 검색 시스템은 효과적인 필드 적용을 위해 크게 4개의 모듈로 구성하여 설계하며, 적용 용이성, 사용 편의성을 고려하여 SDK 옵션 형식을 선택적으로 활용하는 설계 구조를 갖는다.

성능/효과

25초를 소요하는 것으로 산출되었다. 구축된 Flickr DB 10만 장의 이미지 데이터베이스를 대상으로 검색 효율성을 검사하였을 때, 80% 수준의 정확도(Precision)를 보였다.
설계 구현한 프로토타입 시스템은 샘플 이미지 1,000개를 대상으로 내용 기반 시각적 특징을 추출하는데 평균 0.50초에 수행하였으며, 이미지 비교 및 인식을 위한 매칭 시간으로 0.25초를 소요하는 것으로 산출되었다. 구축된 Flickr DB 10만 장의 이미지 데이터베이스를 대상으로 검색 효율성을 검사하였을 때, 80% 수준의 정확도(Precision)를 보였다.
본 논문에서는 다양한 모바일 디바이스 환경에서 이미지 검색이 가능한 모듈화된 시스템 개발을 목표로 하며, 높은 시스템 적응성을 위해 API설계 및 단일 컴포넌트의 높은 활용성 제공과 컴포넌트들 간의 독립성을 유지하는 것이다. 이를 효율적으로 지원하기 위해, 기능별 클래스를 설계하여 재사용성과 개발 효율성을 높였다. [Fig.

후속연구

본 논문의 향후 연구내용으로, 증강현실에서 활용 가능한 미바커 기반 인식 기술의 요소기술로의 접목을 고려하고 있으며, 이를 위한 비주얼 검색 응용 기능을 제공하도록 연구 개발할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	SIFT의 단점은 무엇인가?	검색 기술 활용 및 동향을 살펴보면, PC환경에서 활용되고 있는 내용 기반 이미지 검색 기술에는 대표적으로 MPEG-7 Visual Descriptor 검색 기술자[6]와 SIFT(Shift Invariant Feature Transform)[7], SURF(Speed Up Robust Features)[8-9] 알고리즘이 있으며, 많은 응용 프로그램에서 이들 기술을 활용하고 있다. 그러나 MPEG-7 검색 기술자는 기본적으로 전역특징을 사용하여 콘텐츠의 부분적 기술이 불가능하며, 최근에 발표된 대표적 지역 특징인 SIFT, SURF는 계산양이 많고 환경 변화에 취약하여 제한적인 조건이 아닐 경우, 모바일 환경에서의 검색 기술자로 활용하기가 어렵다. 최근에 부각되고 있는 MPEG-7 CDVS(Compact Descriptor for Visual Search)는 SIFT를 적용하여 검색을 수행하지만[10], SIFT는 지적재산권 문제에 따라 산업적으로 상용화하는데 제한성을 가지는 단점이 있다.
	이미지 검색은 무엇인가?	일반적으로,이미지 검색은 사용자가 원하는 질의를 입력하고 이를 분석하여 사용자가 원하는 적절한 정보를 제공하는 기술이다. 이러한 서비스를 제공하는 검색 엔진의 역할은 유/무선 환경을 막론하고 수행하는 기능이나 역할은 동일하다고 할 수 있다.
	본 논문에서 제안하는 모바일 이미지 검색 시스템의 서브 모듈은 어떤 단계로 구성되는가?	4개의 서브 모듈은 (1) 전처리 단계, (2) 특징 추출 단계, (3) 서버-클라이언트 전송 단계와 (4) 특징 비교 및 인식 단계로 구성되어 각각의 작업을 수행하며, 모바일 이미지 검색 모듈의 세부구성은 [Fig. 2]와 같다.

참고문헌 (18)

Mun-Kew Leong, Wo Chang, "JPSearch-24800 Part 1: Framework and System Components", ISO/IEC JTC1 SC29 WG1N3684, 2005.
Ritendra Datta, Dhiraj Joshi, Jia Li, James Z. Wang, "Image Retrieval: Ideas, Influences and Trends of the New Age", ACM Transactions on Computing Surveys, Vol.40, No.2, 2008.
Sam S. Tsai, David Chen, Gabriel Takacs, Vilay Chandrasekhar, Jatinder P. Singh, Bernd Girod, "Location Coding for Mobile Image Retrieval", Proceeding of the International ICST Mobile Multimedia Communications Conference, 2009.
S.J. Lim, H.J. Oh, P.M. Ryu, H.Y. Jung, M.G. Jang, "Technology Trend of Mobile Intelligent Search", Electronics and Telecommunications Trends, Vol.25, No.3, 2010.
Bin Li, Xiangwei Kong, Zhe Wang, Haiyan Fu, "SIFT-Based Image Retrieval Combining the Distance Measure of Global Image and Sub-Image", International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp. 706-709, 2009.
Shih-Fu Chang, Thomas Sikora, Atul Puri, "Overview of the MPEG-7 Standard", IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.6, 2001.

상세보기
Akio Yamada, Robert O'challaghan, S.K. Kim, "MPEG-7 Visual Part of Experimentation Model ver 27.0", ISO/IEC JTC1/SC29/WG11N7808, 2006.
Herbert Bay, Andreas Ess, Tinne Tuytelaars and Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, Vol.110, No.3, pp.346-359, 2008.

상세보기
K. Velmurugan, Santhosh Baboo, "Content-based Image Retrieval using SURF and Colour Moments", Global Journal of Computer Science and Technology, Vol.11, Issue.10, Version 1.0, May, 2011.
Ling-Yu Duan, Jie Chen, Chunyu Wang, Rongrong Ji, Tiejun Huang, Web Gao, "Key Technologies in Mobile Visual Search and MPEG Standardization Activities", ZTE Communications, Vol.10, No.2, 2012.
N. Singhai, S.K. Shandilya, "A Survey on Content Based Image Retrieval Systems", International Journal of Computer Application, Vol. 4, 2010.
Gareth Loy, Jan-Olof Eklundh, "A Review of Benchmarking Content-Based Image Retrieval", MUSCLE/ImageCLEF Workshop on Image and Video Retrieval Evaluation, 2005.
Hui Hui Wang, Dzulkifli Mohamad, N. A. Ismail, "Semantic Gap in CHIR: Automatic Objects Spatial Relationships Semantic Extraction and Representation", International Journal of Image Processing, Vol.4, Issue.3, pp.192-204, 2010.
Website, http://images.google.co.kr
Mario Doeller, Ruben Tous, Frederik Temmermans, Kyoungro Yoon, Je-Ho Park, Youngseop Kim, Florian Stegmaier, Jaime Delgado, "JPEG's JPSearch Standard : Harmonizing Image Management and Search", IEEE Multimedia, 2012.
Frederik Temmermans, Frederic Defaux, Peter Schelkens, "JPSearch: Metadata Interoperability during Image Exchange", ISO/IEC JTC1 SC29WG1, 2013.
Savvas A. Chatzichristofis, Yiannis S. Boutalis, "CEDD: color and edge directivity descriptor: a compact descriptor for image Indexing and retrieval", International Conference on Computer vision systems, pp. 312-322, 2008.
Japan Electronics and Information Technology Industries Association, "Exchangeable Image File Format for Digital Still Cameras: EXIF Version 2.2", 2002.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증