[논문]영상 캡션 정보를 이용한 멀티미디어 데이터 검색 시스템의 설계 및 구현

이현창; 배상현

영상 캡션 정보를 이용한 멀티미디어 데이터 검색 시스템의 설계 및 구현
Design and Implementation of Multimedia Data Retrieval System using Image Caption Information 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.8 no.3, 2004년, pp.630 - 636

이현창 (한세대학교 IT학부 컴퓨터공학과) , 배상현 (조선대학교 자연과학대학 컴퓨터통계학과)

초록
AI-Helper

오디오 비디오 데이터의 활용이 증가함에 따라 멀티미디어 데이터의 내용에 대해 표현하려는 연구와 함께 멀티미디어 데이터의 내용이나 메타데이터를 저장하고, 검색하고, 조작하는 연구의 필요성이 증가하였다. 멀티미디어 데이터 표현은 사용자가 원하는 내용만을 쉽게 검색하고, 접근할 수 있도록 표현되고 저장되어야 한다. 본 논문은 멀티미디어 데이터가 포함된 문서를 검색하기 위해서 멀티미디어 데이터의 캡션(Caption) 정보를 이용하거나 문서 내용을 기반으로 멀티미디어 데이터를 검색 할 수 있는 시스템을 설계하고 구현하였다. 멀티미디어 데이터의 캡션 정보와 문서의 텍스트는 모두 키워드를 추출하기 위해 필터링(Filtering) 단계를 거치고, B+ 트리를 이용한 역 파일 구조를 사용하여 빠르고 대용량의 문서 검색을 할 수 있도록 하였다.

Abstract ▼ AI-Helper

According to the increase of audio and video data utilization, the presentation of multimedia data contents and the work of retrieving, storing and manipulating a multimedia data have been the focus of recent work. The display for multimedia data should retrieve and access the contents easily that users want to present. This study is about the design and implementation of a system to retrieve multimedia data based on the contents of documentation or the caption information of a multimedia data for retrieving documentation including multimedia data. It intends to develop an filtering step to retrieve all of keyword within the caption information of multimedia data and text of a documentation. Also, the system is designed to retrieve a large amount of data quickly using an inverted file structure available for B+ tree.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존의 문서와 이미지에 대한 검색이 다른 기법들에 의하여 따로 설계되어왔기 때문에 기존의 텍스트 내용 기반의 검색 방법을 이용하여 이를 통합하였다. 내용 기반의 검색을 위해 문서는 텍스트 데이터를 사용하고, 이미지는 캡션 정보를 이용하여 동시에 문서의 접근이 가능하도록 설계하고 구현하였다.
본 연구에서는 멀티미디어 데이터로서 영상 이미지를 포함한 문서에 대하여 텍스트 내용을 기반으로 한 문서의 검색 시스템을 설계하고 구현하였다. 이미지와 문서의 동시 접근을 위해 이미지는 캡션 정보를 이용하였고, 문서는 문서의 내용을 이용하여 접근하였다.
텍스트에 대한 빠른 검색을 위한 여러 파일의 기법들이 제안되었으며, 본 내용에서는 요약 파일과 역 파일에 대해서 간략히 살펴본다.

제안 방법

예로 설명하면 다음과 같다. 먼저, 사용자 인터페이스 단계로부터 boolean 연산을 이용한 질의를 "이미지의 내용이 Car인 멀티미디어 데이터를 포함한 문서 검색"과 다른 예로서 멀티미디어 데이터를 포함한 데이터에서 설명으로 이루어진 텍스트 중에 멀티미디어 데이터를 설명하는 텍스트에 대한 질의인 "Text에 Car가 포함된 문서 검색"의 질의를 입력받는다. [그림 4]에서는 멀티미디어 데이터로서 자동차 영상을 포함한 문서처리에 대한 예를 그림으로 도시하고 있다.
이를 통합하였다. 내용 기반의 검색을 위해 문서는 텍스트 데이터를 사용하고, 이미지는 캡션 정보를 이용하여 동시에 문서의 접근이 가능하도록 설계하고 구현하였다.
단어 가중치 부가는 부울린(boolean) 검색 모델의 문서 표현 방법을 향상시킨 벡터 공간검색 모델에서 사용하는 방법이다. 단어 가중치는 tf * idf 형태의 함수를 사용해서 계산 되며, 이를 수행하기 위해서 단어 빈도수를 구하는 기능과 내포된 단어의 총 문서 수를 구하는 기능을 구축하였다. 예를 들면, tf(term frequency weight)는 문서 안에 그 단어의 빈도수를 구하는 함수이고, idf(inverse document frequency weight) 는 그 단어를 포함하고 있는 총 문서의 수를 구하는 역함수이다.
또한 내용 기반의 이미지 검색보다 구현이 쉽고, 설명 정보가 정확하다면 검색의 정확도를 높일 수 있는 장점도 있다. 본 시스템의 특징으로 빠른 검색과 대용량의 문서를 위해서 B+트리를 이용한 역 파일 구조로 구현하여 동적으로 데이터의 블록을 생성함으로서 기억 장소의 낭비를 줄였다. 본 연구를 통한 응용 분야로써 영상 데이터 혹은 도면 등 텍스트를 포함한 멀티미디어 정보 관리나 특허 관련 정보 관리시 활용할 수 있고, 신문 및 잡지에 대한 멀티미디어 데이터 검색에도 활용할 수 있다.
본 연구에서는 색 인 파일 구조로 B+트리 구조를 사용하였다. B+트리는 다른 파일 구조에 비하여 약간의 메모리 공간을 더 요구하지만 갱신 연산에 대한 처리를 다른 색인 방법 보다 쉽게 수행 할 수 있으며, 탐색 시간이 빠르다는 장점을 가지고 있기 때문에 B+트리를 사용하였다.
이미지가 포함된 문서로부터 이미지의 캡션 정보와 문서의 내용으로부터 텍스트를 따로 Scanning 처리 단계를 수행한다. 스캐닝 단계를 마치고 나서 필터링 단계에서 키워드를 생성하여 이미지와 문서에 대한 각각의 색인 파일과 포스팅 파일을 생성 및 저장한다. 사용자의 질의는 색인 파일과 포스팅 파일을 이용해서 문서와 멀티미디어 데이터인 이미지의 내용을 동시에 검색할 수 있게 된다.
같이 취급한다. 이렇게 질의 문의 문자열을 문서로서 받아들인 다음 다시 질의문상의 문서를 어휘분석기를 통하여 각각의 낱말들로 분류한다. 이들 낱말들은 아직 사용자가 원하는 파일을 찾기 위한 낱말 형식을 갖추고 있지 않다.
이미지와 문서의 동시 접근을 위해 이미지는 캡션 정보를 이용하였고, 문서는 문서의 내용을 이용하여 접근하였다. 이는 기존의 문서 검색 방법이 이미지와 텍스트의 검색에 있어서 차별을 두는 반면에 같은 기법의 검색을 통해서 문서와 이미지를 동시에 검색을 수행할 수 있다.

이론/모형

불용어를 구현하는 데는 어휘 분석 단계의 결과 값을 다른 함수에서 처리하는 방법과 어휘 분석기내에 함수의 일부분으로 제거 함수 기능을 가지는 두 가지 방법이 있다. 본 연구에서 구현된 방법은 효율이 좋은 두 번째 방법으로 하였으며 불용어의 선택은 Francis and kucera(1992)에서 정의된 425개의 단어를 기본으로 하였다.
이런 심볼 묘사(symbolic description) 방법은 데이터를 묘사하기 위한 적절한 키워드를 입력하는 것이 무엇보다도 중요하며 질의에 대한 키워드와 저장된 데이터의 키워드가 일치하지 않을 수 있다는 단점을 가지고 있다. 이를 보완하는 방법으로 다중키워드(multiple keyword)를 이용한 검색 기법을 사용하였다[5]. 다중 키워드 기법은 단어 사전을 이용하여 사용자의 질의에 대한 키워드를 단어 사전에서 유사한 뜻을 지닌 단어를 찾고 이런 다중 키워드에 대한 모든 데이터의 검색을 요구하는 기법이다.

성능/효과

각각의 검색 결과들은 boolean 연산으로 and, or, not 등의 연산이 가능하고, 단어 가중치가 높은 문서부터 순차적으로 보여줄 수도 있다. 문서와 이미지의 내용이 다른 문서 검색도 검색이 가능하다.

후속연구

향후 연구 과제로서 질의시 키워드의 부분 매칭이 가능한 시스템으로의 확장이 필요하고, 질의 모델을 확장하여 자연어를 지원하도록 하는 것이다. 또한 처리 속도에 따른 문제점이 존재하지만 멀티미디어 데이터인 이미지 자체 내용으로도 검색할 수 있도록 병행 연구가 필요하다.
본 시스템의 특징으로 빠른 검색과 대용량의 문서를 위해서 B+트리를 이용한 역 파일 구조로 구현하여 동적으로 데이터의 블록을 생성함으로서 기억 장소의 낭비를 줄였다. 본 연구를 통한 응용 분야로써 영상 데이터 혹은 도면 등 텍스트를 포함한 멀티미디어 정보 관리나 특허 관련 정보 관리시 활용할 수 있고, 신문 및 잡지에 대한 멀티미디어 데이터 검색에도 활용할 수 있다. 향후 연구 과제로서 질의시 키워드의 부분 매칭이 가능한 시스템으로의 확장이 필요하고, 질의 모델을 확장하여 자연어를 지원하도록 하는 것이다.
본 연구를 통한 응용 분야로써 영상 데이터 혹은 도면 등 텍스트를 포함한 멀티미디어 정보 관리나 특허 관련 정보 관리시 활용할 수 있고, 신문 및 잡지에 대한 멀티미디어 데이터 검색에도 활용할 수 있다. 향후 연구 과제로서 질의시 키워드의 부분 매칭이 가능한 시스템으로의 확장이 필요하고, 질의 모델을 확장하여 자연어를 지원하도록 하는 것이다. 또한 처리 속도에 따른 문제점이 존재하지만 멀티미디어 데이터인 이미지 자체 내용으로도 검색할 수 있도록 병행 연구가 필요하다.

참고문헌 (10)

Chung-Sheng Le, Rakesh Mohan and John R. Smith, 'Multimedia Content Description In the InfoPyramid,' IEEE ICASSP, Vol.6, pp 3789-3792, 1998
Ajay divakaran, Hirofumi Nishikawa, Kohta-ro Asai, 'A Description Scheme For Video Based On Feature Extraction In the Compressed Domain', IEEE, pp 278-279, 2000
William B.Frakes, Ricardo Baeza-Yates, 'Information Retrieval : Data Structures & AIgorithms', Prentice Hall Publishing
D.Tsichrizis and P.Economopoulos, 'A MUIti-media office filtng system', Proc. of 9th Int. Conf. on VLDB, pp.2-7, 1983
Tzi-cker Chiueh, 'Content-Based Image Indexng', Proceedings of the 20th VLDB Conference
최기호, 문희정, 염성주, 김우생, 이원규, '내용을 기반으로한 이미지 검색 데이터베이스시스템', 한국 정보 과학회지 제13권 제1호, PP.8-17 1995년 1월
석상기, '멀티미디어 데이터베이스를 위한 객체지향 데이터 모델 및 검색 기법', 홍익대박사 학위 논문, 1993
Virginia E. Ogle, Michael Stonebraker, 'Chabot : Retrieval from a Relation Data-base of Images', IEEE Computer Vol. 28 No. 9, 1995
Rohini K. Srihari, 'Automatic Indexing and Content-Based Retrieval of Captioned Images', IEEE Computer Vol. 28 No. 9, 1995
C. Faloutsos, 'Access Methods for Text', ACM Computing Surveys, Vol. 17 No. 1, PP.49-74, March 1984

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증