[논문]온톨로지를 이용한 이미지 내 객체사이의 의미 정보 추론

김지원; 김철원

doi:10.13067/jkiecs.2020.15.3.579

온톨로지를 이용한 이미지 내 객체사이의 의미 정보 추론
Semantic Information Inference among Objects in Image Using Ontology 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.3, 2020년, pp.579 - 586

초록
AI-Helper

웹 페이지에는 방대한 양의 멀티미디어 자료가 있으며 정확한 검색을 위하여 낮은 수준의 시각 정보에서 의미 정보를 추출하는 방법에 대한 연구가 이루어지고 있다. 그러나 이러한 기술들은 대부분 한 장의 이미지에 하나의 정보를 추출하므로 이미지 내에 여러 객체가 조합되어 있는 경우 의미 정보를 추출하기 어렵다. 본 논문에서는 이미지내의 여러 객체와 배경 등을 추출하기 위하여 우선 각각의 저수준 특징을 추출하고, 이를 SVM을 이용하여 미리 정의해 놓은 배경과 객체로 나눈다. 이렇게 나눈 객체와 배경은 온톨로지로 구축하고, 위치와 연관 관계의 의미 정보를 추론엔진을 이용하여 추론한다. 이는 이미지 내의 여러 객체들 사이에 의미 정보 추론이 가능하고, 좀 더 복잡하고 다양한 고수준의 의미 정보를 추론하는 방법을 제안한다.

Abstract ▼ AI-Helper

There is a large amount of multimedia data on the web page, and a method of extracting semantic information from low level visual information for accurate retrieval is being studied. However, most of these techniques extract one of information from a single image, so it is difficult to extract semantic information when multiple objects are combined in the image. In this paper, each low-level feature is extracted to extract various objects and backgrounds in an image, and these are divided into predefined backgrounds and objects using SVM. The objects and backgrounds divided in this way are constructed with ontology, infer the semantic information of location and association using inference engine. It's possible to extract the semantic information. We propose this method process the complex and high-level semantic information in image.

주제어

표/그림 (6)

그림 그림 1. 시스템 구조 Fig. 1 Structure of system
표 표 1. 컬러 모델 분석 Table 1. Analysis of Color-Model
그림 그림 2. 웨이블릿 변환과정 Fig. 2 Wavelet transform
그림 그림 3. 온톨로지 구축 Fig. 3 Construct of ontology
그림 그림 4. 평가 결과 Fig. 4 Evaluation results
그림 그림 5. 의미 추론 이미지 검색 시스템 Fig. 5 Image Retrieval system of semantic inference

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

각각의 미리 정의된 객체와 배경을 트레이닝 시켜 DB에 저장하고, 사용자로부터 입력된 이미지를 K-means 알고리즘을 이용 분할하여 DB와 유사성을 비교하여 객체로 매핑 한다. 그리고 추론 엔진과 구축한 온톨로지를 이용하여 사용자가 검색하고자 하는 이미지를 제공한다.
본 논문에서는 이미지 검색 시 복잡하고 다양한 고수준의 의미정보를 추론하여 검색하는 방법을 제안하였다. 이미지를 HSV컬러와 최적화된 K-값을 얻어낸 K-means 알고리즘을 이용하여 region 분할하였다.

가설 설정

배경의 정의는 고정 되어 있거나 스포츠 관람석의 객석처럼 의자가 고정 되어 있는 것을 말한다. 객체는 한곳에 고정되어 있지 않고 움직임이 있는 것을 객체라고 정의하였다. 실험으로 스포츠에서 Golf, BaseBall, BasketBall, VolleyBall을 선정하였다.
식(3)에서 I는 입력 영상, r은 분할된 영역의 수, Ai는 분할된 영역 i의 픽셀 수, ei는 분할된 영역과 원 영상의 영역사이의 픽셀값의 유클리디안 거리값이다. 분할된 영역의 픽셀값은 분할된 영역에 해당하는 픽셀의 평균값으로 대치된다. 같은 색상을 가진 픽셀로 올바르게 영상이 분할되면 유사도 F값은 작아지게 된다.
region 분할시 K-means알고리즘을 이용하여 이미지에 따라 적합한 K값을 적용한 결과 K값이 정해져 있는 것과 비교하였을 때 약8%이상 정확률을 보였다. 이미지 검색 시 골프에서는 먼 거리의 이미지일 경우 골프채가 가늘기 때문에 객체는 거의 사람만 추출된다. 이러한 경우 배경 없이는 컴퓨터에서 골프장임을 알기 힘들다.

제안 방법

각각의 미리 정의된 객체와 배경을 트레이닝 시켜 DB에 저장하고, 사용자로부터 입력된 이미지를 K-means 알고리즘을 이용 분할하여 DB와 유사성을 비교하여 객체로 매핑 한다. 그리고 추론 엔진과 구축한 온톨로지를 이용하여 사용자가 검색하고자 하는 이미지를 제공한다.
각각의 영역별로 질감과 HSV컬러를 얻어내고, SVM을 이용하여 위에서 정의한 객체와 배경에 매칭하여 식별해 낸다. 이렇게 분류된 컨셉은 유사한 시각 정보를 가지는 다른 컨셉으로 잘못 분류될 수 있다.
본 논문에서는 이러한 문제점을 해결하기 위하여 영역기반 검색 방법을 이용하여 이미지 내에서 저수준 특징들을 추출하여 각각의 객체와 배경을 분리한다. 그리고 온톨로지를 구축하여, 각 객체가 무엇을 의미하는지 추론 엔진을 이용하여 의미관계를 추론한다. 제안하는 방법은 이미지 검색 시 복잡한 이미지 처리와 사용자가 생각하는 의미적으로 유사한 이미지를 보다 효율적으로 검색할 수 있다.
일반적으로 OWL(Ontology Web Language)은 RDF(Resource Description Framework)에 상-하위 관계 및 동등 관계, 제약 조건 등의 풍부한 표현이 가능하며 논리나 추론을 위한 정보를 표현할 수 있는 기반을 제공한다. 따라서 본 연구에서는 OWL을 이용하여 온톨로지를 구축하였다.
본 논문에서는 이러한 문제점을 해결하기 위하여 영역기반 검색 방법을 이용하여 이미지 내에서 저수준 특징들을 추출하여 각각의 객체와 배경을 분리한다. 그리고 온톨로지를 구축하여, 각 객체가 무엇을 의미하는지 추론 엔진을 이용하여 의미관계를 추론한다.
본 논문에서는 이미지를 저수준 특징 추출 특징을 이용하여 segment를 나누고, 이를 SVM 알고리즘으로 이미지내의 배경과 객체를 추출한다.
각각의 미리 정의된 객체와 배경을 트레이닝 시켜 DB에 저장한다. 사용자로부터 입력된 이미지를 K-means 알고리즘을 이용하여 분할하며 나누어진 영역으로 이미지 정보의 수를 줄인 후, SVM알고리즘으로 영역 기반 DB와 유사성을 비교하여 각각의 배경과 객체로 매핑한다. 추론 엔진과 구축한 온톨로지를 이용하여 사용자가 검색하고자 하는 이미지를 제공한다.
그리고 분할된 영역의 저수준 특징을 추출하고, 추출된 특징을 SVM알고리즘을 이용하여 미리 정의한 배경과 객체를 매핑하여 추출하였다. 스포츠에 대한 배경과 객체를 온톨로지를 구축하고, 추론엔진을 이용하여 이미지를 검색하는 시스템을 만들었다.
이미지 검색 시스템에서 가장 적합한 모델로 알려진 HSV 컬러 값을 이용하여 분할과 저수준 특징을 추출한다. 분할은 K-means 을 이용하여 추출한다.
이미지 안에서 객체와 배경을 정의하여 각각 추출하였다. 배경의 정의는 고정 되어 있거나 스포츠 관람석의 객석처럼 의자가 고정 되어 있는 것을 말한다.
특징을 추출하는 방법을 살펴보고, 의미적으로 유사한 이미지를 검색하기 위하여 온톨로지를 이용하는 방법에 대하여 기존의 연구를 살펴본다.

대상 데이터

성능 평가를 하기 위하여 구글에서 4가지의 스포츠를 검색하였다. 각 스포츠별 500개정도, 총 2,035개 이미지를 갖고 실험하였다.
성능 평가를 하기 위하여 구글에서 4가지의 스포츠를 검색하였다. 각 스포츠별 500개정도, 총 2,035개 이미지를 갖고 실험하였다.
객체는 한곳에 고정되어 있지 않고 움직임이 있는 것을 객체라고 정의하였다. 실험으로 스포츠에서 Golf, BaseBall, BasketBall, VolleyBall을 선정하였다. 각각의 스포츠에서 [표 1]과 같이 객체와 배경을 나누었다.

데이터처리

같은 색상을 가진 픽셀로 올바르게 영상이 분할되면 유사도 F값은 작아지게 된다. 그리고 분할율의 성능 평가는 무작위로 100개의 샘플 이미지를 뽑아 수동으로 영상을 분할한 결과와 제안한 방법에 의해 분할한 픽셀의 차이를 계산하였다. 이미지에 따라 다르게 적용되는 K값으로 분할한 결과 K값이 정해져 있는 것에 비해 평균 약 8%이상 향상되었다.

이론/모형

이 클래스는 다른 모든 스포츠 클래스들의 property로 명시되도록 하였다. 구축한 온톨로지를 바탕으로 객체의 다양한 의미 추론을 위하여 JESS(Java Expert System Shell) 추론 엔진을 이용하였다[17]. Jess는 규칙기반의 추론 시스템으로서 프로그램 자체의 크기가 작고 가벼우며, 규칙(rule)과 사실(fact)의 매칭에는 RETE 알고리즘을 이용하여 빠른 추론 기능을 제공한다.
이미지를 HSV컬러와 최적화된 K-값을 얻어낸 K-means 알고리즘을 이용하여 region 분할하였다. 그리고 분할된 영역의 저수준 특징을 추출하고, 추출된 특징을 SVM알고리즘을 이용하여 미리 정의한 배경과 객체를 매핑하여 추출하였다. 스포츠에 대한 배경과 객체를 온톨로지를 구축하고, 추론엔진을 이용하여 이미지를 검색하는 시스템을 만들었다.
이미지의 컬러 특징 정보를 사용하여 검색 시스템을 구성할 때 가장 먼저 고려해야 할 점은 적합한 컬러 모델(Color Model)을 선택하는 것이다. 기존 제안된 내용 기반 검색 시스템에서는 RGB, HSV 및 CIE-Luv 등의 다양한 컬러 모델을 사용하였다[10-14]. J.
본 논문에서는 이미지 검색 시 복잡하고 다양한 고수준의 의미정보를 추론하여 검색하는 방법을 제안하였다. 이미지를 HSV컬러와 최적화된 K-값을 얻어낸 K-means 알고리즘을 이용하여 region 분할하였다. 그리고 분할된 영역의 저수준 특징을 추출하고, 추출된 특징을 SVM알고리즘을 이용하여 미리 정의한 배경과 객체를 매핑하여 추출하였다.

성능/효과

region 분할시 K-means알고리즘을 이용하여 이미지에 따라 적합한 K값을 적용한 결과 K값이 정해져 있는 것과 비교하였을 때 약8%이상 정확률을 보였다. 이미지 검색 시 골프에서는 먼 거리의 이미지일 경우 골프채가 가늘기 때문에 객체는 거의 사람만 추출된다.
이미지 검색 시 입력데이터는 이미지와 키워드 2개를 줄 수 있도록 하였다. 이미지 or 키워드 or 이미지와 키워드 모두 입력하여 검색할 수 있도록 하였다. [그림 5]는 검색결과 화면이다.
또한 영역간은 중첩되지 않으므로 영역간의 교집합은 공집합이 된다. 이미지 크기에 대한 유사성 문제와 인덱스 문제를 동시에 해결해 줄 수 있다. 그러나 유사영역으로 나누는 추가적인 작업이 필요하다.
이러한 경우 배경 없이는 컴퓨터에서 골프장임을 알기 힘들다. 이미지내의 배경과 객체를 분리하여 모두 사용한 결과 기존의 객체만 이용하여 검색한 결과보다 좋은 검색 결과를 보였다.
그리고 분할율의 성능 평가는 무작위로 100개의 샘플 이미지를 뽑아 수동으로 영상을 분할한 결과와 제안한 방법에 의해 분할한 픽셀의 차이를 계산하였다. 이미지에 따라 다르게 적용되는 K값으로 분할한 결과 K값이 정해져 있는 것에 비해 평균 약 8%이상 향상되었다. [그림4]는 평가 결과를 나타낸다.
그리고 온톨로지를 구축하여, 각 객체가 무엇을 의미하는지 추론 엔진을 이용하여 의미관계를 추론한다. 제안하는 방법은 이미지 검색 시 복잡한 이미지 처리와 사용자가 생각하는 의미적으로 유사한 이미지를 보다 효율적으로 검색할 수 있다.

후속연구

온톨로지 구축에 있어서 좀 더 확대하여 스포츠 이외에 자연풍경(해변, 산 등)등 다른 것도 구축한다면 추론 엔진 룰을 추가하여 ‘해변가에서 농구 게임’등 더 복잡한 이미지 검색도 가능하며, 객체는 없고 배경만 있는 경우에도 검색이 가능 할 것이다. 또는 아티스트들은 자신의 감각과 감정을 나타내기 위하여 색조, 따스함, 대조 같은 perceptual 의미론을 사용하는데 이를 접목시켜 ‘행복한 이미지’ 또는 ‘슬픈 이미지’와 같은 검색으로도 검색 가능할 것이다.
온톨로지 구축에 있어서 좀 더 확대하여 스포츠 이외에 자연풍경(해변, 산 등)등 다른 것도 구축한다면 추론 엔진 룰을 추가하여 ‘해변가에서 농구 게임’등 더 복잡한 이미지 검색도 가능하며, 객체는 없고 배경만 있는 경우에도 검색이 가능 할 것이다. 또는 아티스트들은 자신의 감각과 감정을 나타내기 위하여 색조, 따스함, 대조 같은 perceptual 의미론을 사용하는데 이를 접목시켜 ‘행복한 이미지’ 또는 ‘슬픈 이미지’와 같은 검색으로도 검색 가능할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Texture 특성이란 무엇인가?	Texture 특성은 이미지를 보았을 때 느끼는 거친 정도, 패턴의 균일한 정도 등에 대한 이미지 특성이라 말할 수 있다[17]. 통계적인 방법으로 이미지 픽셀의 명도 성분에 대한 히스토그램에서 모멘트를 추출하여 특징 벡터를 추출하는 방법이 있다.
	키워드 기반 방식의 단점은 무엇인가?	이미지 검색방법에는 키워드 기반 방식과 내용 기반 방식 그리고 영역기반 방식 등이 있다[1-5]. 키워드 기반 방식은 사람이 직접 이미지에 대한 주석을 붙이는 방식으로 주석 처리에 많은 시간과 노력이 필요하다는 단점이 있다. 또한 같은 이미지라도 주석을 붙이는 사람에 따라 키워드가 달라질 수 있는 극히 주관적이라는 문제점이 있다.
	키워드 기반 방식의 문제점은 무엇인가?	키워드 기반 방식은 사람이 직접 이미지에 대한 주석을 붙이는 방식으로 주석 처리에 많은 시간과 노력이 필요하다는 단점이 있다. 또한 같은 이미지라도 주석을 붙이는 사람에 따라 키워드가 달라질 수 있는 극히 주관적이라는 문제점이 있다. 내용 기반의 이미지 검색 방법은 크기가 큰 이미지나 한 이미지 안에 복잡한 색상들이 많으면 정확한 이미지의 표현이 어렵다.

참고문헌 (30)

E. Oomoto and K. Tanaka, "OVID: Design and Implementation of a Video-Object Database System," IEEE Transactions On Knowledge and Data Enginnering, vol. 5, no. 4, 1993, pp. 629-643.

상세보기
J. P. Eakins and M. E. Graham, "Content-based Image Retrieval, A Report to the JISC Technology Application Programme," Technical report, Jan. 1999.
M. Lew, N. Sebe, C. Djeraba, and R. Jain, "Content-based Multimedia Information Retrieval: State of the Art and Challenges," ACM Transactions on Multimedia Computing, Communications, and Applications, vol. 2, no. 1, Feb. 2006, pp. 1-19.

상세보기
C. Carson, M. Thomas, S. Belongie, J. Hellerstein, and J. M. Malik, "Blobworld: A System for Region-Based Image Indexing and Retrieval," Third International Conference on Visual Information Systems, 1999.
Y. Dengang and B. Manjunath, "An Efficient Low-Dimensional Color Indexing Scheme for Region-Based Image Retrieval," Proc. of IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), 1999, pp. 3017-20.
E. Hyyoenen, A. Styrman, and S. Saarela, "Ontology-based Image Retrieval," Helsinki Institute for Information Technology, February 2006, pp. 1-19.
J. Shuqiang, H. Tiejun, and G. Wen, "An Ontology-based Approach to Retrieval Digitized Art Images," IEEE/WIC/ACM International Conference on Web Intelligence (WI'04), Sept. 2004, pp. 131-137.
V. Mezaris, I. Kompatsiaris, and M. Strintzis, "Region-based image retrieval using an object ontology and relevance feedback," EURASIP Journal on Applied Signal Processing, vol. 15, no. 4, June 2004, pp. 96-99.
Y. Liu, D. Zhang, G. Lu, and W. Ma, "A survey of content-based image retrieval with high-level semantics," Pattern Recognition, vol. 40, no. 1, Jan. 2007, pp. 262-282.

상세보기
G. Pass, R. Zabih, and J. Miller , "Comparing images using color coherence vectors," In Proc. ACM Intern. Conf. Multimedia, Boston, MA, U.S.A., 1996.
J. Smith, "Integrated Spatial and Feature Image Systems: Retrieval Analysis and Compression," PhD Thesis, Graduate School of Arts and Sciences, Columbia University, 1997.
M. Tico, Haverinen, and P. Kuosmanen, "A Method of Color Histogram Creation for Image Retrieval," NORSIG(Norwegian Signal Processing Society), pp. 678.
S. Sural, G. Qian, and S. Pramanik, "Segmentation and Histogram Generation using The HSV Color Space for Image Retrieval", International Conference on Image Processing, IEEE, 2002, pp.589-592.
R. S. Gray, "Content-based image retrieval: Color and edges," Technical Report, 1995.
J. Huang, S. Kumar, M. Mitra, W.-J. Zhu, and R. Zabih, "Image Indexing Using Color Correlograms," IEEE International Conference on Computer Vision and Pattern Recognition, 1997.
S. Sural, G. Qian, and S. Pramanik, "Segmentation and Histogram Generation using The HSV Color Space for Image Retrieval," IEEE International Conference on Image Processing, vol. 2, Sept. 2002, pp. II-589-II-592.
R. Gonzalez and R. Woods, Digital Image Processing, 2nd Ed. Prentice Hall, 2002.
Y. Cui and Z. Zhou, "Application of Pattern Recognition of Classifying Texture Image," Intelligent Control and Automation, WCICA 2004 Fifth World Congress, vol. 5, 2004, pp. 15-19.
T. S. Lee, "image Representation using 2D Gabor Wavelet," IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 18, Oct. 1996, pp. 957-971.
M. Vetterli and J. Kovacevic, Wavelets and Subband Coding. Englewood Cliffs: Prentice Hall PTR, 1995.
T. Randen, "Filter and Filter Bank Design for Image Texture Recognition," Ph.D Thesis, NTNU(: Norwegian University of Science and Technology), 1997.
J. Fan and D. K. Yau, Automatic Image segmentation by Integrating Color-Edge Extraction and Seeded Region Growing, IEEE Transactions on Image Processing, vol. 10, 2001, pp. 1454-1466.

상세보기
L. Bonsiepen, and W. Coy, "Stable Segmentation Using Color Information", Proc. of Computer Analysis of Images and Patterns, ed. R. Klette, Proc. of CAIP'91, Dresden, Germany, Sept. 1991, pp. 77-84.
S. A. Hijjatoleslami and J. Kittler, "Region Growing: A New Approach," IEEE Transactions on Image Processing, vol. 7, 1998, pp. 1079-1084.

상세보기
Segentation based K-means, http://www.conv2.com.
A. Popescu, C. Millet, and P.-A. Moellic "Ontology driven content based image retrieval," ACM International Conference on Image and Video Retrieval, July 2007, pp. 387-394.
J. Shuqiang, H. Tiejun, and G. Wen "An Ontology based Approach to Retrieval Digitized Art Images," IEEE/WIC/ACM International Conference on Web Intelligence (WI'04), Sept. 2004, pp. 131-137.
V. Mezaris, I. Kompatsiaris, and M. G. Strintzis, "Region-based Image Retrieval using an Object Ontology and Relevance Feedback," EURASIP J. of Applied Sigal Processiing, vol. 15, Jan. 2004, pp. 336-901.
JESS, http://www.jessrules.com/jess/index.shtml
P. N. Tan, M. Steinbch, and V. Kumar, Introduction to Data Mining, Addison Wesley. Section 5.5, 2006, pp. 256-276.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증