온톨로지는 공유된 개념과 그 개념들 사이의 관계로 표현된다. 이러한 온톨로지를 사용하여 인간과 시스템에 대한 지식의 공유에 관한 연구가 활발히 이루어져 왔다. 예를 들면, 온톨로지의 설계 및 구축에 의한 영상이해를 들 수 있다. 그러나 온톨로지에 기반한 영상이해 방식 중 대부분의 기존 방식은 개념적인 연구에 그칠 뿐 구체적인 방법을 제시하지는 못하였다. 본 논문에서는 온톨로지로 표현된 지식에 근거하여 영상을 이해하는 다음과 같은 영상이해 프로세스 및 시스템을 제안한다. i)특정 분야의 지식을 온톨로지로 표현하고, ii)영상 처리 및 분석 과정을 통해 영상을 구성하는 객체들의 특징을 추출하며, iii)객체의 특징으로부터 객체의 개념을 해석하고, iv)온톨로지 추론을 통해 영상 해석 과정에서의 애매성을 줄인다. 제안된 영상 이해 프로세스에 기반하여 영상이해 시스템을 구축하고, 특정 분야에서의 실험을 통하여 제안된 프로세스와 시스템의 효용성을 확인한다.
온톨로지는 공유된 개념과 그 개념들 사이의 관계로 표현된다. 이러한 온톨로지를 사용하여 인간과 시스템에 대한 지식의 공유에 관한 연구가 활발히 이루어져 왔다. 예를 들면, 온톨로지의 설계 및 구축에 의한 영상이해를 들 수 있다. 그러나 온톨로지에 기반한 영상이해 방식 중 대부분의 기존 방식은 개념적인 연구에 그칠 뿐 구체적인 방법을 제시하지는 못하였다. 본 논문에서는 온톨로지로 표현된 지식에 근거하여 영상을 이해하는 다음과 같은 영상이해 프로세스 및 시스템을 제안한다. i)특정 분야의 지식을 온톨로지로 표현하고, ii)영상 처리 및 분석 과정을 통해 영상을 구성하는 객체들의 특징을 추출하며, iii)객체의 특징으로부터 객체의 개념을 해석하고, iv)온톨로지 추론을 통해 영상 해석 과정에서의 애매성을 줄인다. 제안된 영상 이해 프로세스에 기반하여 영상이해 시스템을 구축하고, 특정 분야에서의 실험을 통하여 제안된 프로세스와 시스템의 효용성을 확인한다.
Ontology is represented by the shared concepts and relations among those. Many studies have been actively working on sharing human's knowledge with that of systems by using it. For a typical example, there is the design and implementation of ontology system for image understanding. However conventio...
Ontology is represented by the shared concepts and relations among those. Many studies have been actively working on sharing human's knowledge with that of systems by using it. For a typical example, there is the design and implementation of ontology system for image understanding. However conventional studies on ontology-based image understanding have proposed not concrete methods but conceptual idea. In this paper, we propose an ontology-based image understanding system with following four processes: i)knowledge representation of a specific domain by the ontology, ii)feature extraction of objects through image processing and image analysis, iii)image interpretation by object features, and iv)reduction of ambiguity existing in image interpretation by ontology reasoning. We implement an image understanding system based on the proposed processed, and show the effectiveness of the proposed system from experimental results in a specific domain.
Ontology is represented by the shared concepts and relations among those. Many studies have been actively working on sharing human's knowledge with that of systems by using it. For a typical example, there is the design and implementation of ontology system for image understanding. However conventional studies on ontology-based image understanding have proposed not concrete methods but conceptual idea. In this paper, we propose an ontology-based image understanding system with following four processes: i)knowledge representation of a specific domain by the ontology, ii)feature extraction of objects through image processing and image analysis, iii)image interpretation by object features, and iv)reduction of ambiguity existing in image interpretation by ontology reasoning. We implement an image understanding system based on the proposed processed, and show the effectiveness of the proposed system from experimental results in a specific domain.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
현재 지식 구성이 가능한 온톨로지를 이용한 많은 응용 시스템이 개발되고 연구되고 있다. 그리고 본 논문에서는 특정 분야의 온톨로지를 0VL (Ontology Web Language)구성하고, 영상으로부터 객체의 속성을 추출하여 영상을 해석하고 이해하는 영상이해 프로세스와 시스템을 제안한다.
본 논문에서는 온톨로지로 표현한 지식에 근거하여 영상의 처리, 분석, 해석 과정을 통해 영상을 이해하는 영상이해 프로세스와 시스템을 제안하였다. 그리고 제안된 영상 이층H 프로세스에 기반 하여 영상이해 시스템을 구축하고, 특정 분야에서의 실험을 통하여 제안된 프로세스와 시스템의 효용성을 확인하였다.
영상에서 해석하고자 하는 객체의 특징을 추출하기 위해서는 원 영상에서 관심 객체만을 분리함으로써 특징 추출 과정에서 관심 객체 이외의 정보를 제거하는 것을 목적으로 한다. 즉, 원 영상으로부터 영상 처리 과정을 통해 관심 객체만을 분리하여 영상 해석의 애매성을 줄인다.
관한 연구가 많이 이루어지고 있다. 이러한 연구들의 근본적 목표는 주어진 영상 내에서 객체를 인식하고 객체 사이의 관계를 추출하여 영상을 이해하는 것이다.
가설 설정
이 경우 객체와 내부 객체의 개념 관계는 “isPartOf”이다. 즉, 내부 객체가 객체의한 부분으로 존재한다는 온톨로지 지식 정보를 참조하여 내부 객체의 개념들과 “isPartOf”의 관계에 있는 객체의 개념 범위 C를 정의하고, 개념 범위 C와 개념 범위 A의 공통 개념 범위가 객체의 개념일 가능성이 높다는 가정이다. 이런 방법으로 영상 해석과정에서의 애매성(ambiguity)을 줄인다.
제안 방법
제안한 영상이해 프로세스에 따른 영상이해 시스템은 전문가에 의해 구축된 "지식 베이스”, 입력 영상에서 해석하고자 하는 객체의 "영역 선택”, 선택된 영역에서 객체의 특징을 추출하는 "객체 특징 추출”, 추출된 객체의 특징과 지식베이스를 이용하여 객체의 개념을 추론하는 “객체 해석”으로 구성되어 있다. 그림 2는 제안한 영상이해 시스템의 구조를 보인다.
시스템 구현의 한계성을 극복하기 위해서 지식에 기반한 영상이해에 디한 연구가 이루어지고 있다. Maillote 색 개념 (color concept), 질감 개념 (texture concept) 그리고 공간적 시각 개념(spatial- temporal concept)을 사용하여 정의역에 독립적인(domain independent) 지식 베이스를 구축한 영상이해 시스템을 제안하였다[5, 6]. 또한 Son 등은 온톨로지의 의미 학적 분류와 구성학적 분류를 이용하여 특정 영역의 개념들에 대한 정의역에 독립적인 지식베이스를 구성하는 영상이해 시스템을 제안하였다[1].
Prot€g6를 이용한 OVV丄 형태의 식물 분야(plant domain) 온톨로지를 구축하였다. 온톨로지 구축 시 WordNet[9]을 기반으로 식물 분야의 상위 개념의 계층 구조를 형성하였다.
분야의 지식을 온톨로지로 표현하고, ii)영상 처리 및 분석 과정을 통해 영상을 구성하는 객체들의 속성을 추출하며, ⅲ)온톨로지 추론을 통해 객체의 속성으로부터 객체를 정의하여 영상을 해석한다.
개체들의 특징 값과 비교하여 객체의 개념을 해석하고 객체개념의 후보들을 생성한다. 이때, 유사도가 임계값 이상인 개념 후보를 선택하고, 전체 후보들의 유사도가 임계값을 넘지 못하는 경우에는 객체를 해석할 수 없다고 판단한다.
온톨로지 구축 시 WordNet[9]을 기반으로 식물 분야의 상위 개념의 계층 구조를 형성하였다. 그리고 학습에 이용한 영상을 분석하여 각 특징 속성의 특징값을 추출하고, 학습 영상과 학습 영상개체에 포함된 객체에서 추출한 특징 값을 각각 개념의 영상개체와 영상개체의 특징 속성 값으로 설정하였다. 그림 13은 Prot6g6[10]를 이용하여 구현한。叽 온톨로지를 보인다.
예를 들어, 표 1과 같이 동일한 "사과”라는 개념이지만 시각적 특징。. 다른 두 영상개체 A와 B를 “사과”라는 개념과 연결 지어 인지하고 학습한다. 만일 새로운 영상개체 C의 특징이 기존에 학습한 영상개체 A와 B의 특징과 전체적으로 일치하지 않고 그들의 특징 범위 내에 속할 경우, 영상개체 C도 “사과”의 개념 범위에 속할 수 있다고 판단한다.
따라서 3가지 객체의 특징 값을 기준으로 학습객체의 특징 값과의 유사도(similarity)를 측정하고, 각 특징 속성에서의 유사도를 조합하여 객체의 개념을 판단한다.
그러나 객체 분리 개념으로 실제 영상에서 객체를 분리할 경우 해석해야할 객체의 수가 폭발적으로 늘어날 가능성이 있다. 따라서 분리할 수 있는 가장 큰 객체로부터 내부의 객체를 점차적으로 분리하여 객체를 해석한다. 영상에서 표현되는 객체의 형태는 다음과 같다.
질감은 광원, 피사체의 각도 등에 따라서 질감이 달라질 수 있고, 같은 피사체라 하더라도 부위에 따라서 다른 질감을 나타낼 수 있다. 따라서 영상 해석의 목적에 따라 각 속성의 유사도를 적절히 조절하여 객체 간 유사도를 구한다. 식 (11)과같이 각 특징 유사도 측정값에 가중치를 부여하여 최종 유사도(S?)를 구한다.
본 논문에서는 객체의 특징 속성을 색상, 형태, 질감으로 정의하였다. 따라서 3가지 객체의 특징 값을 기준으로 학습객체의 특징 값과의 유사도(similarity)를 측정하고, 각 특징 속성에서의 유사도를 조합하여 객체의 개념을 판단한다.
본 논문에서는 그림 4와같이 실제 영상(real image)을 개체로 하고, 영상개체 (image instance) 속성으로는 영상 개체 내부의 객체에 대한 색상[color), 형태(shape), 질감(texture) 과 같은 시각적 속성을 사용한다.
본 논문에서의 영상 哲습은 사람이 사물을 시각을 통해 인지하고 학습하는 방법을 모델로 하였다. 사람은 과거에 보았던 사물들으 특징들에 대한 기억과 처음 본 사물의 특징을 비교하여 그 사물의 개념을 판단한다.
1. 색상 분석
분리된 객체로부터 색상을 분석한다
. 식 (1)과 같이 색상의 범위를 RGB 각 채널별로 4개의 범위를 지정하고 총 64 가지의 색상 그룹(Color Group)을 생성한다.
실험을 위해 과일(fruit)의 하위 개념을 편의상 10개로 제한하고, 각 개념 당 1개~2개의 학습 영상개체를 분석하여 개념의 속성 범위를 정하였다. 그리고 배경과 객체가 쉽게 구분되는 단일 영상을 대상으로 실험하였다.
영상 객체 해석 과정에서 애매성이 너무 클 경우 객체 내에 존재하는 내부 객체를 분리하여 다시 영상을 해석한다. 즉, 그림 11과같이 객체 개념과 내부 객체 개념과의 관계를 온톨로지를 통해 추론하여 객체의 개념을 정의한다.
구축하였다. 온톨로지 구축 시 WordNet[9]을 기반으로 식물 분야의 상위 개념의 계층 구조를 형성하였다. 그리고 학습에 이용한 영상을 분석하여 각 특징 속성의 특징값을 추출하고, 학습 영상과 학습 영상개체에 포함된 객체에서 추출한 특징 값을 각각 개념의 영상개체와 영상개체의 특징 속성 값으로 설정하였다.
온톨로지 지 식 베 이 스가 구성되면 실제 이미지를 입력하여 이미지로부터 관심 객체를 추출하고 추출된 객체의 속성을 분석한다.
전체 객체 영역에 대한 영상 해석 결과인 객체의 개념 범위 A에서 개념 범위가 넓어 객체의 정확한 개념을 판단하기 어려운 경우, 객체 내부에 존재하는 독립 객체에 대한 영상해석을 한다. 내부 객체에 대한 영상 해석 결과인 내부 객체의 개념 범위 日를 얻는다.
제안된 영상이해 프로세스와 시스템의 효용성을 검증하기 위하여, 영상이해 프로세스에 기반한 영상이해 시스템을 구축하고, 이를 이용하여 영상이해 실험을 수행하였다.
대상 데이터
속성 범위를 정하였다. 그리고 배경과 객체가 쉽게 구분되는 단일 영상을 대상으로 실험하였다. 그림 14와 같이각 개념별로 2개의 영상을 학습 영상으로 선정하였고, 학습에 사용되지 않은 59개의 테스트 영상을 영상이해 실험 대상으로 하였다.
그리고 배경과 객체가 쉽게 구분되는 단일 영상을 대상으로 실험하였다. 그림 14와 같이각 개념별로 2개의 영상을 학습 영상으로 선정하였고, 학습에 사용되지 않은 59개의 테스트 영상을 영상이해 실험 대상으로 하였다. 테스트 영상에 대한 영상이해 실험결과를 표 2에 보인다.
실험에서 사용된 변수는 d' = 10°, / = 10 °, Z = 10, a = 0.3, (3 = 0-3, 7 = 0-3과 같다.
성능/효과
시스템을 제안하였다. 그리고 제안된 영상 이층H 프로세스에 기반 하여 영상이해 시스템을 구축하고, 특정 분야에서의 실험을 통하여 제안된 프로세스와 시스템의 효용성을 확인하였다.
다른 두 영상개체 A와 B를 “사과”라는 개념과 연결 지어 인지하고 학습한다. 만일 새로운 영상개체 C의 특징이 기존에 학습한 영상개체 A와 B의 특징과 전체적으로 일치하지 않고 그들의 특징 범위 내에 속할 경우, 영상개체 C도 “사과”의 개념 범위에 속할 수 있다고 판단한다.
표 2에서 1개의 영상개체를 이용하여 영상개체의 특징 속성을 정의하였을 때 보다는 2개의 영상개체를 이용하여 좀 더 넓은 범위의 특징 속성을 정의하였을 때 오히려 정확률이 낮아지는 것을 확인할 수 있었다.
후속연구
연구가 이루어져야 할 것으로 판단된다. 둘째로는 영상 내 객체에 대한 해석뿐만 아니라 객체의 동작이나 상황을 알아내는 것이 영상이해의 목적중의 하나이므로 객체 사이의 관계 또한 객체 사이의 상호 작용을 정의한 온톨로지의 확대적용에 관한 연구가 이루어져야 한다고 판단된다.
처리할 수 있게 된다. 따라서 영상 이해 시스템은 로봇 비전, 상황 인식, 영상 분류, 영상 검색 등과 같은 영상 관련 분야에 적극 활용될 수 있다.
향후 연구과제로서 첫째로는 본 논문에서 도입한 영상의 특징 속성, 즉, 객체의 색상, 모양, 형태 정보만으로는 객체를 충분히 설명할 수 없는 한계가 있으므로 이에 대한 보다 많은 연구가 이루어져야 할 것으로 판단된다. 둘째로는 영상 내 객체에 대한 해석뿐만 아니라 객체의 동작이나 상황을 알아내는 것이 영상이해의 목적중의 하나이므로 객체 사이의 관계 또한 객체 사이의 상호 작용을 정의한 온톨로지의 확대적용에 관한 연구가 이루어져야 한다고 판단된다.
참고문헌 (10)
손세호, 이인근, 권순학, 'Ontological 지식 기반 영상이해시스템의 구조,' KFIS Spring Conference, Vol. 14, No.1, pp. 235-240, 2004
T. Matsuyama, V. Hwang, SIGMA: A Knowledge-Based Aerial Image Understanding System, Plenum, New York, 1990
D. Crevier and R. Lepage, 'Knowledge-Based Image Understanding Systems: A Survey,' Computer Vision and Image Understanding, Vol. 67, No.2, pp 161-185, 1997
Jiebo Luo, Andreas E. Savakis, Amit Singhal, 'A Bayesian network-based framework for semantic image understanding,' Pattern Recognition, Vol.. 38, Issue 6, pp. 919-934, 2005
N. Maillot, M. Thonnat, A. Boucher, 'Toward Ontology Based Cognitive Vision,' In Proceedings of The Third International Conference On Computer Vision Systems, LNCS 2626, pp. 44-53, 2003
No Maillot, M. Thonnat, A. Boucher, 'A Visual Concept Ontology for Automatic Image Recognition,' In Proceedings of The Second International Semantic Web Conference, 2003
Natalya F. Noy and Deborah L. McGuinness, 'Ontology Development 101: A Guide to Creating Your First Ontology,' Stanford Knowledge Systems Laboratory Technical Report KSL-01-05 and Stanford Medical Informatics Technical Report SMI-2001-0880, March 2001
OWL Web Ontology Language Guide, http://www.w3.org/TR/owl-guide, July 2006
Wordnet, http://wordnet.princeton.edu, October 2006
Protege, http://protege.stanford.edu, October 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.