[논문]이미지 인식을 위한 객체 식별 및 지역화

이용환; 박제호; 김영섭

이미지 인식을 위한 객체 식별 및 지역화
Object Identification and Localization for Image Recognition 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.11 no.4, 2012년, pp.49 - 55

이용환 (단국대학교 응용컴퓨터공학과) , 박제호 (단국대학교 컴퓨터과학과) , 김영섭 (단국대학교 전자공학과)

Abstract ▼ AI-Helper

This paper proposes an efficient method of object identification and localization for image recognition. The new proposed algorithm utilizes correlogram back-projection in the YCbCr chromaticity components to handle the problem of sub-region querying. Utilizing similar spatial color information enables users to detect and locate primary location and candidate regions accurately, without the need for additional information about the number of objects. Comparing this proposed algorithm to existing methods, experimental results show that improvement of 21% was observed. These results reveal that color correlogram is markedly more effective than color histogram for this task. Main contribution of this paper is that a different way of treating color spaces and a histogram measure, which involves information on spatial color, are applied in object localization. This approach opens up new opportunities for object detection for the use in the area of interactive image and 2-D based augmented reality.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 모델 영상에 대한 이미지 위치 검출과 객체 식별 문제를 해결하기 위한 알고리즘으로, 코렐로그램 역투영 방식을 사용하여 효율적인 블록-기반 검출 알고리즘을 제안하였다. 제안 알고리즘은 모델 객체를 검출하고 위치를 식별할 뿐만 아니라, 객체 수에 대한 추가적인 입력 정보 없이 후보 객체 영역을 검출할 수 있었다.
본 논문에서는, 부분 영역 이미지 질의에 대한 지역화 문제를 해결하기 위해 역투영 방식이 어떻게 활용되는지를 살펴보고, 부분 영역을 결정하기 위한 블록지향 분해(Block-oriented decomposition) 기술을 적용하여, 검출 대상 이미지에서 주어진 객체의 위치를 식별하기 위한 새로운 알고리즘을 제안한다. 제안하는 알고리즘에서는 객체와 가장 일치하는 영역뿐만 아니라, 객체의 수에 대한 추가적인 정보 없이 후보 대상 객체 위치도 검출할 수 있다.
또한, 컴퓨터 비전 분야와 2차원 증강 현실 분야에서 객체를 검출하고 가상 객체와의 정합을 위한 기초 기술로 활용될 수 있을 것이다. 본 연구는 경계선 검출 (Edge detection)을 통해 상호동작하는 이미지(Interactive image)의 객체를 추출하고, 사용자 인터페이스를 통해 새로운 유형의 영상 처리로 확장하여 연구할 계획이다.
본 논문에서는, 지역화 문제를 해결하기 위해 영역 검출에 초점을 맞추고, 공간적 칼라 히스토그램을 주로 다룬다. 영역 추출의 주요 목적은 사용자가 가장 관심을 갖는 영역의 공간적 경계를 식별하기 위한 것이며, 입력되는 질의 이미지에 있는 객체와 유사한 객체가 대상 이미지에 존재하는지, 만약 존재한다면, 어느 위치에 존재하는지를 판정하는 것이다. 이러한 영역 검출에 사용되는 여러 기술들이 연구되었으며, (1) 수작업(또는 반-자동)에 의한 검출(Manual extraction), (2) 고정된 블록 분할화(Fixed block segmentation), (3) 칼라 분할화(Color segmentation) 와 (4) 템플릿 매칭 기법(Template matching)이 있다[8].

가설 설정

이러한 단계를 지역화 문제(Localization problem)라고 한다[5]. 주어진 모델 이미지 M (검출 대상이 되는 전체 영역 이미지와 구분하기 위해 모델이라 명명한다)과 검출 대상이 되는 이미지 I 에 대해, 모델이 이미지에 포함된다고 가정한다. 즉, 모델은 이미지의 한 부분 영상이라고 가정한다.
주어진 모델 이미지 M (검출 대상이 되는 전체 영역 이미지와 구분하기 위해 모델이라 명명한다)과 검출 대상이 되는 이미지 I 에 대해, 모델이 이미지에 포함된다고 가정한다. 즉, 모델은 이미지의 한 부분 영상이라고 가정한다. 이 경우, 질의 모델 M 이 검출 대상 이미지 I 내 어느 위치에 배치되어 있는지를 찾아낸다.

제안 방법

허용 오차 범위에 존재하지 않는다면, 0을 반환한다. 대상 객체의 성공적인 검출 임계값은 추출한 모델의 중심 크기의 1/4 범위 내에 검출된 모델의 중심점이 포함되는지의 여부를 판단하여 시스템에서 자동으로 산출하였다. 실험 평가에 사용된 모델들 M₁, M₂ .
제안 알고리즘은 대상 이미지에서 모델 객체가 1개 이상이 나타날 때 해당 영역을 보다 효율적으로 검출할 수 있다는 것을 실험 결과를 통해 보였다. 또한, YCbCr 칼라 모델에서 4:1:1 샘플링 비율을 적용하여 이미지와 모델의 픽셀 수를 감소시켜, 이전의 연구에서 계산 시간의 문제를 개선하였다.
이에 반해, 객체 지역화는 이미지에서 주어진 특정 카테고리의 인스턴스에 대해 경계 영역을 검출하는 기술이다. 먼저, 이미지에서 특정 객체(예, 빨간색 장미)를 포함하는지 확인하고, 객체가 존재할 경우, 해당 객체가 차지하는 이미지 내의 위치를 검출한다. 이러한 단계를 지역화 문제(Localization problem)라고 한다[5].
본 논문에서는, 지역화 문제를 해결하기 위해 영역 검출에 초점을 맞추고, 공간적 칼라 히스토그램을 주로 다룬다. 영역 추출의 주요 목적은 사용자가 가장 관심을 갖는 영역의 공간적 경계를 식별하기 위한 것이며, 입력되는 질의 이미지에 있는 객체와 유사한 객체가 대상 이미지에 존재하는지, 만약 존재한다면, 어느 위치에 존재하는지를 판정하는 것이다.
본 논문에서 활용하는 코렐로그램(Correlogram) 은 이미지 내에 존재하는 서로 다른 칼라들 간의 공간 상관관계(Spatial correlation)을 계산하며, 이는 공간 정보에 따라 높은 계산 비용(Computational cost)의 문제를 유발할 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 분리된 색차 채널(Chrominance channel)에 대해 수평과 수직적으로 4 : 1 : 1 다운 샘플링을 수행한다.
수식(11)에서의 콘볼류션은 부분 영역들을 통해 확정되는 값들의 합을 의미하며, 결과상에서 최대값을 갖는 곳은 모델이 이미지 내에 대상 객체를 검출되는 위치를 나타낸다. 이러한 최대값의 위치 선택을 보다 효율적으로 수행하고 후보 대상 객체의 존재 여부 및 위치 판정을 위한 알고리즘은 다음과 같으며, 역투영 이미지에서 임계치(Threshold)를 통해 후보 대상 객체를 판별한다.
히스토그램 역투영 (Histogram Back-projection)기법은 공간적 상관관계(Correlation)에서 취약점을 가지고 있으며, 본 논문에서는 칼라의 상관 관계를 적용한 공 칼라(Spatial-color) 정보를 활용하여 이러한 문제점을 해결하는 알고리즘을 제안한다. Fig.

대상 데이터

이다. 각 영상 데이터베이스는 다양한 해상도(예를 들어, 384*256, 640*420, 768*512, 1600*1200 등)의 영상을 포함하고 있으며, 사람, 꽃, 버스, 과일, 건축물, 재료 등의 다양한 객체들이 존재하는 사진을 대상으로 실험 평가하였다. 객체의 위치 검출을 위해, 모델 이미지와 데이터베이스 내의 대상 이미지에는 반드시 객체가 포함되어야 하며, 3개의 영상 데이터베이스에서 풍경 사진 등 객체를 포함하지 않는 이미지들은 실험 데이터베이스에서 제외시켰으며, 객체를 포함하는 이미지들만을 선정하고 2,200 개의 이미지들을 대상으로 실험하였다.
각 영상 데이터베이스는 다양한 해상도(예를 들어, 384*256, 640*420, 768*512, 1600*1200 등)의 영상을 포함하고 있으며, 사람, 꽃, 버스, 과일, 건축물, 재료 등의 다양한 객체들이 존재하는 사진을 대상으로 실험 평가하였다. 객체의 위치 검출을 위해, 모델 이미지와 데이터베이스 내의 대상 이미지에는 반드시 객체가 포함되어야 하며, 3개의 영상 데이터베이스에서 풍경 사진 등 객체를 포함하지 않는 이미지들은 실험 데이터베이스에서 제외시켰으며, 객체를 포함하는 이미지들만을 선정하고 2,200 개의 이미지들을 대상으로 실험하였다. Fig.
본 논문에서 제안한 객체 위치 검출 알고리즘의 성능을 평가하기 위해, 3개의 영상 데이터베이스를 사용하였으며, 각각은 코렐 사진 갤러리(Corel photo gallery)¹ , MPEG-7 CCD (Common color datasets)²과 자연 사진 영상(Natural photos) 집합³이다. 각 영상 데이터베이스는 다양한 해상도(예를 들어, 384*256, 640*420, 768*512, 1600*1200 등)의 영상을 포함하고 있으며, 사람, 꽃, 버스, 과일, 건축물, 재료 등의 다양한 객체들이 존재하는 사진을 대상으로 실험 평가하였다.
대상 객체의 성공적인 검출 임계값은 추출한 모델의 중심 크기의 1/4 범위 내에 검출된 모델의 중심점이 포함되는지의 여부를 판단하여 시스템에서 자동으로 산출하였다. 실험 평가에 사용된 모델들 M₁, M₂ ..

데이터처리

본 논문에서 제안한 알고리즘의 성능 분석을 위해, 함수 loc(M, I) 를 산출한다. 만약 반환된 위치가 모델 M 의 이미지 I 내의 실제 위치에서 신뢰 허용 오차 범위 내에 존재한다면, loc() 함수는 1을 반환한다.

이론/모형

본 논문에서 활용하는 코렐로그램(Correlogram) 은 이미지 내에 존재하는 서로 다른 칼라들 간의 공간 상관관계(Spatial correlation)을 계산하며, 이는 공간 정보에 따라 높은 계산 비용(Computational cost)의 문제를 유발할 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 분리된 색차 채널(Chrominance channel)에 대해 수평과 수직적으로 4 : 1 : 1 다운 샘플링을 수행한다.
로 이뤄진 쌍에 대해, 가질 수 있는 모든 가능한 조합을 다루기 때문에, 코렐로그램의 크기는 급격하게 증가한다. 이를 해결하기 위한 방법으로, 오토코렐로그램(Autocorrelogram)을 활용한다. 이는 동일한 칼라 사이의 공간적 상관관계를 나타내며, 코렐로그램의 간략화된 부분집합이다.

성능/효과

1 로 구현하였다. 검출 성공률과 처리 시간에 대한 트레이드오프를 고려하여, 4 : 1 : 1 다운 샘플링 비율과 상관관계 거리 d = 1 에서 객체 검출 수행이 가장 적절한 것으로 평가되었다.
5는 히스토그램 역투영 방식과 제안하는 코렐로 그램 역투영 방식을 기반으로 객체 검출을 수행한 예이다. 그림에서와 같이, 기존의 알고리즘은 가장 적합한 하나의 객체 위치만을 검출하는 것에 비해, 제안 알고리즘에서는 가장 적합한 객체 위치뿐만 아니라, 모델과 유사한 후보 객체의 위치를 함께 검출할 수 있음을 보였다.
템플릿 매칭을 구현하는 간단하고 효율적인 방법으로, Swain이 처음으로 제안한 히스토그램 역투영 (Histogram back-projection) 방식이 있다[13]. 대상 이미지 히스토그램을 질의 이미지 히스토그램으로 나눈 몫으로 역투영시킴으로써 이미지 내에 공간적으로 밀접된 칼라 히스토그램의 가장 큰 위치를 얻을 수 있다. 히스토그램 역투영 방식을 설명하면 다음과 같다.
제안하는 알고리즘에서는 객체와 가장 일치하는 영역뿐만 아니라, 객체의 수에 대한 추가적인 정보 없이 후보 대상 객체 위치도 검출할 수 있다. 본 논문은 선행 연구[6]를 확장하여, 알고리즘을 개선하고 보다 많은 실험 평가를 통해, 검출 성공률의 향상과 처리시간의 단축을 얻을 수 있었다.
질의 모델의 위치 식별에 대해, 기존의 히스토그램 역투영 방식은 66%의 검출 성공률을 보인 반면, 본 논문의 제안 알고리즘은 87%의 검출 성공률을 보였다. 실험 결과에서 21%의 향상된 성공률을 얻을 수 있었다. 또한 , 이전의 연구 [6]에서 얻은 평균 처리시간 4.
제안 알고리즘은 모델 객체를 검출하고 위치를 식별할 뿐만 아니라, 객체 수에 대한 추가적인 입력 정보 없이 후보 객체 영역을 검출할 수 있었다. 제안 알고리즘은 대상 이미지에서 모델 객체가 1개 이상이 나타날 때 해당 영역을 보다 효율적으로 검출할 수 있다는 것을 실험 결과를 통해 보였다. 또한, YCbCr 칼라 모델에서 4:1:1 샘플링 비율을 적용하여 이미지와 모델의 픽셀 수를 감소시켜, 이전의 연구에서 계산 시간의 문제를 개선하였다.
본 논문에서는 모델 영상에 대한 이미지 위치 검출과 객체 식별 문제를 해결하기 위한 알고리즘으로, 코렐로그램 역투영 방식을 사용하여 효율적인 블록-기반 검출 알고리즘을 제안하였다. 제안 알고리즘은 모델 객체를 검출하고 위치를 식별할 뿐만 아니라, 객체 수에 대한 추가적인 입력 정보 없이 후보 객체 영역을 검출할 수 있었다. 제안 알고리즘은 대상 이미지에서 모델 객체가 1개 이상이 나타날 때 해당 영역을 보다 효율적으로 검출할 수 있다는 것을 실험 결과를 통해 보였다.
본 논문에서는, 부분 영역 이미지 질의에 대한 지역화 문제를 해결하기 위해 역투영 방식이 어떻게 활용되는지를 살펴보고, 부분 영역을 결정하기 위한 블록지향 분해(Block-oriented decomposition) 기술을 적용하여, 검출 대상 이미지에서 주어진 객체의 위치를 식별하기 위한 새로운 알고리즘을 제안한다. 제안하는 알고리즘에서는 객체와 가장 일치하는 영역뿐만 아니라, 객체의 수에 대한 추가적인 정보 없이 후보 대상 객체 위치도 검출할 수 있다. 본 논문은 선행 연구[6]를 확장하여, 알고리즘을 개선하고 보다 많은 실험 평가를 통해, 검출 성공률의 향상과 처리시간의 단축을 얻을 수 있었다.
질의 모델의 위치 식별에 대해, 기존의 히스토그램 역투영 방식은 66%의 검출 성공률을 보인 반면, 본 논문의 제안 알고리즘은 87%의 검출 성공률을 보였다. 실험 결과에서 21%의 향상된 성공률을 얻을 수 있었다.

후속연구

본 연구는 이미지 검색 분야에서 특정 영역에 대한 특징 추출 및 영역 검색의 선행 작업으로 활용될 수 있다. 또한, 컴퓨터 비전 분야와 2차원 증강 현실 분야에서 객체를 검출하고 가상 객체와의 정합을 위한 기초 기술로 활용될 수 있을 것이다. 본 연구는 경계선 검출 (Edge detection)을 통해 상호동작하는 이미지(Interactive image)의 객체를 추출하고, 사용자 인터페이스를 통해 새로운 유형의 영상 처리로 확장하여 연구할 계획이다.
본 연구는 이미지 검색 분야에서 특정 영역에 대한 특징 추출 및 영역 검색의 선행 작업으로 활용될 수 있다. 또한, 컴퓨터 비전 분야와 2차원 증강 현실 분야에서 객체를 검출하고 가상 객체와의 정합을 위한 기초 기술로 활용될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	내용-기반 이미지 검색 분야란?	다양한 분야에서 대용량의 디지털 이미지 레포지토리(Repository)가 활용되면서 이미지 압축/전송뿐만 아니라, 이미지에 대한 인식(Recognition)과 검색 분야가 연구분야로 각광받고 있다[1]. 내용-기반 이미지 검색 (Content-Based Image Retrieval)은 대용량 이미지 데이터베이스에서 사용자가 입력한 이미지와 유사성을 갖는 특정 디지털 이미지들을 검색하는 컴퓨터 비전의 응용분야이며, 칼라(Color), 질감(Texture), 모양(Shape) 등과 같은 시각적 특징을 추출하고, 유사성을 평가한다[2]. 내용-기반 이미지 검색은 크게 2가지 접근 방식을 지원하며, 전역 특징 기술자(Global feature descriptor) 와 지역 특징 기술자(Local feature descriptor)가 있다[3].
	디지털 이미지 레포지토리 기술로 어떤 연구분야가 각광받는가?	다양한 분야에서 대용량의 디지털 이미지 레포지토리(Repository)가 활용되면서 이미지 압축/전송뿐만 아니라, 이미지에 대한 인식(Recognition)과 검색 분야가 연구분야로 각광받고 있다[1]. 내용-기반 이미지 검색 (Content-Based Image Retrieval)은 대용량 이미지 데이터베이스에서 사용자가 입력한 이미지와 유사성을 갖는 특정 디지털 이미지들을 검색하는 컴퓨터 비전의 응용분야이며, 칼라(Color), 질감(Texture), 모양(Shape) 등과 같은 시각적 특징을 추출하고, 유사성을 평가한다[2].
	내용-기반 이미지 검색의 두 가지 접근 방식의 차이는?	내용-기반 이미지 검색은 크게 2가지 접근 방식을 지원하며, 전역 특징 기술자(Global feature descriptor) 와 지역 특징 기술자(Local feature descriptor)가 있다[3]. 두 기술자의 차이로, 전역 기술자는 이미지 전체 영역을 대상으로 특징 벡터를 추출하는 반면에, 지역 기술자는 이미지 내에 특정 영역을 대상으로 특징 벡터를 추출하고 유사 객체를 검색한다. 두 가지 모두 영상 검색에서 유용한 접근 방식을 제공하지만, 서로 다른 형태의 이미지 질의 관점을 가진다. 전역 기술자 기반 이미지 검색은 이미지 데이터베이스에서 얼마나 많은 유사 이미지들이 존재하는지에 초점을 맞추는 반면에, 지역 기술자 기반 검색은 이미지 내에 유사 객체를 가진 이미지들이 얼마나 있는지에 보다 큰 관심을 갖는다[4]. 예를 들어, “이미지의 오른쪽 부분에 빨간색 장미가 있는 이미지만을 검색한다”라고 할 때, 전체 영역에 대한 특징을 살펴보기 보다는 어느 한 영역에서 나타나는 특징만을 고려해야 한다.

참고문헌 (13)

Mun-Kew Leong, Wo Chang, ISO/IEC JTC1SC29/ WG1N3684, "Framework and System Components", July, 2005.
A.H. Halawani, A. Teynor, L. Setia, G. Brunner, H. Burkhardt, "Fundamentals and applications of image retrieval: an overview", Datenbank-Spektrum 18 pp.14-23, 2006.
R. Datta, D. Joshi, J. Li, J.Z.Wang, "Image retrieval: ideas, influences, and trends of the new age", ACM Computing Surveys 40 (2), pp.1-60, 2008.
M.S. Lew,N. Sebe, C. Djeraba, R. Jain, "Contentbasedmultimedia information retrieval: state of the art and challenges", ACM Transactions on Multimedia Computing, Communications, and Applications, pp. 1-19, 2006.
K. Murphy, A. Torralba, D. Eaton,W. Freeman, "Object detection and location using local and global features", Lecture Notes in Computer Science 4170, pp. 382-400, 2006.
Y.H. Lee, B. Kim, H.J. Kim, "Efficient object localization for query-by-subregion", in: International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing, 2011.
J. Huang, S.R. Kumar, M. Mitra, W.J. Zhu, R. Zabih, "Spatial color indexing and applications" International Journal of Computer Vision, 35 (3), pp.245-268, 1999.
J.R. Smith, "Integrated spatial and feature image systems: retrieval, analysis and compression", Ph.D. Thesis, Columbia University, USA, 1997.
A. Yilmaz, O. Javed, M. Shah, "Object tracking: a survey", ACM Computing Surveys, pp.1-45, 2006.
C.H. Lampert, M.B. Blaschko, T. Hofmann, "Beyond sliding windows: object localization by efficient subwindow search", in: Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, 2008.
J. Malki, N. Boujemaa, C. Naster, A. Winter, Region queries without segmentation for image retrieval by content, Lecture Notes in Computer Science 1614, pp. 115-122, 1999.
M.Wirth, R. Zaremba, "Flame region detection based on histogram back-projection", in: Canadian Conference Computer and Robot Vision, 2010.
M.J. Swain, D.H. Ballard, "Color indexing", International Journal of Computer Vision 7 (1), pp.11- 32, 1991.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증