[논문]객체영역의 컬러비와 모멘트를 이용한 내용기반 영상검색

김은경; 오준택; 김욱현

doi:10.3745/kipstb.2002.9b.4.501

문제 정의

본 논문에서는 영상 내에 존재하는 객체의 크기에 따라 적응적으로 객체영역과 배경영역을 분할함으로써 최적의 공 간정보를 얻을 수 있다. 또한 잡음 제거와 함께 컬러비와 모 멘트정보를 특징정보로 이용함으로써 히스토그램을 변화시 키는 잡음의 첨가나 빛의 변화에 대해 둔감하며 객체의 회 전, 크기 변화 등에 불변하는 특징을 지닌다.
본 논문에서는 영상 내에 존재하는 객체의 효율적인 영역 분할에 의한 영상검색을 제안한다. 먼저, 최적의 공간정보를 가지기 위해 영상 내의 객체는 중심에 위치한다는 가설[4]에 근거하여 미리 정의된 중심영역에서 가장 빈번히 나타나는 우세컬러를 기반으로 수평-수직 투영을 이용하여 적응적으로 영상을 객체영역과 배경영역으로 분할한다.
본 논문은 우세컬러에 따른 영역분할에 의한 새로운 내용기반 영상검색방법을 제안한다. 기존의 영역분할에 따른 내용기반 영상검색은 공간정보를 추출하기 위해 영상 내의 객체를 고 려하지 않고 영상을 일정한 영역으로 분할함으로써 객체에 대한 정확한 특징을 추출할 수 없다.

가설 설정

본 논문에서는 영상 내에 존재하는 객체의 효율적인 영역 분할에 의한 영상검색을 제안한다. 먼저, 최적의 공간정보를 가지기 위해 영상 내의 객체는 중심에 위치한다는 가설[4]에 근거하여 미리 정의된 중심영역에서 가장 빈번히 나타나는 우세컬러를 기반으로 수평-수직 투영을 이용하여 적응적으로 영상을 객체영역과 배경영역으로 분할한다. 또한 분할된 각 영역에 대해 추출한 컬러비와 모멘트를 특징정보로 이용한다.

제안 방법

CBA 방법은 화소의 컬러값에 대해 평균값 처리를 적용한 후, 영상 의 컬러공간을 양자화하였다. 그리고 전체 화소의 수를 기준으로 11개의 면적(area) 구간으로 분할한 후, 영상간에 같은 색상정보를 가지는 영역들의 면적이 동일한 경우 같은 영역으 로 분류한다. 분류된 영역의 개수와 각 영역의 색상정보에 대해 빈도수의 거리 측정값을 이용하여 유사도를 측정하였다.
자연계에 존재하는 컬러들은 무수히 많지만 미세한 변화의 경우 사람의 눈이 인식하지 못할 뿐 아니라 처리과정도 복잡 하기 때문에 컬러공간을 양자화할 필요가 있다. 따라서 HSI 컬러공간의 hue 정보에 대해 유사한 색상끼리 일정한 크기의 집합으로 나누어 히스토그램 구간을 결정하는 균등양자화 방법을 이용하여 18개의 구간으로 군집화한다.
영상을 구분하는 주요한 객체가 중심에 위치한다는 가설에 따라 영상을 일정한 크기의 중심영역과 바깥영역으로 나누어서 각 영역에 대해 컬러집합을 생성한 후, 히스토그램을 이용하여 대 표 컬러를 선택한다. 또한 대표컬러에 따른 공간정보를 얻기 위해 이벤트 차폐 방법과 최대 엔트로피 분리 방법을 사용하였다.
본 논문에서 제안하는 영상검색시스템의 전체 구성은 (그림 1)과 같이 영역분할, 특징추출, 유사성 측정으로 구성된다. 영역분할 부분은 미리 정의한 중심영역에서 추출한 우세컬러 를 기반으로 수평-수직 투영 (horizontal-vertical projection) 을 이용하여 영상 내의 객체영역과 배경영역을 분할한다.
본 논문에서는 영상 내에 존재하는 잡음을 제거하기 위해 median filter를 적용한 후, 인간의 시각 능력과 유사한 특성을 갖는 HSKhue, saturation, intensity) 컬러공간의 hue 정 보만을 이용한다. 식 (1)은 RGB(red, green, blue) 컬러공간 으로부터 HSI 컬러공간으로의 변환식을 나타낸다.
그리고 전체 화소의 수를 기준으로 11개의 면적(area) 구간으로 분할한 후, 영상간에 같은 색상정보를 가지는 영역들의 면적이 동일한 경우 같은 영역으 로 분류한다. 분류된 영역의 개수와 각 영역의 색상정보에 대해 빈도수의 거리 측정값을 이용하여 유사도를 측정하였다.
수평-수직 투영을 적용한 후, 영역의 크기가 미리 정의한 임계치보다 작은 경우 잡음으로 인식하여 제거하고 임계값이상의 결과값을 가지는 영역을 객체영역으로 검출한다. 객체영 역에 대해 수평 투영에 의한 시작점 및 끝점을 xmi„, %林 라 하고 수직 투영에 의한 시작점 및 끝점을 ymin, 3知林 라고 할 때 객체영역의 시작점 및 끝점은 (xmin, ymin), (a福*°„剪)와 같이 표현할 수 있다.
Hsu[4]에 의해 제안된 방법은 영상의 전반적인 느낌을 표현하기 위해 공간지식과 함께 통합된 컬러 정보 기술을 제안하였다. 영상을 구분하는 주요한 객체가 중심에 위치한다는 가설에 따라 영상을 일정한 크기의 중심영역과 바깥영역으로 나누어서 각 영역에 대해 컬러집합을 생성한 후, 히스토그램을 이용하여 대 표 컬러를 선택한다. 또한 대표컬러에 따른 공간정보를 얻기 위해 이벤트 차폐 방법과 최대 엔트로피 분리 방법을 사용하였다.
질의영상에서 추출한 각 영역별 특징들과 영상 데이터베 이스 내 영상들에 대한 특징간에 유사성을 비교하여 질의영 상에 가장 유사한 영상을 검색한다. 본 논문에서는 히스토그 램 인터섹션[1]과 normalized cross-covariance[14]를 이용하여 유사성을 측정한다.
초기의 중심영역은 영상의 중심으로부터 영상의 전체 크기의 1/4만큼 떨어진 영역으로 결정하였으며 수평-수직 투영에서 수 평, 수직축에 대한 누적 화소의 수가 20이하인 영역은 잡음으로 처리하였다. 컬러정보를 기반으로 측정한 객체영역과 배경영역 의 유사도에 대한 가중치는 0.
영역분할 부분은 미리 정의한 중심영역에서 추출한 우세컬러 를 기반으로 수평-수직 투영 (horizontal-vertical projection) 을 이용하여 영상 내의 객체영역과 배경영역을 분할한다. 특 징추출 부분은 분할된 객체영역과 배경영역에 대해 컬러비와 모멘트을 추출하며 유사도 측정 부분은 히스토그램 인터섹션 (histogram intersection) [1] 2} normalized cross-covariance [14] 등을 이용하여 질의영상과 미리 구축한 영상 데이터베이 스에 저장된 영상들간의 유사도를 계산한다.

대상 데이터

본 논문은 구축한 영상 데이터베이스에서 질의영상을 뽑아 유사한 영상들을 검색하는 query by example 방식을 이용한다. 실험환경은 Pentium 450Mhz의 Window 2000 환경에서 자바 언어로 구현하였으며 실험영상은 영상의 중심에 객체가 존재하는 1750개의 다양한 컬러영상들로, 256 x 256 크기로 정규화한 후 이용하였다. 유사도 측정 함수는 기본적으로 히 스토그램 인터섹션 방법을 이용한다.

이론/모형

Jain[5, 6]에 의해 제안된 방법은 컬러정보와 함께 모양정보를 결합한 방법으로 Swain이 제안한 방법을 약간 변형시킨 색상 히스토그램 인터섹션 방법과 방향 히스토그램 인터섹션 방법을 이용하였다. 또한 검색 시간을 단축시키기 위해 클러 스터링 방법과 branch and bound-based matching 방법을 이용하였다.
Jain[5, 6]에 의해 제안된 방법은 컬러정보와 함께 모양정보를 결합한 방법으로 Swain이 제안한 방법을 약간 변형시킨 색상 히스토그램 인터섹션 방법과 방향 히스토그램 인터섹션 방법을 이용하였다. 또한 검색 시간을 단축시키기 위해 클러 스터링 방법과 branch and bound-based matching 방법을 이용하였다. 모양정보를 결합함으로써 검색의 효율은 높일 수 있었지만 컬러 히스토그램 자체를 변화시키는 요인에 대해서는 민감한 반응을 보였다.
본 논문에서는 유사성에 대한 성능평가 척도로서 recall과 precision을 이용한다[8, 11, 13]. Recalle 영상 데이터베이스 내에서 질의 영상과 관련된 영상 중에서 검색된 영상의 비율 을 의미하고 precisione 검색된 영상 중에서 질의 영상과 관련된 영상의 비율을 의미한다.
질의영상에서 추출한 각 영역별 특징들과 영상 데이터베 이스 내 영상들에 대한 특징간에 유사성을 비교하여 질의영 상에 가장 유사한 영상을 검색한다. 본 논문에서는 히스토그 램 인터섹션[1]과 normalized cross-covariance[14]를 이용하여 유사성을 측정한다.
본 논문은 구축한 영상 데이터베이스에서 질의영상을 뽑아 유사한 영상들을 검색하는 query by example 방식을 이용한다. 실험환경은 Pentium 450Mhz의 Window 2000 환경에서 자바 언어로 구현하였으며 실험영상은 영상의 중심에 객체가 존재하는 1750개의 다양한 컬러영상들로, 256 x 256 크기로 정규화한 후 이용하였다.
영상 내에 뚜렷한 객체가 존재하지 않더라도 우세컬러에 의해 검출된 영역을 객체영역으로 설정한다. 영상의 전체영역 에 대해 우세컬%에 따른 이진영상을 생성하면 영상 내의 객 체뿐만 아니라 유사한 값을 가지는 다른 영역들도 검출될 수 있으므로 객체의 크기에 따른 정확한 영역의 검출을 위해 수 평-수직 투영 방법을 이용한다. (그림 2)는 이진영상에 대해 수평-수직 투영을 적용한 결과를 보여주며 수평축과 수직축 에 대한 투영은 식 (3)과 식 (4)와 같다.
실험환경은 Pentium 450Mhz의 Window 2000 환경에서 자바 언어로 구현하였으며 실험영상은 영상의 중심에 객체가 존재하는 1750개의 다양한 컬러영상들로, 256 x 256 크기로 정규화한 후 이용하였다. 유사도 측정 함수는 기본적으로 히 스토그램 인터섹션 방법을 이용한다.
컬러비는 어느 정도의 밝기 변화, 잡음의 첨가, 크기 변화 등에 불변하며 모멘트는 주요 객체의 크기 및 회전에 불 변하다는 특성을 지닌다. 질의 영상과 영상 데이터베이스 내 영상간의 유사도 측정은 히스토그램의 구간별 연관성을 고 려하기 위해 변형된 히스토그램 인터섹션을 이용한다.

성능/효과

(그림 5) (d)는 본 논문이 제안하는 방법에 의해 검색한 영상들을 보여준다. (그림 5) (b)는 공간정보를 고려하지 않아 유사하지 않은 영상도 검색하였으며 (그림 5) (c)는 (그림 5) (b) 보다 효율적인 결과를 보이지만 중심영역을 고정함으로써 객체 의 위치나 크기가 변화할 경우에는 유사성이 현저히 떨어지는 결과를 보인다. 그러나 본 논문이 제안한 방법은 영상 내의 존재하는 객체의 크기에 따라 적응적으로 객체영역과 배경영역을 분할함으로써 객체영역에 대해 정확한 컬러비와 모멘트를 추출 할 수 있어 객체에 변화가 가미된 유사한 영상들에 대해 강건한 검색이 가능하다.
<표 1>은 기존에 제안된 방법과 본 논문이 제안하는 방법에 대한 효율성을 보여준다.<표 1>의 결과를 종합하면 본 논문이 제안한 방법이 (a) 질의영상의 전체크기에 대해 히스토그램을 이용한 검색방법이나 (b) Striker의 방법, (c) Jain의 방법보다 우수하다는 것을 알 수 있다. (그림 5)는 영역분할에 따른 기존의 방법과 제안한 방법에 의해 검색된 영상들을 보여준다.
(그림 5) (b)는 공간정보를 고려하지 않아 유사하지 않은 영상도 검색하였으며 (그림 5) (c)는 (그림 5) (b) 보다 효율적인 결과를 보이지만 중심영역을 고정함으로써 객체 의 위치나 크기가 변화할 경우에는 유사성이 현저히 떨어지는 결과를 보인다. 그러나 본 논문이 제안한 방법은 영상 내의 존재하는 객체의 크기에 따라 적응적으로 객체영역과 배경영역을 분할함으로써 객체영역에 대해 정확한 컬러비와 모멘트를 추출 할 수 있어 객체에 변화가 가미된 유사한 영상들에 대해 강건한 검색이 가능하다. (그림 6)은 다양한 질의영상들에 대해 검색한 영상들로 (a), (c), (e), (g), (i), (k), (m), (o), (q), (s)는 질의영상 을 나타내며 (b), (d), (f), (h), (j), (1), (n), (p), (r), (t)는 검색한 영상들을 보여준다.
기존의 영역분할에 따른 내용기반 영상검색은 공간정보를 추출하기 위해 영상 내의 객체를 고 려하지 않고 영상을 일정한 영역으로 분할함으로써 객체에 대한 정확한 특징을 추출할 수 없다. 그러나 제안한 방법은 주요 객체가 영상의 중심에 위치한다는 일반적인 가설에 근거하여 초기에 설정한 중심영역으로부터 추출한 우세컬러를 기반으로 수평-수직 투영을 이용하여 영상 내에 존재하는 객체영역을 적 응적으로 검출함으로써 분할한 객체영역에 대해 정확한 특징을 추출할 수 있다. 그리고 영상검색을 위한 특징정보로 분할한 각 영역에 대해 컬러정보인 컬러비와 모양정보인 모멘트를 이용함 으로써 히스토그램의 분포를 변화시키는 요인이나 영상 내에 존재하는 객체에 대해 회전, 크기 등의 변화가 가미된 유사한 영상이라도 검색이 가능하다.
특히, (그림 6) (i), (s)와 같이 객 체의 크기가 상대적으로 작은 경우 컬러정보에 많이 민감함을 알 수 있다.<표 2>는 유사도 측정 함수로 이용한 히스토그램 인터섹션과 normalized cross-covariance간의 영상검색 성능 비교를 보여주며 히스토그램 인터섹션이 normalized crosscovariance 방법보다 좀 더 우수하였다. (그림 7)과 (그림 8)은 같은 질의영상에 대해 히스토그램 인터섹션과 normalized cross-covariance 방법을 이용한 영상검색을 보여준다.
(그림 6)에서는 질의영상에 대해 잡음을 추가하거나 빛의 밝기 변화, 객체의 크기 및 회전 등 다양한 변형이 가미된 유사한 영상들도 강건하게 검색하였음을 알 수 있다. 또한 변형된 히스토그램 인터섹션에 의해 질의영상 과 유사한 컬러정보를 가지는 영상들을 많이 검색하였으며 배 경영역보다 객체영역에서 측정한 유사도에 가중치를 더 할당함 으로써 객체의 특징정보에 민감함을 알 수 있다. 그리고 hue 정 보만으로는 RGB 컬러공간의 영상 내에 존재하는 객체들에 대한 세밀한 정보는 표현할 수 없기 때문에 전체적으로 모양정보 보다 컬러정보에 민감하였다.
또한 검색 시간을 단축시키기 위해 클러 스터링 방법과 branch and bound-based matching 방법을 이용하였다. 모양정보를 결합함으로써 검색의 효율은 높일 수 있었지만 컬러 히스토그램 자체를 변화시키는 요인에 대해서는 민감한 반응을 보였다.

후속연구

향후과제로는 영상 내의 객체를 뚜렷이 구분할 수 없는 영 상이나 객체와 배경간의 컬러정보가 유사한 경우 잘못된 객 체영역을 검출하거나 질의영상 자체를 객체영역으로 인식하 므로 효율이 낮은 영상검색을 유발하였다. 그러므로 시각적으 로 중요한 요소인 영상 내의 객체영역을 정확히 검출할 수 있는 영역분할에 관한 연구가 기대된다.
향후과제로는 영상 내의 객체를 뚜렷이 구분할 수 없는 영 상이나 객체와 배경간의 컬러정보가 유사한 경우 잘못된 객 체영역을 검출하거나 질의영상 자체를 객체영역으로 인식하 므로 효율이 낮은 영상검색을 유발하였다. 그러므로 시각적으 로 중요한 요소인 영상 내의 객체영역을 정확히 검출할 수 있는 영역분할에 관한 연구가 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

객체영역의 컬러비와 모멘트를 이용한 내용기반 영상검색
Content-based Image Retrieval using Color Ratio and Moment of Object Region 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

객체영역의 컬러비와 모멘트를 이용한 내용기반 영상검색 Content-based Image Retrieval using Color Ratio and Moment of Object Region 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

오준택 (11) 김욱현 (38)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

객체영역의 컬러비와 모멘트를 이용한 내용기반 영상검색
Content-based Image Retrieval using Color Ratio and Moment of Object Region 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper