본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.
본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.
This paper describes a novel and efficient algorithm, which extracts focused objects from still images with low depth-of-field (DOF). The algorithm unfolds into four modules. In the first module, a HOS map, in which the spatial distribution of the high-frequency components is represented, is obtaine...
This paper describes a novel and efficient algorithm, which extracts focused objects from still images with low depth-of-field (DOF). The algorithm unfolds into four modules. In the first module, a HOS map, in which the spatial distribution of the high-frequency components is represented, is obtained from an input low DOF image [1]. The second module finds OOI candidate by using characteristics of the HOS. Since it is possible to contain some holes in the region, the third module detects and fills them. In order to obtain an OOI, the last module gets rid of background pixels in the OOI candidate. The experimental results show that the proposed method is highly useful in various applications, such as image indexing for content-based retrieval from huge amounts of image database, image analysis for digital cameras, and video analysis for virtual reality, immersive video system, photo-realistic video scene generation and video indexing system.
This paper describes a novel and efficient algorithm, which extracts focused objects from still images with low depth-of-field (DOF). The algorithm unfolds into four modules. In the first module, a HOS map, in which the spatial distribution of the high-frequency components is represented, is obtained from an input low DOF image [1]. The second module finds OOI candidate by using characteristics of the HOS. Since it is possible to contain some holes in the region, the third module detects and fills them. In order to obtain an OOI, the last module gets rid of background pixels in the OOI candidate. The experimental results show that the proposed method is highly useful in various applications, such as image indexing for content-based retrieval from huge amounts of image database, image analysis for digital cameras, and video analysis for virtual reality, immersive video system, photo-realistic video scene generation and video indexing system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
즉, 영상 내에서 포커스 된 물체는 높은 HOS 값을 가지고, 그 물체 내에서 가장 높은 HOS 값이 존재한다. 그래서 다음 절에서 정규화되지 않은 HOS。施帳의 속성을 이용하여 블록 기반의 HOS 지도를 만들고, 이를 바탕으로 영상에서 포커스된 관심 영역을 검출하는 방법에 대해서 알아본다.
영상에서 관심 물체가 존재할 후보 영역을 검출할 때, 그림 6-(d) 의 나비 그림처럼 구멍이 포함될 경우 포커스된 물체를 제대로 추출할 수 없다. 그래서 앞 절의 블록 단위의 후보 관심 영역을 추출한 후에 그 영역 내에 구멍의 존재 여부를 파악한다. 그래서 만약 이 영역 내에 구멍이 존재한다면 그것을 추적하여 제거하는 과정을 수행한다.
하지만 필터의 사용을 위해 요구되는 많은 계산량으로 인해 고속으로 관심 영역을 추출하거나 동영상 정보를 다루기가 어렵다. 본 논문에서는 낮은 피사계 심도의 정지 영상을 다룰 때, 기존 연구[1, 7, 8]에서 사용했던 계산량이 높은 모폴로지 필터의 사용을 피하고, 영상을 블록화하여 처리해주는 방법을 제안함으로써 고속으로 포커스된 관심 영역을 추출하는 것을 목표로 삼는다.
본 논문은 낮은 피사계 심도 영상에서 블록화된 HOSbiock 지도를 사용하여 고속으로 포커스 된 관심 영역만을 추출하는 알고리즘을 제안하였다. 본 논문에서 제안한 알고리즘은 HOS 지도에서 관심 영역을 제외한 주변 잡음을 제거하는 기존방법[1, 7] 대신, HOSonginal 특징을 이용하여 영상의 관심물체가 존재하는 후보영역만을 고려함으로써 주변 잡음에 강인하고, 영상을 블록 단위로 처리하기 때문에 고속으로 관심 영역 분할이 가능하다.
이 절에서는 기존 연구[1, 7, 8] 방법과 다르게 잡음을 제거하지 않고 포커스 정보가 포함된 블록화된 관심 영역을 찾는 방법에 대해서 알아본다. 우리는 3.
실제로 이러한 약점은 고속으로 관심 영역을 추출하는 응용 프로그램이나 실시간으로 동영상을 다루는데 큰 제한 사항으로 작용한다[1, 7, 8]. 이 절에서는 낮은 피사계 심도의 정지 영상이나 동영상 데이터에서 고속으로 포커스된 관심 영역을 추출하기 위해서 기존 연구[1]에서 소개했던 모폴로지 필터 대신 화소 기반의 HOS 지도를 블록화하여 처리하는 방법에 대해 설명한다.
낮은 피사계 심도의 입력 영상에 대해서 고속으로 포커스된 영역의 추출이 가능하다면, 정지 영상뿐만 아니라 동영상을 다루는 여러가지 멀티미디어 시스템에도 쉽게 확장하여 적용할 수 있다. 이 절에서는 영상에서 고속으로 관심 영역을 검출하기 위해 기존 연구[1, 8]에 사용한 모폴로지 필터(morphological filters by reconstruction)를 사용하지 않고, HOS 지도를 블록화하여 이를 바탕으로 영상의 포커스가 존재하는 후보 영역을 고속으로 찾는 방법에 대해 설명 한다.
가설 설정
식 (3) 과 같이 영상에 저 역 통과 필터 (low pass filter)를 적용하여 높은 주파수를 가진 부분을 제거하는 결과는 낮은 피사계 심도 영상에서 포커스 되지 않은 흐릿한 영역으로 나타낼 수 있다. 그래서 피사계 심도가 낮은 영상에서 확실하게 포커스된 부분은 그렇지 않은 영역보다 높은 주파수 성분을 가진다는 가정은 주파수의 크기를 비교함으로써 포커스된 선명한 영역과 그렇지 않은 영역을 구분하는 단서를 제공해준다.
제안 방법
최근 사용자의 도움 없이 자동으로 영상의 주제가 되는 관심 영역을 추출하는 연구가 많이 진행되고 있다[1, 7-11]. 기존 연구[1, 기는 그림 1과 같은 낮은 피사계 심도 영상에서 HOS 지도를 사용하여 자동으로 포커스된 관심 물체(OOI: object-of-interest)를 추출하는 방법을 제안하였고, 프레임 사이의 분할된 객체의 연속된 움직임(motion) 정보를 추정하여 동영상의 경우로 응용하였다[8丄 이러한 연구[1, 7, 8]에서 공통으로 사용된 모폴로지 필터 (morphological filters by reconstruction)는 관심 물체의 외곽선을 그대로 유지한 채 잡음(noise)과 물체 내부의 구멍 (hole)을 효과적으로 제거함으로써 HOS 지도를 단순화한다. 하지만 필터의 사용을 위해 요구되는 많은 계산량으로 인해 고속으로 관심 영역을 추출하거나 동영상 정보를 다루기가 어렵다.
본 논문에서 제안한 알고리즘은 384x256 크기의 낮은 피사계 심도의 코렐 데이터베이스 영상에 적용하여 실험하였다. 낮은 피사계 심도의 입력 영상에서 효과적으로 포커스된 관심 영역을 추출하기 위해 입력 영상의 RGB 색상 채널을 모두 고려한 색상 기반의 HOS 지도를 계산하였다. 식 (6) 에서 색상 기반 HOS 지도를 계산하기 위해 n는 기존 연구 由와 동일한 3×3 크기의 주변 화소를 고려하였다.
마지막으로 입력 영상의 포커스된 물체를 화소별로 섬세하게 출력하기 위해 블록화된 관심 영역 내에 존재하는 배경 부분과 주변 잡음을 제거하는 과정으로 구성된다. 다음 절에서는 HOS 지도를 바탕으로 관심 영역을 추출하는 알고리즘의 각 단계에 대해서 자세히 알아본다.
본 논문에서 제안한 방법을 사용하여 추출한 포커스 된 관심 영역은 잡음도 함께 추출될 수도 있으므로, 이번 단계에서는 에러 출력들을 제거하거나 최소화하고 추출한 관심 영역의 경계 영역을 부드럽게 만드는 연산을 한다. 이를 위해 두 종류의 열림, 닫힘 연산을 하는 단순한 모폴로지 필터를 사용한다.
본 논문은 낮은 피사계 심도 영상에서 블록화된 HOSbiock 지도를 사용하여 고속으로 포커스 된 관심 영역만을 추출하는 알고리즘을 제안하였다. 본 논문에서 제안한 알고리즘은 HOS 지도에서 관심 영역을 제외한 주변 잡음을 제거하는 기존방법[1, 7] 대신, HOSonginal 특징을 이용하여 영상의 관심물체가 존재하는 후보영역만을 고려함으로써 주변 잡음에 강인하고, 영상을 블록 단위로 처리하기 때문에 고속으로 관심 영역 분할이 가능하다. 관심 물체를 추출하는 속도는 영상의 포커스된 물체의 크기에 영향을 받는다.
색상 기반의 HOS 지도를 구하기 위해서는, 영상 크기가 MxN인 RGB 입력 영상 /(x, y)에 대해서, 기존 연구[기에서 제안된 바와 같이 각 채널에 대한 4차 모멘트를 각각 계산한다. 우선, 입력 영상의 red 채널에 관한 한 화소 위치(x, y)에서 4차 모멘트는 다음과 같이 나타낼 수 있다.
이 절에서는 기존 연구[1, 7, 8] 방법과 다르게 잡음을 제거하지 않고 포커스 정보가 포함된 블록화된 관심 영역을 찾는 방법에 대해서 알아본다. 우리는 3.2.1 절의 HOS 특징을 통해 낮은 피사계 심도 영상 내의 포커스된 물체는 높은 HOS 값을 가지고, 가장 높은 HOS 값은 포커스 된 관심 영역에 포함되는 것을 관찰하였다. 이를 바탕으로 그림 6-(b) 와 같은 HOS。荫何의 최대값 좌표는 영상 내의 최대 HOS 값을 갖는 포커스된 물체 영역에 포함되고, 포커스된 물체를 검출하기 위한 기준인 시작점(seed point)으로 정한다.
낮은 피사계 심도의 입력 영상에서 포커스된 관심 영역을 분할하기 위한 전체 시스템은 그림 3과 같이 크게 4개의 모듈로 나뉜다. 첫 번째 모듈에서는 주어진 입력 영상에 대하여 기존 연구[1]와 같이 각 화소에 대해서 색상에 기반한 4차 모멘트와 HOS 지도를 계산한다. 그리고 두 번째 모듈에서는 화소 별로 계산한 4차 모멘트의 결과를 블록화하여 HOS 지도를 재작성한다.
이러한 영상 분할을 위하여 HOSbiock를 이용하였다. 후처리 과정으로 추출한 관심 영역의 잡음을 제거하기 위하여 3×3 크기의 열림, 닫힘 모폴로지 연산을 이용하였다. 그림 11은 본 논문에서 제안한 알고리즘을 낮은 피사계 심도의 영상에 적용하여 포커스된 관심 영역을 구하는 방법을 단계별로 보여준다.
대상 데이터
본 논문에서 제안한 알고리즘은 384x256 크기의 낮은 피사계 심도의 코렐 데이터베이스 영상에 적용하여 실험하였다. 낮은 피사계 심도의 입력 영상에서 효과적으로 포커스된 관심 영역을 추출하기 위해 입력 영상의 RGB 색상 채널을 모두 고려한 색상 기반의 HOS 지도를 계산하였다.
블록화된 관심 영역은 포커스된 물체와 배경을 포함하게 되는데, 여기에 속한 배경을 제거함으로써 포커스된 관심 물체만 추출한다. 이러한 영상 분할을 위하여 HOSbiock를 이용하였다. 후처리 과정으로 추출한 관심 영역의 잡음을 제거하기 위하여 3×3 크기의 열림, 닫힘 모폴로지 연산을 이용하였다.
이론/모형
포커스 된 물체 후보 영역을 구하기 위해 영상의 처음 (0, 0)부터 순차적으로 검사하여 관심 후보 영역을 찾는 방법 (exhaustive search) 대신, HOSoriginal 최대값의 블록 좌표인 시작점 (seed_u, seed」S)을 기준으로 하여 그림 6-(c) 와 같은 HOSbiock(u, u)에서 후보 관심 영역을 구하기 위해 객체 기반 찾기(objectbased search) 방법인 4방향(동, 서남, 북) 깊이 우선 탐색(DFS: depth first search)을 사용한다. 그래서 고속으로 식 ⑼의 결과인 시작점(seed point)에 연결된 흰색 블록 부분을 후보 관심 영역으로 얻을 수 있다.
낮은 피사계 심도 영상에서 포커스된 관심 물체를 고속으로 추출하기 위해 '영역 채우기 기법'(fill- ing-in technique)[14] 을 사용하였다. 그림 10은 이 기법을 사용하여 입력 영상에서 관심 영역을 추출하는 방법을 보여준다.
이는 고속으로 포커스된 객체의 영상 분할이 가능하기 때문에 피사계 심도 낮은 동영상에 적용 가능함을 보인다. 또한, 포커스된 객체의 분할 결과의 성능 평가를 위해 기존 연구[1, 14]에서 사용한 화소 기반의 측정 방법을 사용하였다.
향후 개선사항으로는 본 논문에서 제안한 영상 객체 분할시스템을 가상현실(VR)이나 실감방송과 같은 분야에 적용하는 것이다. 본 논문에서는 관심 영역을 추출하기 위해 기존 연구[14]에서 제안한 '영역 채우기 기법'(fillingTn technique)을 시■용하였다. 이 알고리즘은 관심 영역의 경계가 오목할 경우 배경을 효과적으로 제거할 수 없는 한계를 지니므로, 현재 배경이 포함된 블록화된 관심 영역에서 배경을 효율적으로 제거하여 관심물체만을 추출하는 알고리즘 개발을 진행 중이다.
지도에서 최대값이 관심 영역을 나타내는 두드러진 특징 값이라 정의하여 그 위치를 기준으로 효과적으로 관심 영역을 제한하였다[9]. 본 논문에서는 사진사가 포커스 정보를 활용하여 자신이 의도하는 관심 영역만을 선명하게 표현하는 낮은 피사계 심도 카메라 기법 (low depth-of-field techniqu①을 이용한 그림 1과 같은 영상을 입력으로 한다. 기존 연구[1, 7, 8]에서는 관심 영역을 추출하기 위한 HOS 지도를 작성하기 위해 영상에 따라 다양한 범위를 가지는 HOS 값을 0에서 255 사이로 다운 스케일링하여 사용하였다.
성능/효과
그래서 만약 이 영역 내에 구멍이 존재한다면 그것을 추적하여 제거하는 과정을 수행한다. 본 연구에서 16x16블록 단위로 후보 관심 영역을 추출하여 내부 잡음(hole)의 존재 여부를 파악하는 것은 기존 연구 [1] 에서 영역병합을 하기 위해 수립한 경계 조건과 일치하는 것을 알 수 있다. 즉, 그림 7의 흰색 사각형 영역과 같이 블록 단위의 구멍의 경계(boundary) 영역이 추출된 후보 관심 영역에 50% 이상 속하면 그 구멍이 관심 영역에 속한다고 판단해서 구멍을 채우는 연산을 하고, 그렇지 않으면 채우지 않는다[1, 7].
또한, HOS 지도를 블록화하여 계산하므로 효율적인 관심 물체의 분할이 가능하다. 실험은 인텔 펜티엄 TV 3.4GHz PC에서 수행되었고, 384x256 크기의 코렐 영상에 대해 제안한 알고리즘의 평균 수행 시간은 약 0.17 초가 소요되는 것을 알 수 있었다. 제안한 알고리즘을 구성하는 각 단계에 해당하는 평균 수행 시간을 표 2에 정리하였다.
그림 12-(b) 와 같은 관심 영역 모델을 바탕으로 기존 연구 방법과 본 논문에서 제안하는 방법을 통해 추출한 포커스된 관심 영역 사이의 왜곡 계산을 하면 표 3과 같다. 이를 통해, 제안한 방법의 관심 영역 분할 성능이 기존 연구 방법 [1, 기의 성능과 비슷하고 그 속도는 약 30배 정도 향상된 것을 알 수 있다.
제안한 알고리즘을 구성하는 각 단계에 해당하는 평균 수행 시간을 표 2에 정리하였다. 표 2를 표 1과 비교하면 본 논문에서 제안한 블록에 기반한 관심 영역의 추출 방법이 약 30배 정도 빠른 것을 알 수 있다. 이는 고속으로 포커스된 객체의 영상 분할이 가능하기 때문에 피사계 심도 낮은 동영상에 적용 가능함을 보인다.
후속연구
본 논문에서 제안하는 기법은 포커스된 객체를 기반으로 하는 다양한 영상 처리 응용분야에 효율적으로 적용할 수 있다. 예를 들어, 대용량 영상 저장장치에서 내용 기반의 영상 검출을 위한 영상 인덱싱, 전자현미경을 사용한 분자나 세포 수준의 3차원 영상복원 및 분석, 디지털카메라를 위한 영상 개선 (image enhancement), 깊이 추정을 하기 위한 거리 영상 분할(range segmentation), 다양한 포커스 정보를 가진 여러 장의 영상 합성[15]과 같은 다양한 분야에 폭넓게 적용할 수 있다.
본 논문에서는 관심 영역을 추출하기 위해 기존 연구[14]에서 제안한 '영역 채우기 기법'(fillingTn technique)을 시■용하였다. 이 알고리즘은 관심 영역의 경계가 오목할 경우 배경을 효과적으로 제거할 수 없는 한계를 지니므로, 현재 배경이 포함된 블록화된 관심 영역에서 배경을 효율적으로 제거하여 관심물체만을 추출하는 알고리즘 개발을 진행 중이다.
향후 개선사항으로는 본 논문에서 제안한 영상 객체 분할시스템을 가상현실(VR)이나 실감방송과 같은 분야에 적용하는 것이다. 본 논문에서는 관심 영역을 추출하기 위해 기존 연구[14]에서 제안한 '영역 채우기 기법'(fillingTn technique)을 시■용하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.