본 논문에서는 계층적 디지털 알고리즘과 광 BPEJTC를 이용하여 주시각을 제어함으로써 이동표적을 적응적으로 추적할 수 있는 새로운 광-디지털 스테레오 물체추적 시스템을 제안하였다. 즉, 제안된 시스템에서는 먼저, 순차적인 입력영상으로부터 배경정합을 통해 표적을 탐지하고 이어서, 영상 차분 필터, 논리곱 연산 및 모폴로지 필터를 이용하여 구성된 표적 투영마스크를 이용하여 표전물체를 영역화한 다음 최종적으로 광 BPEJTC(binary phase extraction joint transform correlator)를 이용하여 표전물체의 위치정보를 추출해 냄으로써 이를 이용한 실시간적 카메라 주시각 제어 및 물체추적이 가능한 새로운 광-디지털 스테레오 물체추적 알고리즘을 제시하였다. 또한, 본 논문에서 새로이 제안된 표적물체 추출 및 카메라 주시각 제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적시스템의 실시간적 구현 가능성을 제시하였다.
본 논문에서는 계층적 디지털 알고리즘과 광 BPEJTC를 이용하여 주시각을 제어함으로써 이동표적을 적응적으로 추적할 수 있는 새로운 광-디지털 스테레오 물체추적 시스템을 제안하였다. 즉, 제안된 시스템에서는 먼저, 순차적인 입력영상으로부터 배경정합을 통해 표적을 탐지하고 이어서, 영상 차분 필터, 논리곱 연산 및 모폴로지 필터를 이용하여 구성된 표적 투영마스크를 이용하여 표전물체를 영역화한 다음 최종적으로 광 BPEJTC(binary phase extraction joint transform correlator)를 이용하여 표전물체의 위치정보를 추출해 냄으로써 이를 이용한 실시간적 카메라 주시각 제어 및 물체추적이 가능한 새로운 광-디지털 스테레오 물체추적 알고리즘을 제시하였다. 또한, 본 논문에서 새로이 제안된 표적물체 추출 및 카메라 주시각 제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적시스템의 실시간적 구현 가능성을 제시하였다.
In this paper, a new onto-digital stereo object-tracking system using hierarchical digital algorithms and optical BPEJTC is proposed. This proposed system can adaptively track a moving target by controlling the convergence of stereo camera. firstly, the target is detected through the background matc...
In this paper, a new onto-digital stereo object-tracking system using hierarchical digital algorithms and optical BPEJTC is proposed. This proposed system can adaptively track a moving target by controlling the convergence of stereo camera. firstly, the target is detected through the background matching of the sequential input images by using optical BPEJTC and then the target area is segmented by using the target projection mask which is composed by hierarchical digital processing of image subtraction, logical operation and morphological filtering. Secondly, the location's coordinate of the moving target object for each of the sequential input frames can be extracted through carrying out optical BPEJTC between the reference image of the target region mask and the stereo input image. Finally, the convergence and pan/tilt of stereo camera can be sequentially controlled by using these target coordinate values and the target can be kept in tracking. Also, a possibility of real-time implementation of the adaptive stereo object tracking system is suggested through optically implementing the proposed target extraction and convergence control algorithms.
In this paper, a new onto-digital stereo object-tracking system using hierarchical digital algorithms and optical BPEJTC is proposed. This proposed system can adaptively track a moving target by controlling the convergence of stereo camera. firstly, the target is detected through the background matching of the sequential input images by using optical BPEJTC and then the target area is segmented by using the target projection mask which is composed by hierarchical digital processing of image subtraction, logical operation and morphological filtering. Secondly, the location's coordinate of the moving target object for each of the sequential input frames can be extracted through carrying out optical BPEJTC between the reference image of the target region mask and the stereo input image. Finally, the convergence and pan/tilt of stereo camera can be sequentially controlled by using these target coordinate values and the target can be kept in tracking. Also, a possibility of real-time implementation of the adaptive stereo object tracking system is suggested through optically implementing the proposed target extraction and convergence control algorithms.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 광류에 의한 방법은 화소단위의 정합에 의한 방법이기 때문에 영상의 이동변위가 클 경우 계산상의 오류가 발생하여 응용할 수 없고 일반적인 원근감을 갖는 정합은 어려운 것으로 보고되고 있으며, 블록에 기반한 방법闾은 각 블록간을 비교하여 움직임을 추정하는 방법으로 가장 부합되는 블록을 찾기 위한 계산량과 전, 후프레임의 배경에 변화가 있는 경우에는 이동물체를 추출하기가 어려운 단점이 있다. 따라서, 본 논문에서는 광 BPEJTC(binary phase extraction joint transform correlator)와 변형된 영상차분필터 및 모폴로지필터의 일종인 Convex hull 필터를 통해 이동표적을 영역화하고 광학적 실험을 통해 배경잡음에 강하고 실시간적 주시각제어가 가능한 새로운 광-디지털 스테레오 물체 추적 시스템을 제안하고 제안된 시스템의 알고리즘적 분석과 광-디지털적 실험 결과에 대해서 논하고자 한다. 즉, 제안된 시스템에서는 먼저, 광BPEJTC를 이용하여 순차적인 두 입력 프레임 간의 상관을 통해 배경을 정합한 다음, 전후 프레임 영상에 변형된 영상차분 필터를 이용하여 표적영역을 탐지하고 변형된 Convex hull 필터를 적용함으로써 표적을 영역화하게 된다.
그리고 추출된 표적의 위치정보를 이용하여 카메라의 주시각 및 팬틸트를 제어함으로써 이동물 체의 실시간적 추적이 가능한 새로운 광-디지털 스테레오 물체 추적 시스템을 제시하였다. 또한, 본 논문에서 새로이 제안된 표적 물체 추출 및 스테레오 카메라 주시각제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적 시스템의 실시간적 구현 가능성을 제시하였다.
본 논문에서는 스테레오 물체 추적의 새로운 접근 방법으로 계층적 디지털 알고리즘과 광 BPEJTC를 상호 보완적으로 이용한 새로운 하이브리드 광-디지털 스테레오 물체 추적 시스템을 제안하였다.
제안 방법
본 논문에서는 움직임 검출 결과로부터 기준 영상 에서의 표적 영역화를 위하여 Convex hull 필터와 클로징(closing) 기법의 순차적인 반복 과정을 적용하였다. Convex hull 필터와 클로징 기법을 영상 전반에 적용함으로써 경계선을 평활시킬 뿐만 아니라 각 경계면 안에 존재하는 빈 공간을 채움으로써 표적 마스크를 만들게 된다. 한편, 기존의 Convex hull 필터는 그림 6(a)와 같이 4개의 기본 구성 요소로 이루어져 있으나 이러한 기존의 구성요소들을 각 영상에 적용하는 경우 실제 표적보다 큰 잉여적인 외곽 패턴이 발생하여 정확한 영역화를 기대할 수 없다.
T, M, y) = MORPHOLOGY Tm(x, y)] (13) 후단의 인식과정을 고려하여 표적 위치를 좌표 값 으로 영역화하기 위하여식 (13)에 의해 구해진 표적 마스크를 기준영상#로 투영시키면 표적만을 부각시킬 수 있는데 검출된 마스크를 X, y 방향으로 각각 투영하는 방법을 새로이 도입하였다.
나타나는 JTPS(joint transform power spectrum)에서 자기 상관 성분과 동일 영상 평면에서 나타나는 상호 상관 성분을 효과적으로 제거하여 위상함수만 추출함으로써 상관 판별력을 보다 개선하고 광효율을 극대화한 시스템이다. 광 BPEJTC 시스템에서 이진 위상 JTPS를 구성하기 위해서는 광JTC의 JTPS 이외에 기준 및 입력 영상에 대한 각각의 광 세기 분포가 필요함으로 그림 4의 CCD3과 CCD4를 통해 기준 및 입력 영상에 대한 광세기를 얻을 수 있도록 구성하였다.
즉, 제안된 시스템에서는 먼저, 광BPEJTC를 이용하여 순차적인 두 입력 프레임 간의 상관을 통해 배경을 정합한 다음, 전후 프레임 영상에 변형된 영상차분 필터를 이용하여 표적영역을 탐지하고 변형된 Convex hull 필터를 적용함으로써 표적을 영역화하게 된다. 그리고 영역화된 기준 영상과 스테레오 입력 영상간에 광BPEJTCWU를 수행함으로써 추적 물체의 위치정보를 구하고 최종적으로 이를 이용하여 스테레오 카메라의 주시각 및 팬/틸트를 제어함으로써 이동물체의 실시간적 추적이 이루어지게 된다. 실험 결과 convex hull 처리를 도입함으로써 기존의 차분필터와 BMA 등에서 발생하는 영역화 오류를 감소시켰으며, 광학적 구성이 가능한 BPEJTC 를 통해 실시간으로 위상상관이 가능한 상관첨두 치를 이용하여 정확히 추적 물체를 추출하고 이를 이용하여 스테레오 물체 추적 시스템의 주시각제 어를 할 수 있었다.
즉, 제안된 물체 추적 시스템에서는 먼저, 순차적으로 입력되는 표적 영상에 대한 배경정합을 수행하고 이어서, 영상차분 필터, 논리곱연산 및 모폴로지 필터를 이용하여 구성된 표적투영마스크를 통해 표적물체를 영역화한 다음 최종적으로 광 BPEJTC를 이용하여 표적 물체의 위치정보를 추출하였다. 그리고 추출된 표적의 위치정보를 이용하여 카메라의 주시각 및 팬틸트를 제어함으로써 이동물 체의 실시간적 추적이 가능한 새로운 광-디지털 스테레오 물체 추적 시스템을 제시하였다. 또한, 본 논문에서 새로이 제안된 표적 물체 추출 및 스테레오 카메라 주시각제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적 시스템의 실시간적 구현 가능성을 제시하였다.
따라서, 본 논문에서는 새로이 제안된 알고리즘의 효율성을 분석하기 위하여 카메라 변위가 표적 변위보다 큰 경우와 카메라의 변위가 표적 변위보다 작은 경우로 구분하여 추적 시나리오를 구성하였다. 그림 3은 카메라가 움직일 경우 t+1 프레임에서의 좌, 우입력 영상인 l(t+l), r(t+l) 을 나타낸 것으로 왼쪽은 카메라 변위가 표적 변위보다 큰 경우이며, 오른쪽은 표적의 변위가 카메라 변위보다 큰 경우를 각각 나타낸 것이다.
마지막 3단계에서는 영역화된 기준 영상과 스테레오 입력 영상 간에 광BPEJTC를 실행하여 추적 물체의 위치 값을 구하고 여기서 구한 표적 물체의 위치 값을 가지고 최종적으로 스테레오 카메라의 주시각 제어뿐만 아니라 스테레오 카메라의 팬/틸트를 제어하게 된다.
여기서, 표적의 위치정보를 추출하기 위해 사용되는 광BPEJTC의 수행절차는 제1단계에서 설명한 배경정합과정과 같으므로 생략하고 그 결과 값에 대해서 논의하기로 한다.
즉, 제안된 물체 추적 시스템에서는 먼저, 순차적으로 입력되는 표적 영상에 대한 배경정합을 수행하고 이어서, 영상차분 필터, 논리곱연산 및 모폴로지 필터를 이용하여 구성된 표적투영마스크를 통해 표적물체를 영역화한 다음 최종적으로 광 BPEJTC를 이용하여 표적 물체의 위치정보를 추출하였다. 그리고 추출된 표적의 위치정보를 이용하여 카메라의 주시각 및 팬틸트를 제어함으로써 이동물 체의 실시간적 추적이 가능한 새로운 광-디지털 스테레오 물체 추적 시스템을 제시하였다.
효율적인 이진화를 위하여 확률적인 방법으로 영역 전체의 분산을 최소화하는 방법을 사용하였다 '지. 즉, 제안된 방법에서는 영상차분 결과를.이진화 시키기 위하여 각 그룹 내 분산(within-group variance) 을 최소화하거나, 그룹 간 분산(between-group varia- nce)을 최대로 하는 임계값 I■를 전 범위에 걸쳐 확률적으로 선택함으로써 전체 영상의 분산은식(9) 와 같이 주어지게 된다.
따라서, 본 논문에서는 광 BPEJTC(binary phase extraction joint transform correlator)와 변형된 영상차분필터 및 모폴로지필터의 일종인 Convex hull 필터를 통해 이동표적을 영역화하고 광학적 실험을 통해 배경잡음에 강하고 실시간적 주시각제어가 가능한 새로운 광-디지털 스테레오 물체 추적 시스템을 제안하고 제안된 시스템의 알고리즘적 분석과 광-디지털적 실험 결과에 대해서 논하고자 한다. 즉, 제안된 시스템에서는 먼저, 광BPEJTC를 이용하여 순차적인 두 입력 프레임 간의 상관을 통해 배경을 정합한 다음, 전후 프레임 영상에 변형된 영상차분 필터를 이용하여 표적영역을 탐지하고 변형된 Convex hull 필터를 적용함으로써 표적을 영역화하게 된다. 그리고 영역화된 기준 영상과 스테레오 입력 영상간에 광BPEJTCWU를 수행함으로써 추적 물체의 위치정보를 구하고 최종적으로 이를 이용하여 스테레오 카메라의 주시각 및 팬/틸트를 제어함으로써 이동물체의 실시간적 추적이 이루어지게 된다.
대상 데이터
본 실험에서 좌, 우측 카메라의 영상 입력용 카메라는 동경 전자(주)의 CS-8239B 카메라를 사용하였으며, 이동표적(자동차)을 포함하는 입력 영상 데이터의 크기는 256x256픽셀로 사용하였다. 영상 저장용 프레임 그래버는 Matrox사의 Metero II/4와 Metero II MC/2의 2개를 사용하여 저장하였으며 디지털 시스템은 펜티엄 Ⅲ-800 (256MB)를 사용하 였다
이론/모형
본 논문에서는 움직임 검출 결과로부터 기준 영상 에서의 표적 영역화를 위하여 Convex hull 필터와 클로징(closing) 기법의 순차적인 반복 과정을 적용하였다. Convex hull 필터와 클로징 기법을 영상 전반에 적용함으로써 경계선을 평활시킬 뿐만 아니라 각 경계면 안에 존재하는 빈 공간을 채움으로써 표적 마스크를 만들게 된다.
성능/효과
따라서, 최종 출력 상관값은 식(5)와 같이 나타낼 수 있으며 식에서 Edge[・]는 영상의 위상 신호를 발생시킨 이상적인 경계를 나타낸 것이다. 결과적으S, 복잡한 환경을 가진 경우는 표적의 크기를 고려해 볼 때 배경성분이 표적 성분보다 많이 존재하므로 최대 상관값의 위치는 배경즉, 카메라의 이동성분으로 정의할 수 있다. 여기서, /는 상관을 그리고 *는 컨볼루션을 각각 나타내며 실제 검출된 배경의 움직임 정도는 A xB= A yB= yB- Wj2 로 구할 수 있다.
식(14)에서, Edge[・]는 영상의 이상적인 경계선 추출함수를 나타낸 것으로 식(15)에서 보면 퓨리에 변환하여 진폭 성분을 제거하고 다시 역퓨리에 변환하여 영상의 경계 추출 결과를 얻을 수 있음을 알 수 있다. 결과적으로 광 BPEJTC 는 DC와 배경으로 인하여 발생하는 상관오류를 제거할 수 있을 뿐만 아니라, 공간정합필터에서 우수한 peak-to- sidelobe를 나타내는 특성을 가지고 있다.
그림 11에서 보면 추적 물체(자동차)는 본 논문에서 제안한 추적 알고리즘을 통해 스테레오 카메라의 주시각 및 팬/틸트가 정확히 제어되어 좌, 우 시 점이 표적 물체에 일치되는 하나의 합성영상으로 나타나지만 그 이외의 전경 및 배경 물체들은 스테레오 시차로 인해 2개로 겹쳐 보임을 알 수 있다. 결과적으로 본 논문에서는 계층적인 디지털 영상 처리 알고리즘과 광 BPEJTC 시스템을 상호 보완적 으로 사용함으로써 스테레오 카메라의 주시각 및 팬/틸트를 제어할 수 있는 새로운 광-디지털 스테레 오 물체추적 시스템을 제시하였으며 또한, 본 논문에서 새로이 제안된 표적 물체 추출 및 스테레오 카메라 주시각제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적 시스템의 실시간적 구현 가능성도 제시하였다.
그림 11에서 보면 추적 물체(자동차)는 본 논문에서 제안한 추적 알고리즘을 통해 스테레오 카메라의 주시각 및 팬/틸트가 정확히 제어되어 좌, 우 시 점이 표적 물체에 일치되는 하나의 합성영상으로 나타나지만 그 이외의 전경 및 배경 물체들은 스테레오 시차로 인해 2개로 겹쳐 보임을 알 수 있다. 결과적으로 본 논문에서는 계층적인 디지털 영상 처리 알고리즘과 광 BPEJTC 시스템을 상호 보완적 으로 사용함으로써 스테레오 카메라의 주시각 및 팬/틸트를 제어할 수 있는 새로운 광-디지털 스테레 오 물체추적 시스템을 제시하였으며 또한, 본 논문에서 새로이 제안된 표적 물체 추출 및 스테레오 카메라 주시각제어 알고리듬의 광학적 구현을 통해 적응적 스테레오 물체 추적 시스템의 실시간적 구현 가능성도 제시하였다.
그리고 영역화된 기준 영상과 스테레오 입력 영상간에 광BPEJTCWU를 수행함으로써 추적 물체의 위치정보를 구하고 최종적으로 이를 이용하여 스테레오 카메라의 주시각 및 팬/틸트를 제어함으로써 이동물체의 실시간적 추적이 이루어지게 된다. 실험 결과 convex hull 처리를 도입함으로써 기존의 차분필터와 BMA 등에서 발생하는 영역화 오류를 감소시켰으며, 광학적 구성이 가능한 BPEJTC 를 통해 실시간으로 위상상관이 가능한 상관첨두 치를 이용하여 정확히 추적 물체를 추출하고 이를 이용하여 스테레오 물체 추적 시스템의 주시각제 어를 할 수 있었다.
제안된 알고리즘의 효율성을 보이기 위한 시나리오는 카메라 변위가 표적 변위보다 클 경우와 카메라 변위가 표적 변위보다 작은 경우로 구분하여 실 험하였다.
그리고, 변위성분의 부호는 대상 영상과 기준 영상 사이에 배경 정합을 위하여 상대적으로 움직여야 하는 방향으로 주어지게 된다. 즉, 표 1에서 카메라 변위가 표적 변위보다 클 때 1, 2번째 영상을 상관시킨 결과를 보면 X방향으로 음의 값을, y 방향으 로는 양의 값의 결과가 나왔다. 이는 기준 영상을 중심으로 할 때 X 방향고로는 기준 영상보다 오른쪽에 위치하고, y 방향으로는 왼쪽에 위치한다는 것을 의미한다.
참고문헌 (10)
K. T. Kim, J. S. Lee, S. H. Kim, E. S. Kim, 'Human-like stereo vision system based-on optical JTC', SPIE Optical Pattern Recognition, vo1.3466, pp.259-266, 1998
Stephen T. Barnard, and William B. Thompson, 'Disparity analysis of images', IEEE Trans. PAMI, vol. PAMI-2, no.4, pp.333-340, July, 1980
R.C Jane, 'Segmentation of frame sequences obtained by a moving observer,' IEEE Trans. PAMI, vo1.6, no.5, pp.624-629, 1984
J. S. Lee, J. H. Ko, E. S. Kim, 'Real-time stereo object tracking system by using block matching algorithm and optical binary phase extraction joint transform correlator', Optics Communications, vol. 191, pp.191-202, 2001
Y. Mae, S. Yamamoto, Y Shirai and J. Miura, 'Optical flow based real-time object tracking by active vision system,' Proc. of 2nd Japan-France Congress on Mechatronics, vo1.2, pp.545-548, 1994
Rafael C. Gonzalez and Richard E. Woods, 'Efficient block motion estimation using integral projections', Disital Image Processing, Addison-Westey, 1992
C. Tam, T.S. Yu, A, Gregory, D. Juday, 'Autonomous real time object tracking with an adaptive JTC,' Opt. Eng., vol.29, no.4, pp.314-320, 1990
Gosta H. Granlund and Hans Knutsson, 'Signal Processing for Computer Vision', Kluwer Academic Publishers, 1995
J. H. Ko, J. S. Lee, C. W. Seo, E. S. Kim, 'Target extraction using stereo disparity information in stereo vision', Proc. of the 32nd 1SR(Internationa1 Symposium on Robotics), vo1.2, pp. 724-727, 2001
※ AI-Helper는 부적절한 답변을 할 수 있습니다.