본 논문은 적외선영상(infrared image)에서 배경모델링 기반의 실시간 객체 탐지 기법과 고속 PPC(PowerPC) & FPGA(Field Programmable Gate Array) 기반 개방형 구조의 하드웨어 설계 방법을 제안한다. 개방형 구조는 하드웨어 및 소프트웨어의 이식이 용이하고, 확장, 호환성, 관리 및 유지보수 등이 편리한 장점이 있다. 제안된 배경모델링 방법을 개방형 구조에 탑재하기 위하여 입력영상에서 검색영역 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄인다. 또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용한다. 배경과 객체를 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용한다. 분리된 객체주변에 발생하는 클러터 제거 방법은 중앙값 필터를 적용한다. 설계된 임베디드 시스템에서 배경모델링, 객체탐지, 중앙값 필터, 라벨링, 합병 등의 방법은 PPC에서 구현하였다. 실험결과 제안된 임베디드 시스템에서 전역 움직임 보정과 배경예측을 통해 실시간으로 객체가 탐지될 수 있음을 보였다.
본 논문은 적외선영상(infrared image)에서 배경모델링 기반의 실시간 객체 탐지 기법과 고속 PPC(PowerPC) & FPGA(Field Programmable Gate Array) 기반 개방형 구조의 하드웨어 설계 방법을 제안한다. 개방형 구조는 하드웨어 및 소프트웨어의 이식이 용이하고, 확장, 호환성, 관리 및 유지보수 등이 편리한 장점이 있다. 제안된 배경모델링 방법을 개방형 구조에 탑재하기 위하여 입력영상에서 검색영역 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄인다. 또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용한다. 배경과 객체를 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용한다. 분리된 객체주변에 발생하는 클러터 제거 방법은 중앙값 필터를 적용한다. 설계된 임베디드 시스템에서 배경모델링, 객체탐지, 중앙값 필터, 라벨링, 합병 등의 방법은 PPC에서 구현하였다. 실험결과 제안된 임베디드 시스템에서 전역 움직임 보정과 배경예측을 통해 실시간으로 객체가 탐지될 수 있음을 보였다.
In this paper, we propose an object detection method for real-time in infrared (IR) images and PowerPC (PPC) and H/W design based on field programmable gate array (FPGA). An open H/W architecture has the advantages, such as easy transplantation of HW and S/W, support of compatibility and scalability...
In this paper, we propose an object detection method for real-time in infrared (IR) images and PowerPC (PPC) and H/W design based on field programmable gate array (FPGA). An open H/W architecture has the advantages, such as easy transplantation of HW and S/W, support of compatibility and scalability for specification of current and previous versions, common module design using standardized design, and convenience of management and maintenance. Proposed background modeling for an open H/W architecture design decreases size of search area to construct a sparse block template of search area in IR images. We also apply to compensate for motion compensation when image moves in previous and current frames of IR sensor. Separation method of background and objects apply to adaptive values through time analysis of pixel intensity. Method of clutter reduction to appear near separated objects applies to median filter. Methods of background modeling, object detection, median filter, labeling, merge in the design embedded system execute in PFC processor. Based on experimental results, proposed method showed real-time object detection through global motion compensation and background modeling in the proposed embedded system.
In this paper, we propose an object detection method for real-time in infrared (IR) images and PowerPC (PPC) and H/W design based on field programmable gate array (FPGA). An open H/W architecture has the advantages, such as easy transplantation of HW and S/W, support of compatibility and scalability for specification of current and previous versions, common module design using standardized design, and convenience of management and maintenance. Proposed background modeling for an open H/W architecture design decreases size of search area to construct a sparse block template of search area in IR images. We also apply to compensate for motion compensation when image moves in previous and current frames of IR sensor. Separation method of background and objects apply to adaptive values through time analysis of pixel intensity. Method of clutter reduction to appear near separated objects applies to median filter. Methods of background modeling, object detection, median filter, labeling, merge in the design embedded system execute in PFC processor. Based on experimental results, proposed method showed real-time object detection through global motion compensation and background modeling in the proposed embedded system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 적외선영상예서 배경모델링 기반의 실시간 객체 탐지를 위한 고속 PPC & FPGA 기반 개방형 구조의 설계 방법을 제안하였다. 제안된 배경모델링 방법을 개방형 구조로 설계하기 위해 입력영상에서 검색영역의 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄여 실시간 처리가 가능하였다.
본 절에서는 배경모델링을 하고자 제안된 전역 움직임 보상 방법을 설명한다. 전역 움직임 보상은 영상처리 시스템의 알고리즘 입력부에 수행되는 과정으로 이후 수행되는 탐지, 추적 및 인식기법 등의 성능 향상을 위해 필요하다.
본 절에서는 제안된 HAV 플랫폼에 탑재될 객체 탐지를 위한 배경모델링에 대해 언급한다. 제안된 객체 탐지를 위한 배경모델링 방법의 흐름도는 그림 4와 같다.
제안 방법
있다. 따라서 적외선 영상에서 효과적으로 객체를 탐지하는 기법이 필요하다⑶ 본 논문에서는 적외선영상에서 배경모델링을 통하여 실시간 객체 탐지 방법을 제안하며, 제안된 알고리즘의 실시간 처리를 위해 고속 PPC(PowerPC) & FFGA(FieId Programmable Gate Array) 기반의 개방형 구조의 하드웨어 설계 방법을 제안한다. 개방형 하드웨어 구조는 하드웨어 및 소프트웨어의 이식이 용이하며, 상위 및 하위 버전의 규격과도 호환성 및 확장성이 유지되어 표준화된 모듈 설계를 통해 공통화 모듈의 적용이 가능한 장점이 있고, 관리 및 유지보수 등의 편리함을 제공하고 있다回
제안된 배경모델링 방법을 개방형 구조로 설계하기 위해 입력영상에서 검색영역의 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄여 실시간 처리가 가능하였다. 또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용하여 흔들림을 보정하였다. 배경과 객체의 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용하였다.
또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용하여 흔들림을 보정하였다. 배경과 객체의 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용하였다. 분리된 객체 주변에 발생하는 클러터의 제거를 위해 중앙값 필터를 적용하였다.
이 후 라벨링과 병합을 통해 이웃한 픽셀들을 하나의 객체 덩어리로 통합한다. 배경모델링 및 객체 탐지는 픽셀 기반으로 다량의 연산을 수행함으로써 실시간 처리를 위해 PPC에 구현할 수 있도록 설계하였다.
하므로 연산시간이 많이 소모된다. 본 논문에서는 고속처리를 위해 입력영상이 그레이(gray) 영상이라는 것에 착안하여 필터 영역의 크기를 정하고, 해당 영역의 모든 픽셀의 밝기 값을 합하여 결과 값이 크면 蕊로, 작으면 0으로 대체시켜 가속화 시켰다. 필터의 크기가 NXN라고 했을 때, 주변 영역의 밝기 합이 (7VXA0/2X255보다 크다면 그 영역 내에 蕊가 0보다 더 많이 존재함으로 技로 대체하고, 작다면 0이 더 많이 존재함으로 0으로 대체한다.
단계가 필요하다. 본 논문에서는 고속처리를 위해 큐(queue)를 이용하였으며, 라벨링 작업은 2종류의 메모리를 확보하여 수행한다. 하나는 라벨링된 결과를 저장하는 메모리이고, 다른 하나는 큐를 위한 메모리이다.
项. 본 논문에서는 영역기반 정합 방식을 입력 영상에서 검색영역 템플릿을 성긴 블록으로 구성하여 검색영역의 크기를 줄이고, 연산량 감소를 통한 고속 블록 정합을 위해 블록 합계 피라미드(block sum pyramid) 방식으로 수행한다. 전역 움직임보상(%, <&)은 식 (2) 과 같다.
대해 언급한다. 제안된 구조는 Master/Slave 구조이며, Master 부는 영상입력, 결과출력, 파라미터 전달을 위한 화면을 구성하고, Slave부는 제안된 배경모델링 및 객체 탐지 알고리즘을 수행한다.
설계 방법을 제안하였다. 제안된 배경모델링 방법을 개방형 구조로 설계하기 위해 입력영상에서 검색영역의 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄여 실시간 처리가 가능하였다. 또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용하여 흔들림을 보정하였다.
제안된 임베디드 H/W 플랫폼에서 알고리즘을 검증하기 위해 적외선 영상(648480)을 실시간으로 입력 받아 배경모델링 및 객체 탐지를 실험을 하였다.
영상이 입력되어 전역 움직임 보상, 배경모델링 및 객체 탐지, 결과 전송의 처리시간(t)은 약 15ms이다. 제안된 임베디드 시스템은 입력 영상이 60f/s 이내에서도 실시간 처리가 가능한 구조이다.
따라서 객체의 오탐지를 줄이면서 고속처리가 가능한 H/W구조를 설계 방법이 필요하다. 제안된 임베디드 시스템의 WW 플랫폼에 탑재될 배경모델링(back悠round modeling) 방법은 고속으로 블록 정합(block matching)을 위해 입력영상에서 검색영역 템플릿(template)을 성긴블록(sparse block)으로구성한다. 배경과 객체의 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용한다.
분리된 객체 주변에 발생하는 클러터(clutter) 제거를 위해 중앙값(median) 필터를 적용한다. 탐지된 객체를 의미있는 하나의 덩어리로 통합하기 위해 라벨링 (labeling) 한 후 합병 (merging)을 수행한다.
대상 데이터
Slave 부는 ITC와 FTCA, 1GB 메모리, 제안된 방법인 배경모델링 및 객체 탐지 알고리즘이 탑재된다. 실시간 처리를 위해 Master부와 Slave부는 100MHz 클록의 FCI-X Bus를 통해 데이터를 주고받는다. 제안된 H/W 구조의 블록 도는 그림 1과 같으며’ HostK는 사용자로부터 입력받은 파라미터 값 및 영상을 BZI-X Bus를 통해 Slave부의 PPC에 전달한다.
이론/모형
필터의 크기가 NXN라고 했을 때, 주변 영역의 밝기 합이 (7VXA0/2X255보다 크다면 그 영역 내에 蕊가 0보다 더 많이 존재함으로 技로 대체하고, 작다면 0이 더 많이 존재함으로 0으로 대체한다. 이와 같이 연산 과정을 고속처리하기 위해 본 논문에서는 Winner Update 블록 정합 방식의 블록 합계 피라미드를 사용하였다阅. 필터의 크기가 WxTV이고, 영상의 크기가 MxM이면원래。("2><冲2)의 시간이 소요되는 중앙값 필터링의 시간에 처리한다.
성능/효과
분리된 객체 주변에 발생하는 클러터의 제거를 위해 중앙값 필터를 적용하였다. 실험결과 제안된 임베디드 시스템에서 전역 움직임 보정 후 배경예측을 통해 실시간으로 객체가 탐지될 수 있음을 보였다,
후속연구
향후 FPGA에서 단순 처리될 수 있는 구조를 분석하여 고속처리 구조의 설계검증이 필요하다.
참고문헌 (12)
A. Yilmaz, O. Javed, and M. Shah, 'Object tracking: a survey,' Association for Computing Machinery (ACM) Computing Surveys, Vol. 38, no. 4, pp. 1-45, December 2006
W. Hu, T. Tan, L. Wang, and S. Maybank, 'A survey on visual surveillance of object motion and behaviors,' IEEE Trans. Systems, Man, & Cybernetics - Part C: Applications & Reviews, Vol. 34, no. 3, pp. 334-352, August 2004
H. Lee, S. Kim, D. Park, J. Kim, and C. Park, 'Robust method for detecting an infrared small moving target based on the facet-based model,' Proc. The International Society for Optical Engineering (SPIE), Int. Conf. Defense and Security Symposium (DSS 2008), Vol. 6969, no. 69690E, pp. 1-9, April 2008
J. Lee, Y. Youn, and C. Park, 'PowerPC-based system for tracking in infrared image sequences,' Proc. The International Society for Optical Engineering (SPIE), Int. Conf. Europe Security Defence (ESD 2007), Vol. 6737, no. 67370S, pp. 1-9, October 2007
J. Jung, H. Lee, D. Park, C. Park, and J. Lee, 'Adaptive target segmentation using runtime-weighted features,' Proc. The International Society for Optical Engineering (SPIE), Int. Conf. Defense and Security Symposium (DSS 2007), Vol. 6567, no. 65671F, pp. 1-7, May 2007
M. Sedaaghi, 'Morphological operators,' Electronics Letters, Vol. 38, no. 22, pp. 1333-1335, October 2002
J. Wang, J. Chun, and Y. Park, 'Adaptive matched filtering for the varying attitude of a target,' Proc. The International Society for Optical Engineering (SPIE), High-Speed Imaging and Sequence Analysis II, Vol. 3968, no. 22, pp. 22-30, January 2000
W. Yang, Z. Shen, and Z. Li, 'The application of difference method to dim point target detection in infrared images,' Proc. IEEE, Vol. 1, pp. 133-36, May 1994
R. Cucchiara, C. Grana, M. Piccardi, and A. Prati, 'Detecting moving objects, ghosts, and shadows in video Streams,' IEEE Trans. Pattern Analysis, Machine Intelligence, Vol. 25, no. 10, pp. 1337-1342, October 2003
R. Tan, H. Huo, J. Qian, and T. Fang, 'Traffic video segmentation using adaptive-K gaussian mixture model,' Proc. Lecture Notes in Computer Science (LNCS), Advances in Machine Vision, Image Processing, and Pattern Analysis, Vol. 4153, pp. 125-134, August 2006
C. Gonzalez and E. Woods, Digital Image Processing, 2nd Edition, Prentice Hall, 2002
Y. Chen, Y. Hung, and C. Fuh, 'Fast block matching algorithm based on the winner-update strategy,' IEEE Trans. Image Processing, Vol. 10, no. 8, pp. 1212-1222, August 2001
※ AI-Helper는 부적절한 답변을 할 수 있습니다.