실시간 객체 인식 및 추적은 컴퓨터 비전 응용 산업이 발달하면서 그 중요성이 더해지고 있다. 객체 추적을 위해 많이 이용되고 있는 알고리즘으로 Mean-Shift 알고리즘이 있다. Mean-Shift 알고리즘을 기반으로 한 객체 추적 알고리즘은 구현이 간단하고, 적은 계산 복잡도를 갖는 장점이 있다. 따라서 실시간 객체 추적 시스템에 적합하다고 할 수 있지만, 지역 모드로의 수렴만을 보장하는 특성으로 인해 객체의 수가 많은 경우 좋은 성능을 나타내지 못하는 단점을 가지고 있다. 그러므로 본 논문에서는 다중 이동 객체를 실시간으로 추적하기 위한 광류기반의 움직임 추정 기법을 제안한다. 제안된 알고리즘의 성능을 확인하기 위해 다중 이동 객체의 인식 실험 결과 유사도는 0.96으로 기존의 Mean-Shift 알고리즘에 비해 약 13.4% 정도 유사도가 개선되었고 평균 픽셀 오류도 3.07로 또한 50% 이상 감소하였다. 향후 알고리즘을 개선하여 처리 속도를 더욱 줄임으로써 매우 빠른 이동 객체 인식과 상황 인지 알고리즘을 추가한다면 보다 효율적인 인식 및 추적 시스템을 구축할 수 있을 것으로 사료된다.
실시간 객체 인식 및 추적은 컴퓨터 비전 응용 산업이 발달하면서 그 중요성이 더해지고 있다. 객체 추적을 위해 많이 이용되고 있는 알고리즘으로 Mean-Shift 알고리즘이 있다. Mean-Shift 알고리즘을 기반으로 한 객체 추적 알고리즘은 구현이 간단하고, 적은 계산 복잡도를 갖는 장점이 있다. 따라서 실시간 객체 추적 시스템에 적합하다고 할 수 있지만, 지역 모드로의 수렴만을 보장하는 특성으로 인해 객체의 수가 많은 경우 좋은 성능을 나타내지 못하는 단점을 가지고 있다. 그러므로 본 논문에서는 다중 이동 객체를 실시간으로 추적하기 위한 광류기반의 움직임 추정 기법을 제안한다. 제안된 알고리즘의 성능을 확인하기 위해 다중 이동 객체의 인식 실험 결과 유사도는 0.96으로 기존의 Mean-Shift 알고리즘에 비해 약 13.4% 정도 유사도가 개선되었고 평균 픽셀 오류도 3.07로 또한 50% 이상 감소하였다. 향후 알고리즘을 개선하여 처리 속도를 더욱 줄임으로써 매우 빠른 이동 객체 인식과 상황 인지 알고리즘을 추가한다면 보다 효율적인 인식 및 추적 시스템을 구축할 수 있을 것으로 사료된다.
The importance of the real-time object recognition and tracking field has been growing steadily due to rapid advancement in the computer vision applications industry. As is well known, the mean-shift algorithm is widely used in robust real-time object tracking systems. Since the mentioned algorithm ...
The importance of the real-time object recognition and tracking field has been growing steadily due to rapid advancement in the computer vision applications industry. As is well known, the mean-shift algorithm is widely used in robust real-time object tracking systems. Since the mentioned algorithm is easy to implement and efficient in object tracking computation, many say it is suitable to be applied to real-time object tracking systems. However, one of the major drawbacks of this algorithm is that it always converges to a local mode, failing to perform well in a cluttered environment. In this paper, an Optical Flow-based algorithm which fits for real-time recognition of multiple moving objects is proposed. Also in the tests, the newly proposed method contributed to raising the similarity of multiple moving objects, the similarity was as high as 0.96, up 13.4% over that of the mean-shift algorithm. Meanwhile, the level of pixel errors from using the new method keenly decreased by more than 50% over that from applying the mean-shift algorithm. If the data processing speed in the video surveillance systems can be reduced further, owing to improved algorithms for faster moving object recognition and tracking functions, we will be able to expect much more efficient intelligent systems in this industrial arena.
The importance of the real-time object recognition and tracking field has been growing steadily due to rapid advancement in the computer vision applications industry. As is well known, the mean-shift algorithm is widely used in robust real-time object tracking systems. Since the mentioned algorithm is easy to implement and efficient in object tracking computation, many say it is suitable to be applied to real-time object tracking systems. However, one of the major drawbacks of this algorithm is that it always converges to a local mode, failing to perform well in a cluttered environment. In this paper, an Optical Flow-based algorithm which fits for real-time recognition of multiple moving objects is proposed. Also in the tests, the newly proposed method contributed to raising the similarity of multiple moving objects, the similarity was as high as 0.96, up 13.4% over that of the mean-shift algorithm. Meanwhile, the level of pixel errors from using the new method keenly decreased by more than 50% over that from applying the mean-shift algorithm. If the data processing speed in the video surveillance systems can be reduced further, owing to improved algorithms for faster moving object recognition and tracking functions, we will be able to expect much more efficient intelligent systems in this industrial arena.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 다중 이동 객체를 관리하기 위하여 각각의 객체에 대하여 상태 관리 알고리즘을 제안한다. 입력되는 영상 중 일정 관심 영역에 대하여 이동객체에 다음과 같은 상태를 부여하고 관리한다.
본 논문에서는 차영상을 이용하여 이동 객체를 검출하고 검출 후에는 다중 후보를 이용한 광류 알고리즘을 이용해 적은 수의 후보를 이용해서 추적 하고, 추적된 객체의 상태를 지속적오로 관리하도록 하였다. 기존의 Mean-Shift 알고리즘은 단일 후보를 이용하기 때문에, 지역 모드로 수렴할 경우, 추적에 실패했지만, 제안된 방법을 이용할 경우에는 비록 지역 모드로 소수의 후보들이 수렴하더라도 나머지 후보들에의해 추적에 성공하는 것을 확인할 수 있었다.
본 연구에서는 기존의 CCTV기반의 방범 및 방재시스템이 수행하던 시설물과 출입자에 대한 수동적인 녹화 및 운용자에 의한 단순 감시기능과는 달리, 실시간으로 상황을 인지하고 자율대응 할 수 있는 지능형 감시시스템으로 카메라를 통하여 획득된 영상정보를 실시간으로 분석하여 이동물체를 검지, 추적 및 분류하고 감지/추적/분류된 물체의 행위나 상호작용을 해석한 후 이들이 보안목표에 해당하는 이벤트를 발생시켰는지를 판단하는 이동객체 인식 시스템이다.
본 연구에서는 지능화된 영상 분석 기능을 바탕으로 넓은 환경을 제공하는 영상 감시의 이점과 능동적으로 객체를 판단하고 인식할 수 있는 PTZ 카메라를 통한 영상 감시의 이점을 결합시킨 감시 시스템을 제안한다.
가설 설정
실시간으로 70개의 학습 집합을 갱신하는데 50개의 학습 집합을 갱신하던 중 객체의 가림 현상이 생겼을 경우에는 50개의 학습 집합을 이용하여 모델 정합을 하였다.(모델 정합과 제안한 예측과 보정 과정을 조합하여 다른 객체에 의한 전체 가림 현상도 추적 객체의 방향이 갑자기 변하지 않는다는 가정 하에 해결할 수 있다.
제안 방법
6배 이상일 경우, 레이블링 된 영역 안에서 움직임 방향과 그 크기의 평균을 계산하여 객체의 가림현상을 판별하였다.(그림 2에서 볼 수 있듯이, 레이블링된 영역의 크기, 객체의 움직임에 대한 갑작스런 변화를 조사하여 객체 가림 현상으로 존재여부를 판별하였다.
객체를 추적 시 실시간으로 학습 집합을 갱신하고객체의 가림현상을 판별하여 가림 현상이 생겼을 경우에는 제안한 NPT-AFM을 이용하여 이를 해결한다. 또한 예측, 보정된 특징점이 전체 특징점 이상일 경우에는 특징점을 다시 계산한다.
본 논문에서 제안된 알고리즘의 성능을 입증하기위하여 이동 객체의 인식 실험과 PTZ 제어에 의한 객체 인식 및 추적 실험을 진행하였다. 실험에 사용한하드웨어의 구성은 그림 5와 같다.
" data-ocr-fix="">한다. 본 실험에서는 추적 객체의 레이블링 영역이 1.6배 이상일 경우, 레이블링 된 영역 안에서 움직임 방향과 그 크기의 평균을 계산하여 객체의 가림현상을 판별하였다.(그림 2에서 볼 수 있듯이, 레이블링된 영역의 크기, 객체의 움직임에 대한 갑작스런 변화를 조사하여 객체 가림 현상으로 존재여부를 판별하였다.
본 연구에서는 객체의 방향을 4방향으로 분할하였고, 추적에 알맞은 특징점을 추출한 후 Lucas-Kanade 광류叫를 사용하여 다음 프레임의 특징 점을 예측 호였다. 학습 집합은 70개 단위로 갱신하지만, 만약 50개의 학습집합을 갱신하는 중 객체의 가림 현상이 생기면 50개의 학습 집합을 이용하게 된다.
비디오 영상에서 실시간으로 이동 객체를 추출하고 추적 및 인식하는 연구와 영상에서의 이동 객체의정보를 이용하여 PTZ 카메라를 자동 제어하여 관심객체를 계속적으로 추적하는 연구를 하였다.
학습 집합을 이용하여 특징점 모델 정합을 한다. 실시간으로 70개의 학습 집합을 갱신하는데 50개의 학습 집합을 갱신하던 중 객체의 가림 현상이 생겼을 경우에는 50개의 학습 집합을 이용하여 모델 정합을 하였다.(모델 정합과 제안한 예측과 보정 과정을 조합하여 다른 객체에 의한 전체 가림 현상도 추적 객체의 방향이 갑자기 변하지 않는다는 가정 하에 해결할 수 있다.
제안된 방법은 우선 영상센서로서 실시간 객체 검지목적의 검지카메라와 검지된 객체를 원격 인식하기위한 PTZ 카메라로 구성된다. 제안된 시스템은 객체가 차량인 경우 100m 정도 떨어진 원거리에 있는 경우 차량 번호를, 사람인 경우 신원을 판별할 수 있도록 얼굴을 인식하고 검출 할 수 있도록 카메라의 PTZ 자동 제어에 의한 실시간 상황인지 서비스가 가능하도록 하였다.
PTZ 카메라로 구성된다. 제안된 시스템은 객체가 차량인 경우 100m 정도 떨어진 원거리에 있는 경우 차량 번호를, 사람인 경우 신원을 판별할 수 있도록 얼굴을 인식하고 검출 할 수 있도록 카메라의 PTZ 자동 제어에 의한 실시간 상황인지 서비스가 가능하도록 하였다.
대상 데이터
모든 시퀀스는 352x240 해상도를 가지는 영상을 사용했다. D.
제안된 알고리즘을 확인하기 위해 검지카메라로 삼성의 SDC-415A 를, 추적카메라는 유진시스템의 YSDP-522-35를, 프레임그래버는 Hik Vision사의 DS-4004HCI를 사용하여 해상도 352x240로 영상을 변환하였고, P4 듀얼코어 L6GHz와 2, 048MB의 성능의 PC 에서 수행하였다 OS 는 Microsoft 사의 Windows XP를 이용했고 개발 툴은 Microsoft Visual C++와 Intel 사의 IPL(image processing library), OpenCV(open computer vision library)# 이용했다. 모든 시퀀스는 352x240 해상도를 가지는 영상을 사용했다.
데이터처리
모든 시퀀스는 352x240 해상도를 가지는 영상을 사용했다. D. Comaniciuμ이가 제안한 Mean-Shift를 인식 방법과 제안한 시스템의 성능을 비교하였다.
성능/효과
하였다. 기존의 Mean-Shift 알고리즘은 단일 후보를 이용하기 때문에, 지역 모드로 수렴할 경우, 추적에 실패했지만, 제안된 방법을 이용할 경우에는 비록 지역 모드로 소수의 후보들이 수렴하더라도 나머지 후보들에의해 추적에 성공하는 것을 확인할 수 있었다.
필요하다. 따라서 초당 30프레임의 영상에서 매 프레임 처리하지 않고 3프레임 마다 처리함으로써 전체적인 처리 시간을 확보 할 수 있었다.
Mean-Shift 인식 방법의 경우 겹침으로 인해 추적에 실패하게 되는 것을 확인할 수 있다. 실험 결과 Mean-Shift 알고리즘의 경우 평균 픽셀 오류가 7.昭인 반면 제안된 알고리즘의 경우 3.07 로 나타났다.
사용하는 후보들의 평균 유사도가 높다는 것을 볼 수 있다. 실험 결과 Mean-Shift 알고리즘의 경우 평균유사도가 0.85인 반면, 제안된 알고리즘의 경우 0.96 로 Mean-Shift에 비해 약 13.4% 정도 개선되었다.
제안된 시스템의 영상은 주위에서 일어나는 일을 한눈에 파악할 수 있도록 해주고 통합된 PTZ 카메라의 자동 제어를 통해 주변을 이동하는 물체들을 끊김 없이 감시함으로써 이동 물체에 대한 풍부한 정보를 얻는 것이 가능하다.
제안된 알고리즘의 성능을 확인하기 위하여 초당 10프레임의 352x240의 영상에서 다중 이동 객체의 경우 객체의 유사도는 0.96으로 기존의 Mean-Shift 알고리즘의 유사도 0.85에 비해 약 13.4% 정도 유사도가 개선되었고 평균 픽셀 오류도 7.06 픽셀에서 307로 감소하였다.
후속연구
향후 알고리즘을 개선하여 처리 속도를 줄임으로써좀 더 빠른 이동 객체 인식과 상황 인지 알고리즘을추가한다면 보다 효율적인 지능형 감시 시스템을 구축할 수 있을 것으로 사료된다
참고문헌 (14)
Yeencheng Lee, Demetri Terzopoulos and Keith Waters, "Constructing Physics-Based Facial Models of Indiciduals", Fraphics Interface '93, pp.1-8, 1993.
A. Bakowski, G.A. Jones, "Video Surveillance Tracking using Color region Adjacency Graphs", Image Processing and its Applications, Conference Publication No.465, 1999, pp.794-798
Yusuke Takahashi, Toshio Kamei, "Object Tracking System with Active Camera", NEC Res. & Develop., Vol.43 No.1, 2002, pp.45-48
Gian Luca Foresti, "Object Reconition and Tracking for Remote Video Surveillance", IEEE Trans. on Circuits & Systems for Video Technology, Vol.9 No.7, 1999, pp.1045-1062
Hai Tao, Harpreet S. Sawhney, Rakesh Kumar, "Object Tracking with Bayesian Estimation of Dynamic Layer Representations", IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.24 No.1, 2002, pp.75-89
Xavier Clady, Francois Collange, Frederic Jurie, Philippe Martinet, "Object Tracking with a Pan-Tilt-Zoom Camera : application to car driving assistance", Proceedings of the 2001 IEEE International Conference on Robotics & Automation in Seoul, 2001, pp.1653-1658
D.Bruce, Lucas and Takeo Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," In Proc. Darpa image Understanding Work-shop, pp. 121-130, 1981.
D. Comaniciu and P. Meer, "Real-Time Tracking of Non-Rigid Objects Using Mean Shift", proc. IEEE Conf. Computer Vision and Pattern Recognition, Vol.20, pp.142-149, june 2000.
D. Comaniciu and P. Meer, "Mean Shift : A Robust Approach Toward Feature Space Analysis," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.24, No.5, pp.603-619, May 2002.
D. Comaniciu and V. Ramesh , P. Meer, "Kernel-Based Tracking", IEEE trans. Pattern Analysis and Machine Intelligence, Vol.25, No. 5, pp.564-577 May 2003.
S. Lee, J. Kang, J. Shin, and J. Paik, "Hierarchical active shape model with motion prediction for real-tine tracking of non-rigid object," IET Computer Vision, Vol.1, No.1, pp. 17-24, March 2007.
P. Azzari, L. Stefano, and A. Bevilacqua, "An effective real-time mosaicing algorithm apt to detect motion through background subtraction usinf a PTZ comera," IEEE Conf. Advanced Video and Signal-Based Surveillance, pp. 511-516, 2005.
H. Liu, N. Doug, H. Zha, "Omni-directional vision based human motion detection for autonomous mobile Robots," Proc. IEEE Conf, Systems, Man and Cybernetics, Vol.3, pp. 2236-2241, 2005.
Yi Yao, Besma Abidi, and Mongi Abidi, "Fusion of Omni-directional and PTZ camera for accurate cooperative tracking," Proc. IEEE, International Conference on Video and Signal Based Surveillance, pp. 46, 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.