디지털 사이니지의 광고효과 측정을 위한 평균 필터 추적 기반 유동인구 수 측정 시스템 Pedestrian Counting System based on Average Filter Tracking for Measuring Advertisement Effectiveness of Digital Signage원문보기
컴퓨터 비전이나 감시영상 시스템에서 유동인구 수 측정은 안전, 스케줄링, 광고효과 측면에서 중요한 과제 중 하나이다. 유동인구 수 측정은 조명변화, 부분적인 폐색, 중첩, 사람검출과 같은 다양한 어려움을 겪고 있다. 가장 큰 문제점은 혼잡한 상황에서 추적되는 객체에 대한 폐색과 중첩이다. 정확한 유동인구 수 측정을 위해 폐색과 중첩은 반드시 해결해야 할 과제이다. 본 논문에서는 기존의 보행자 추적 방법을 개선한 효율적인 유동인구 수 측정 시스템을 제안한다. 기존의 보행자 추적과 달리, 제안된 방법은 평균 필터 추적방법을 적용하여 성능을 향상시킬 수 있음을 보인다. 또한 객체 추적의 성능향상을 위한 프레임 보상, 아웃라이어 제거를 통해서 추적을 개선한다. 그와 동시에 제안된 시스템은 추적된 객체의 다양한 정보를 저장한다. 데이터 셋 S6와 데이터 셋 S7에 대하여 유동인구 수 측정 정확도를 향상시키고 에러율을 줄인다. 또한 제안된 방법은 실시간으로 평균 80fps의 검출을 제공한다.
컴퓨터 비전이나 감시영상 시스템에서 유동인구 수 측정은 안전, 스케줄링, 광고효과 측면에서 중요한 과제 중 하나이다. 유동인구 수 측정은 조명변화, 부분적인 폐색, 중첩, 사람검출과 같은 다양한 어려움을 겪고 있다. 가장 큰 문제점은 혼잡한 상황에서 추적되는 객체에 대한 폐색과 중첩이다. 정확한 유동인구 수 측정을 위해 폐색과 중첩은 반드시 해결해야 할 과제이다. 본 논문에서는 기존의 보행자 추적 방법을 개선한 효율적인 유동인구 수 측정 시스템을 제안한다. 기존의 보행자 추적과 달리, 제안된 방법은 평균 필터 추적방법을 적용하여 성능을 향상시킬 수 있음을 보인다. 또한 객체 추적의 성능향상을 위한 프레임 보상, 아웃라이어 제거를 통해서 추적을 개선한다. 그와 동시에 제안된 시스템은 추적된 객체의 다양한 정보를 저장한다. 데이터 셋 S6와 데이터 셋 S7에 대하여 유동인구 수 측정 정확도를 향상시키고 에러율을 줄인다. 또한 제안된 방법은 실시간으로 평균 80fps의 검출을 제공한다.
Among modern computer vision and video surveillance systems, the pedestrian counting system is a one of important systems in terms of security, scheduling and advertising. In the field of, pedestrian counting remains a variety of challenges such as changes in illumination, partial occlusion, overlap...
Among modern computer vision and video surveillance systems, the pedestrian counting system is a one of important systems in terms of security, scheduling and advertising. In the field of, pedestrian counting remains a variety of challenges such as changes in illumination, partial occlusion, overlap and people detection. During pedestrian counting process, the biggest problem is occlusion effect in crowded environment. Occlusion and overlap must be resolved for accurate people counting. In this paper, we propose a novel pedestrian counting system which improves existing pedestrian tracking method. Unlike existing pedestrian tracking method, proposed method shows that average filter tracking method can improve tracking performance. Also proposed method improves tracking performance through frame compensation and outlier removal. At the same time, we keep various information of tracking objects. The proposed method improves counting accuracy and reduces error rate about S6 dataset and S7 dataset. Also our system provides real time detection at the rate of 80 fps.
Among modern computer vision and video surveillance systems, the pedestrian counting system is a one of important systems in terms of security, scheduling and advertising. In the field of, pedestrian counting remains a variety of challenges such as changes in illumination, partial occlusion, overlap and people detection. During pedestrian counting process, the biggest problem is occlusion effect in crowded environment. Occlusion and overlap must be resolved for accurate people counting. In this paper, we propose a novel pedestrian counting system which improves existing pedestrian tracking method. Unlike existing pedestrian tracking method, proposed method shows that average filter tracking method can improve tracking performance. Also proposed method improves tracking performance through frame compensation and outlier removal. At the same time, we keep various information of tracking objects. The proposed method improves counting accuracy and reduces error rate about S6 dataset and S7 dataset. Also our system provides real time detection at the rate of 80 fps.
본 논문에서는 광고효과 측정을 위한 유동인구 분석이 필요한 디지털 사이니지 환경을 타겟으로 하며, 부분적인 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 할 수 있는 개선된 시스템을 제안한다. 제안된 시스템은 평균 필터 추적방법을 적용하여 객체추적 성능을 향상시킬 수 있음을 보인다.
본 논문에서는 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 실시간으로 할 수 있는 시스템을 제안했다. 이때 객체의 추적을 위하여, 검출된 객체의 바운딩 박스 영역을 검출하고, 연속된 두 프레임간의 교차영역의 비율에 근거하여 같은 객체임을 판단하고 추적을 하게 된다.
제안 방법
실험 결과를 통해 평균 필터가 객체 추적을 개선하여 유동인구 수 측정에 미치는 영향을 보여준다. 또한 객체 추적의 성능향상을 위한 프레임 보상 및 아웃라이어 제거를 제안한다. 복잡한 상황에서 추적되는 객체는 반복적으로 폐색되고 중첩된다.
평균 필터를 적용한 추적방법에서 프레임 보상은 검출기에서 검출 하지 못하는 프레임에 대한 객체 보상뿐만 아니라 폐색된 상황에서 효율적으로 객체를 추적하여, 성능을 향상 시킬 수 있다. 또한 검출기에서 검출한 다수의 객체에 대한 아웃라이어 제거를 통해서 최적의 객체 추적을 할 수 있는 개선된 방법을 제안한다.
또한 본 논문에서 제안한 시스템은 추적된 객체에 대하여 다양한 정보를 정의하고 강인한 객체 추적을 통하여 유동인구 수를 측정한다. 평균 검출속도는 초당 80프레임을 보이며, 실시간 환경에서 효율적으로 유동인구 수를 측정할 수 있다.
제안된 시스템은 평균 필터 추적방법을 적용하여 객체추적 성능을 향상시킬 수 있음을 보인다. 실험 결과를 통해 평균 필터가 객체 추적을 개선하여 유동인구 수 측정에 미치는 영향을 보여준다. 또한 객체 추적의 성능향상을 위한 프레임 보상 및 아웃라이어 제거를 제안한다.
본 장에서는 유동인구 수 측정 시스템의 구조와 각 구성요소들에 대해 설명하고, 제안된 시스템에서의 유동인구 수 측정 방법에 대해 기술한다. 제안된 시스템은 평균 필터 추적방법과 프레임 보상 및 아웃라이어 제거를 통해서 강인한 객체 추적을 하여 효율적으로 유동인구 수를 측정할 수 있도록 구현되었다.
추적된 객체는 최종적으로 객체 정의 및 측정 모듈에서 객체 상태 갱신, 객체 정보 정의를 통해서 유동인구 수를 측정한다. 객체 상태 갱신은 객체가 추적되고 있는지를 판별해 갱신한다.
대상 데이터
실험에 사용된 데이터 셋 S6, S7는 무작위로 돌아다니는 유동인구 영상이며, S7는 S6보다 좀 더 복잡환 유동인구 환경을 가진다. 데이터 셋의 프레임 크기는 640x480이며, S6는 총 4975 프레임, 데이터 셋 S7는 총 6126 프레임을 가진다. 유동인구의 실측 수와 견적된 수를 비교하기 위하여, Mean Absolute Error (MAE)와 Mean Relative Error (MRE)를 계산한다.
유동인구 수 측정 시스템의 평가는 자체적으로 수집한 유동인구 검출 영상들을 이용하여 측정하였다. 실험에 사용된 데이터 셋 S6, S7는 무작위로 돌아다니는 유동인구 영상이며, S7는 S6보다 좀 더 복잡환 유동인구 환경을 가진다. 데이터 셋의 프레임 크기는 640x480이며, S6는 총 4975 프레임, 데이터 셋 S7는 총 6126 프레임을 가진다.
유동인구 수 측정 시스템의 평가는 자체적으로 수집한 유동인구 검출 영상들을 이용하여 측정하였다. 실험에 사용된 데이터 셋 S6, S7는 무작위로 돌아다니는 유동인구 영상이며, S7는 S6보다 좀 더 복잡환 유동인구 환경을 가진다.
데이터처리
데이터 셋의 프레임 크기는 640x480이며, S6는 총 4975 프레임, 데이터 셋 S7는 총 6126 프레임을 가진다. 유동인구의 실측 수와 견적된 수를 비교하기 위하여, Mean Absolute Error (MAE)와 Mean Relative Error (MRE)를 계산한다.
이론/모형
따라서 본 논문에서 객체 추적의 객체 매칭을 개선하기 위해 매칭된 객체들에 바운딩 박스의 평균 윈도우 사이즈를 적용한다. 각각 추적된 객체는 이전 객체들의 정보를 가지고 있다.
본 논문에서 기본 검출기는 Benenson[13]의 VeryFast를 사용한다. VeryFast는 이전의 결과[14]의 검출 성능을 유지하면서 검출 속도를 크게 개선시켰다.
이러한 VeryFast 검출기는 스테레오 이미지와 단일 이미지에서 각각 50Hz, 135Hz가 넘는 검출 속도를 보이며, 검출 성능 또한 뛰어남을 보인다. 본 논문에서는 실시간 환경에서 높은 검출률과 뛰어난 검출 속도를 보이는 VeryFast 검출기를 사용했다.
성능/효과
이때, 소수의 프레임들에서 검출된 객체들의 평균 윈도우 사이즈를 제공하는 평균 필터를 이용함으로서 객체 매칭률을 향상시킬 수 있음을 보였다. 또한 평균 필터는 객체 매칭을 할 때 현재 검출된 객체와 예측된 객체를 사용하기 때문에 예측된 객체의 바운딩 박스를 적용하는 것이 성능 향상을 높일 수 있음을 보였다. 또한 폐색된 상황에서 강인하게 추적할 수 있는 프레임 보상과 검출기에서 검출한 다수의 객체후보에 대한 아웃라이어 제거를 통해 성능을 높이고 에러율을 크게 줄일 수 있음을 보였다.
또한 평균 필터는 객체 매칭을 할 때 현재 검출된 객체와 예측된 객체를 사용하기 때문에 예측된 객체의 바운딩 박스를 적용하는 것이 성능 향상을 높일 수 있음을 보였다. 또한 폐색된 상황에서 강인하게 추적할 수 있는 프레임 보상과 검출기에서 검출한 다수의 객체후보에 대한 아웃라이어 제거를 통해 성능을 높이고 에러율을 크게 줄일 수 있음을 보였다.
본 논문에서는 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 실시간으로 할 수 있는 시스템을 제안했다. 이때 객체의 추적을 위하여, 검출된 객체의 바운딩 박스 영역을 검출하고, 연속된 두 프레임간의 교차영역의 비율에 근거하여 같은 객체임을 판단하고 추적을 하게 된다. 그러나 이때 같은 객체일지라도 장면 (scene)의 변화에 따라 바운딩 박스의 크기가 큰 차이를 보이며, 안정적인 바운딩 박스 영역을 제공하지 못함으로 인하여 추적 성능이 저하되는 경향이 있다.
그러나 이때 같은 객체일지라도 장면 (scene)의 변화에 따라 바운딩 박스의 크기가 큰 차이를 보이며, 안정적인 바운딩 박스 영역을 제공하지 못함으로 인하여 추적 성능이 저하되는 경향이 있다. 이때, 소수의 프레임들에서 검출된 객체들의 평균 윈도우 사이즈를 제공하는 평균 필터를 이용함으로서 객체 매칭률을 향상시킬 수 있음을 보였다. 또한 평균 필터는 객체 매칭을 할 때 현재 검출된 객체와 예측된 객체를 사용하기 때문에 예측된 객체의 바운딩 박스를 적용하는 것이 성능 향상을 높일 수 있음을 보였다.
이러한 연구를 통하여 검출되는 객체의 바운딩 박스에 간단한 평균필터를 적용하여 성능의 향상을 가져올 수 있음을 보였으나, 평균필터에 입력으로 제공되는 프레임의 선택 방법에 따라 또한 성능의 차이를 가져옴을 확인 할 수 있었다. 따라서 어떠한 평균필터를 적용하는 것이 가장 이상적인 성능의 향상을 가져오는 지는 추후 다양한 방법으로 적용하고 실험하여야 할 과제이다.
본 논문에서는 광고효과 측정을 위한 유동인구 분석이 필요한 디지털 사이니지 환경을 타겟으로 하며, 부분적인 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 할 수 있는 개선된 시스템을 제안한다. 제안된 시스템은 평균 필터 추적방법을 적용하여 객체추적 성능을 향상시킬 수 있음을 보인다. 실험 결과를 통해 평균 필터가 객체 추적을 개선하여 유동인구 수 측정에 미치는 영향을 보여준다.
또한 본 논문에서 제안한 시스템은 추적된 객체에 대하여 다양한 정보를 정의하고 강인한 객체 추적을 통하여 유동인구 수를 측정한다. 평균 검출속도는 초당 80프레임을 보이며, 실시간 환경에서 효율적으로 유동인구 수를 측정할 수 있다.
후속연구
MAE는 실측 유동인구 수와 견적된 유동인구 수에 대한 에러율을 비교하는데 매우 유용하다. 그러나 실측 유동인구의 크기에 대한 상대적인 에러율을 구하는데는 한계가 있다. 따라서 상대적인 에러율을 비교할 수 있는 MRE까지 비교한다.
이러한 연구를 통하여 검출되는 객체의 바운딩 박스에 간단한 평균필터를 적용하여 성능의 향상을 가져올 수 있음을 보였으나, 평균필터에 입력으로 제공되는 프레임의 선택 방법에 따라 또한 성능의 차이를 가져옴을 확인 할 수 있었다. 따라서 어떠한 평균필터를 적용하는 것이 가장 이상적인 성능의 향상을 가져오는 지는 추후 다양한 방법으로 적용하고 실험하여야 할 과제이다.
참고문헌 (15)
C. Zeng, H. Ma, “Robust head-shoulder detection by PCA-based multilevel HOG-LBP detector for people counting”, 『In Proc. International Conference on Pattern Recognition』, 2010.
F. Chen and E. Zhang, “A fast and robust people counting method in video surveillance”, 『In Proc. IEEE International Conference on Computational Intelligence and Security』, 2007.
H. Fu, H. Ma, and H. Xiao, “Real-time accurate crowd counting based on rgb-d information, 『In Proc. IEEE International Conference on Information Processing (ICIP)』, 2012.
O. Sidla, Y. Lypetskyy, N. Brandle, and S. Seer, “Pedestrian detection and tracking for counting applications in crowded situations”, 『In Proc. IEEE International Conference on Video and Signal Based Surveillance』, 2006.
V.B. Subburaman, A. Descamps, C. Carincotte, “Counting people in the crowd using a generic head detector”, 『In 2012 IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS)』, 2012.
D. Kong, D. Gray, and H. Tao, “A viewpoint invariant approach for crowd counting”, 『In Proc. International Conference on Pattern Recognition』, 2006.
D. Ryan, S. Denman, C. Fookes, and S. Sridharan, “Crowd counting using group tracking and local features”, 『In Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)』, 2010.
D. Ryan, S. Denman, C. Fookes, and S. Sridharan, “Crowd counting using multiple local features”, 『In Digital Image Computing: Techniques and Applications (DICTA)』, 2009.
H. Fradi, and J.-L. Dugelay, “Low level crowd analysis using frame-wise normalized feature for people counting”, 『In IEEE International Workshop on Information Forensics and Security』, 2012.
H. Fradi, and J.-L. Dugelay, “People counting system in crowded scenes based on feature regression”, 『In EUSIPCO 2012, European Signal Processing Conference』, 2012.
J. Li, L. Huang, and C. Liu, “Robust people counting in video surveillance: dataset and system”, 『In 8th IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS)』, 2011.
S. Fujisawa, G. Hasegawa, Y. Taniguchi, and H. Nakano, "Pedestrian counting in video sequences based on optical flow clustering" 『International Journal of Image Processing』, 2013.
R. Benenson, M. Mathias, R. Timofte and L. Van Gool, “Pedestrian detection at 100 frames per second”, 『In Computer Vision and Pattern Recognition (CVPR)』, 2012 IEEE Conference on, pages 2903-2910. IEEE, 2012.
P. Dollar, S. Belongie, and P. Perona, “The fastest pedestrian detector in the west”, 『British Machine Vision Conference (BMVC)』, 2010.
R. Benenson, R. Timofte, and L. Van Gool, “Stixels estimation without depthmap computation”, 『In ICCV, CVVT workshop』, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.