[논문]지능형 다중 화상감시시스템을 위한 움직이는 물체 추적 및 보행자/차량 인식 방법

이삭; 조재수

doi:10.6109/jkiice.2015.19.2.435

[국내논문] 지능형 다중 화상감시시스템을 위한 움직이는 물체 추적 및 보행자/차량 인식 방법
Tracking and Recognition of vehicle and pedestrian for intelligent multi-visual surveillance systems 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.19 no.2, 2015년, pp.435 - 442

이삭 (Department of Computer Science & Engineering, Korea University of Technology and Education) , 조재수 (Department of Computer Science & Engineering, Korea University of Technology and Education)

초록
AI-Helper

본 논문에서는 지능형 다중 화상감시시스템에 응용할 수 있는 움직이는 물체 추적 및 보행자/차량 인식 방법을 제안한다. 지능형 다중 화상감시시스템은 다수의 고정형 카메라와 한 대의 PTZ 카메라로 구성되며, 고정형 카메라에서 검출된 움직이는 물체들을 PTZ 카메라로 팬/틸트/줌 제어하고, 보행자인지 또는 차량인지를 자동으로 인식한다. 넓은 영역을 감시하는 고정된 카메라에서 검출된 물체는 너무 작고, 변별력이 떨어지는 문제가 있다. 이러한 문제를 극복하기 위해 PTZ 카메라를 통한 특정 움직이는 물체를 팬/틸트/줌인 제어함으로써 움직이는 물체의 변별력과 감시성능을 높일 수 있다. 제안된 시스템은 움직이는 물체를 추적하는 기능 외에 SVM 학습알고리즘을 이용하여 검출된 물체가 보행자 또는 차량인지를 판단할 수도 있다. 그리고 추적에러를 줄이기 위해 기존의 고정된 카메라와 PTZ 카메라간의 캘리브레이션 방법을 개선한다. 다양한 실험결과를 통하여 제안한 시스템의 효용성을 입증하였다.

Abstract ▼ AI-Helper

In this paper, we propose a tracking and recognition of pedestrian/vehicle for intelligent multi-visual surveillance system. The intelligent multi-visual surveillance system consists of several fixed cameras and one calibrated PTZ camera, which automatically tracks and recognizes the detected moving objects. The fixed wide-angle cameras are used to monitor large open areas, but the moving objects on the images are too small to view in detail. But, the PTZ camera is capable of increasing the monitoring area and enhancing the image quality by tracking and zooming in on a target. The proposed system is able to determine whether the detected moving objects are pedestrian/vehicle or not using the SVM. In order to reduce the tracking error, an improved camera calibration algorithm between the fixed cameras and the PTZ camera is proposed. Various experimental results show the effectiveness of the proposed system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하나의 검출된 이동 물체는 다음 프레임에서도 동일하게 존재할 가능성이 크다. 본 논문에서는 이러한 객체들의 정보를 유지하기 위해 기존 객체의 정보를 다음 프레임의 이동 물체에게 전달하기 위한 여러 가지 정책을 마련하였으며, 기본적인 순서는 그림 6과 같다.
이전연구[3]의 듀얼모드 화상감시 시스템에서 개발된 두 카메라간 좌표변환 및 PTZ 제어 방법은 설치환경에서 특징점이 없는 환경이나 또는 특징점 매칭이 잘 이루어지지 않는 환경에서는 두 카메라간 좌표변환에 대한 오차가 심하게 나타나고, 좌표변환에 대한 오차는 결국 추적카메라의 추적성능을 떨어뜨리는 문제점이 있었다. 본 논문에서는 좌표변환 없이 고정카메라 좌표에서의 직접적인 팬/틸트 제어변수를 활용한 들로내 삼각화 기법과 선형보간법을 통한 팬/틸트를 제어하는 방법을 제안한다. 여기서 들로네 삼각화란 평면위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최소값이 최대가 되도록 분할하는 방법이다.
본 논문에서는 지능형 다중 화상감시 시스템에 활용할 수 있는 고정 카메라와 PTZ 카메라간의 새로운 캘리브레이션 제어 방법과 고정 카메라에서 움직이는 물체를 검출하는 방법 그리고 검출된 객체를 분류하는 방법을 제안하였다.
본 논문에서는 지능형 다중모드 화상감시 시스템에서 필요한 기술인 지속적으로 배경영상을 업데이트하며 이동 중인 객체를 인식하는 방법을 새롭게 제시한다. 실외 환경에서 나타날 수 있는 객체의 종류는 크게 보행자, 차량 그리고 기타 대상으로 분류할 수 있으며, 보행자는 또한 단일 대상과 그룹 대상으로 나눌 수 있다.
실외 환경에서 나타날 수 있는 객체의 종류는 크게 보행자, 차량 그리고 기타 대상으로 분류할 수 있으며, 보행자는 또한 단일 대상과 그룹 대상으로 나눌 수 있다. 이러한 대상들을 정확하게 인식하여 분류하고 추적할 수 있는 시스템을 만드는 것이 본 논문의 최종적인 목표이다.

제안 방법

객체의 종류는 분류 중요성이 가장 큰 보행자, 차량(승용차, 트럭, 오토바이 등), 기타(흔들리는 나뭇가지, 동물 등) 세 종류로 나누었으며, 객체들의 특징은 실외환경에서 나타나는 날씨의 변화, 시간의 변화에 무관한 특성들을 선택하였다. 이러한 종류의 객체들을 분류하기 위해 본 논문에서는 SVM(Support Vector Machine)[6]을 활용하였다.
고정 카메라의 각 특징점(p1,p2, · · · ,pN) 에 대해 PTZ 카메라를 수동으로 조정하여 해당 점이 PTZ 카메라의 중심에 오도록 수동으로 조정하고, 대응되는 팬/틸트 제어변수를 고정카메라 좌표의 특징점 좌표의 제어변수로 저장한다.
그리고 보행자 검출 알고리즘과의 검출율, 오검출율 비교를 통해 제안하는 본 시스템의 보행자 분류 성능을 검증하였다. 표 3은 본 논문에서 제안한 분류방법과 비교할 기존의 네 가지 방법을 정리한 것이다.
이러한 과정이 필요한 이유는 면적과 같이 비교적 큰 값을 가지는 특징값이 높은 가중치로 계산되는 것을 막기위해서이다. 기존에 구성된 학습데이터를 통해 현재 영상에서 발생하는 이동 객체들을 SVM 알고리즘으로 분류한다. 이동 객체의 종류는 총 10 프레임의 분류 결과를 통해 최대빈도를 발생시킨 대상으로 최종 분류한다.
우선 입력영상에서 이동물체를 탐지하여 대상이 기존 객체인지의 여부를 판단한다. 해당 이동 물체의 영역이 기존 객체와 50%이상 일치하는 경우 기존 객체로서 결정된다.
제안된 지능형 다중화상 감시 시스템의 성능을 실험하기 위해 그림 8과 같은 다중화상 감시 시스템(쿼드 모드(고정카메라 3대와 PTZ 카메라 1대))을 설치하여 실험하였다. 보행자와 차량, 기타 움직임이 발생하는 객체에 대해 각각 20개의 학습 데이터를 수집하였으며, 최대한 다양한 조건의 실외환경에서 촬영된 영상을 활용하였다.
자동차 검출 실험을 위해서는 총 7개의 동영상을 사용하였다. 차량이 식별되는 프레임에서 차량이 정확히 분류되는지 검증하기 위해 정검출, 오검출 횟수를 측정하였다. 표 5는 카메라 영상에서 측정되어야하는 차량의 총 프레임 수 2090장을 기준으로 분류된 측정 결과이다.

대상 데이터

제안된 지능형 다중화상 감시 시스템의 성능을 실험하기 위해 그림 8과 같은 다중화상 감시 시스템(쿼드 모드(고정카메라 3대와 PTZ 카메라 1대))을 설치하여 실험하였다. 보행자와 차량, 기타 움직임이 발생하는 객체에 대해 각각 20개의 학습 데이터를 수집하였으며, 최대한 다양한 조건의 실외환경에서 촬영된 영상을 활용하였다. 표 2는 본 SVM 학습을 위해 구성한 학습데이터에서 각각의 종류별로 계산된 평균적인 특징 데이터를 보여주고 있다.
SVM은 학습데이터의 양이 제한되어있을 때 높은 효율을 보이는 분류 알고리즘이다. 본 논문에서는 실제 화상감시 시스템이 설치된 카메라에서 촬영된 영상을 통해 직접 학습 데이터를 수집하였다. 식 (4)와 같이 학습 데이터 수집을 위해 이동 물체 검출 알고리즘을 통해 이동 중인 2차원 상의 i번째 학습 샘플의 객체에 대해 종횡비 AR_i, 면적 A_i, 밝기값 분산 σ_i², 속도 V_i을 계산한 벡터형식의 학습데이터를 저장한다.
실제 학습데이터에서 객체의 종류별로 다른 종횡비, 면적, 분산, 속도 값을 가진다는 것을 확인할 수 있다. 실험 영상은 다중 화상 감시 시스템을 구성하는 카메라를 이용해 도로가 존재하는 실외 환경을 기준으로 다른 배율과 시간, 날씨 상황에서 영상을 획득하였다. 총 10개의 동영상에 대해 실험하였다.
자동차 검출 실험을 위해서는 총 7개의 동영상을 사용하였다. 차량이 식별되는 프레임에서 차량이 정확히 분류되는지 검증하기 위해 정검출, 오검출 횟수를 측정하였다.
실험 영상은 다중 화상 감시 시스템을 구성하는 카메라를 이용해 도로가 존재하는 실외 환경을 기준으로 다른 배율과 시간, 날씨 상황에서 영상을 획득하였다. 총 10개의 동영상에 대해 실험하였다.

이론/모형

객체의 종류는 분류 중요성이 가장 큰 보행자, 차량(승용차, 트럭, 오토바이 등), 기타(흔들리는 나뭇가지, 동물 등) 세 종류로 나누었으며, 객체들의 특징은 실외환경에서 나타나는 날씨의 변화, 시간의 변화에 무관한 특성들을 선택하였다. 이러한 종류의 객체들을 분류하기 위해 본 논문에서는 SVM(Support Vector Machine)[6]을 활용하였다. SVM은 학습데이터의 양이 제한되어있을 때 높은 효율을 보이는 분류 알고리즘이다.

성능/효과

실제 보행자가 존재하는 전체 프레임에서 TP의 개수 비율을 통해 계산된 각 알고리즘에 대한 평균 검출율은 표 4와 같이 측정되었다. A, B 알고리즘은 모두 HOG+SVM을 사용하기 때문에 50% 정도의 비슷한 검출율을 보여주고 있으며, Haar+Cascade을 사용한 D 알고리즘은 20% 이내 의 매우 낮은 검출율을 보여준다.
각 알고리즘 별로 측정된 TP(True Positive)의 개수를 통해 실제 알고리즘에 대한 검출율을 계산하면 그림 10과 같다. 비교적 검출율이 좋은 C(HOG+Cascade) 알고리즘보다 본 논문에서 제안한 방법이 높은 성능을 보이는 것을 확인할 수 있다. 실제 보행자가 존재하는 전체 프레임에서 TP의 개수 비율을 통해 계산된 각 알고리즘에 대한 평균 검출율은 표 4와 같이 측정되었다.
표 2는 본 SVM 학습을 위해 구성한 학습데이터에서 각각의 종류별로 계산된 평균적인 특징 데이터를 보여주고 있다. 실제 학습데이터에서 객체의 종류별로 다른 종횡비, 면적, 분산, 속도 값을 가진다는 것을 확인할 수 있다. 실험 영상은 다중 화상 감시 시스템을 구성하는 카메라를 이용해 도로가 존재하는 실외 환경을 기준으로 다른 배율과 시간, 날씨 상황에서 영상을 획득하였다.

후속연구

추후에는 객체 분류의 결과를 세 가지 종류가 아닌 대분류와 소분류를 나눠서 보행자는 솔로와 그룹, 차량은 차종에 따라 총 네 종류 이상의 검출 결과를 생성할 예정이다. 기존의 방식에 추가적인 특징정보를 활용한다면 이후 분류과정을 통해 다양한 객체를 분류할 수 있을 것으로 예상된다. 이렇게 실외환경에서 발생할 수 있는 다양한 객체를 분류한다면 감시시스템에서 중요한 대상으로 지정된 특정 객체를 집중적으로 감시하도록 정책을 구성하는 것도 가능할 것이다.
실외 환경 영상에서 검출될 수 있는 물체의 종류는 실내 환경에 비해 다양하다. 본 논문에서는 도로가 포함된 외부환경에서 검출된 이동물체를 대상으로 분류하기 때문이 이 대상을 명확하게 규정할 필요가 있다. 표 1은 실외 환경에서 검출될 수 있는 객체의 종류와 특징을 기술한 내용이다.
기존의 방식에 추가적인 특징정보를 활용한다면 이후 분류과정을 통해 다양한 객체를 분류할 수 있을 것으로 예상된다. 이렇게 실외환경에서 발생할 수 있는 다양한 객체를 분류한다면 감시시스템에서 중요한 대상으로 지정된 특정 객체를 집중적으로 감시하도록 정책을 구성하는 것도 가능할 것이다.
제안된 지능형 다중화상 감시 시스템을 활용하여 고정된 카메라 영상의 이동 객체를 정확하게 검출하고, 분류한다면 불필요한 상황에서의 PTZ 카메라 동작을 줄일 수 있을 것이며, 이러한 감시 시스템의 설치 환경에 따라 원하는 대상(보행자, 차량)을 선택적으로 추적하도록 카메라 운용 정책을 설정할 수 있을 것이다. 이는 범죄를 예방하고 상황을 식별하는 유용한 정보로서활용될 수 있다.
추후에는 객체 분류의 결과를 세 가지 종류가 아닌 대분류와 소분류를 나눠서 보행자는 솔로와 그룹, 차량은 차종에 따라 총 네 종류 이상의 검출 결과를 생성할 예정이다. 기존의 방식에 추가적인 특징정보를 활용한다면 이후 분류과정을 통해 다양한 객체를 분류할 수 있을 것으로 예상된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	지능형 다중 화상감시시스템이란?	본 논문에서는 지능형 다중 화상감시시스템에 응용할 수 있는 움직이는 물체 추적 및 보행자/차량 인식 방법을 제안한다. 지능형 다중 화상감시시스템은 다수의 고정형 카메라와 한 대의 PTZ 카메라로 구성되며, 고정형 카메라에서 검출된 움직이는 물체들을 PTZ 카메라로 팬/틸트/줌 제어하고, 보행자인지 또는 차량인지를 자동으로 인식한다. 넓은 영역을 감시하는 고정된 카메라에서 검출된 물체는 너무 작고, 변별력이 떨어지는 문제가 있다.
	지능형 다중 화상감시시스템의 문제점은 무엇인가?	지능형 다중 화상감시시스템은 다수의 고정형 카메라와 한 대의 PTZ 카메라로 구성되며, 고정형 카메라에서 검출된 움직이는 물체들을 PTZ 카메라로 팬/틸트/줌 제어하고, 보행자인지 또는 차량인지를 자동으로 인식한다. 넓은 영역을 감시하는 고정된 카메라에서 검출된 물체는 너무 작고, 변별력이 떨어지는 문제가 있다. 이러한 문제를 극복하기 위해 PTZ 카메라를 통한 특정 움직이는 물체를 팬/틸트/줌인 제어함으로써 움직이는 물체의 변별력과 감시성능을 높일 수 있다.
	이동 픽셀을 객체로 구성하기 위한 방법은?	하지만 이렇게 구해진 이동 픽셀들은 하나의 객체 단위로 구성하기에는 균일한 픽셀 정보가 포함되지 않는다. 그렇기 때문에 비어있는 공간을 배제하고 검출된 각각의 이동 픽셀을 연결요소(Connected Components) 방식의 라벨링을 통해 각각의 객체 영역으로 분리한다. 하나의 검출된 객체영역을 R로 가정하고 이 영역에 있는 픽셀들을 식 (1)과 같이 각각의 움직이는 객체들을 입력영상(In(x))과 배경영상(Bn(x))의 차영상을 통해 최종적인 움직임이 있는 객체로 검출한다.

참고문헌 (10)

TechNavio, "Global Intelligent Video Analytics Market 2014-2018", pp. 1-52, May. 2014.
Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and aMachine Intelligence, vol. 22, no. 11 pp.1330-1334, 2000.

상세보기
G. S. Kim, S. Lee, J. S. Park, and J. S. Cho, "Study on Effective Visual Surveillance System using Dual-mode (Fixed+Pan/Tilt/Zoom) Camera", Journal of Institute of Control, vol. 18, no. 4, pp.650-657, 2012.
A. Yilmaz, O. Javed, and M. Shah, "Object Tracking: A Survey", ACM Comput. Surv. 38, 4, Article 13, Dec. 2006.

상세보기
Robert T. Collins, etc, "A System for Video Surveillance and Monitoring", The Robotics Institute, Carnegie Mellon University, Pittsburgh PA, 2000.
Cortes, Corinna and Vapnik, "Support-Vector Networks", Machine Learning, 20, 1995.

상세보기
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection", CVPR 2005.
Q. Zhu, M.-C. Yeh, K.-T. Cheng, and S. Avidan. "Fast human detection using a cascade of histograms of oriented gradients", CVPR, 2006.
P. Viola and M. J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", CVPR, 2001.
H. Kruppa, M. Castrillon-Santana, and B. Schiele, "Fast and Robust Face Finding via Local Context.", Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance", 2003.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증