본 논문에서는 다시점 카메라 환경에서 비디오 압축 도메인의 이동체 검출 및 추적 방법을 제안한다. 비디오 압축 비트열로부터 추출된 움직임 벡터와 블록 모드를 기반으로 이동블록 검증 및 라벨링, 이웃 blob 결합 알고리즘을 제안한다. 또한, 단일시점 및 다시점 환경에서 이동체의 일시 정지, 교차, 겹침시에도 지속적인 추적이 가능한 일정 시간 구간내 이동체 정보 갱신 기법을 제안한다. 기준 카메라 화면에 나타나지 않는 이동체는 다른 카메라 화면의 이동체 위치로부터 기준 카메라 화면상 좌표로 변환하여 참조하였다. 제안 기법의 성능은 부호기의 움직임 벡터 정밀도에 의존적인데, 두 대의 카메라 환경에서 H.264 JM15.1 압축 비트열로부터 복호화 없이 평균 89%와 84%의 검출률과 추적률을 보였다. 또한, 물체의 일시 정지, 교차, 겹침시에도 지속적인 이동체 검출 및 추적이 가능하며, 단일시점 환경에 비해 다시점 환경에서 평균 6%의 검출률과 7%의 추적률 개선을 확인할 수 있었다.
본 논문에서는 다시점 카메라 환경에서 비디오 압축 도메인의 이동체 검출 및 추적 방법을 제안한다. 비디오 압축 비트열로부터 추출된 움직임 벡터와 블록 모드를 기반으로 이동블록 검증 및 라벨링, 이웃 blob 결합 알고리즘을 제안한다. 또한, 단일시점 및 다시점 환경에서 이동체의 일시 정지, 교차, 겹침시에도 지속적인 추적이 가능한 일정 시간 구간내 이동체 정보 갱신 기법을 제안한다. 기준 카메라 화면에 나타나지 않는 이동체는 다른 카메라 화면의 이동체 위치로부터 기준 카메라 화면상 좌표로 변환하여 참조하였다. 제안 기법의 성능은 부호기의 움직임 벡터 정밀도에 의존적인데, 두 대의 카메라 환경에서 H.264 JM15.1 압축 비트열로부터 복호화 없이 평균 89%와 84%의 검출률과 추적률을 보였다. 또한, 물체의 일시 정지, 교차, 겹침시에도 지속적인 이동체 검출 및 추적이 가능하며, 단일시점 환경에 비해 다시점 환경에서 평균 6%의 검출률과 7%의 추적률 개선을 확인할 수 있었다.
In this paper, we propose a moving object detection and tracking method for multi-view camera environment. Based on the similarity and characteristics of motion vectors and coding block modes extracted from compressed bitstreams, validation of moving blocks, labeling of the validated blocks, and mer...
In this paper, we propose a moving object detection and tracking method for multi-view camera environment. Based on the similarity and characteristics of motion vectors and coding block modes extracted from compressed bitstreams, validation of moving blocks, labeling of the validated blocks, and merging of neighboring blobs are performed. To continuously track objects for temporary stop, crossing, and overlapping events, a window based object updating algorithm is proposed for single- and multi-view environments. Object detection and tracking could be performed with an acceptable level of performance without decoding of video bitstreams for normal, temporary stop, crossing, and overlapping cases. The rates of detection and tracking are over 89% and 84% in multi-view environment, respectively. The rates for multi-view environment are improved by 6% and 7% compared to those of single-view environment.
In this paper, we propose a moving object detection and tracking method for multi-view camera environment. Based on the similarity and characteristics of motion vectors and coding block modes extracted from compressed bitstreams, validation of moving blocks, labeling of the validated blocks, and merging of neighboring blobs are performed. To continuously track objects for temporary stop, crossing, and overlapping events, a window based object updating algorithm is proposed for single- and multi-view environments. Object detection and tracking could be performed with an acceptable level of performance without decoding of video bitstreams for normal, temporary stop, crossing, and overlapping cases. The rates of detection and tracking are over 89% and 84% in multi-view environment, respectively. The rates for multi-view environment are improved by 6% and 7% compared to those of single-view environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 다시점 카메라 환경에서 H.264/AVC비디오 압축 도메인에서 이동체의 검출 및 추적 방법을 제안한다. 본 논문의 구성은 다음과 같다.
본 논문에서는 비디오 압축 도메인에서 다시점 카메라 기반의 이동체 검출 및 추적 방법을 제안하였다. 네트워크 카메라로부터 수신된 비디오 압축 비트열로 부터 움직임 벡터와 블록 모드를 추출하고, 이를 기반으로 한 이동블록 검증 및 라벨링, 이웃 blob 결합 알고리즘을 제안하였다.
따라서, 이동체 검출시 어떠한 움직임 벡터들이 실제 이동체의 움직임을 나타내는지 검증이 필요하다. 본 논문에서는 현재 블록과 참조블록의 움직임 벡터의 크기 및 각도, 사용된 블록 분할 모드들을 비교하여 현재 블록의 이동체 포함 여부를 검증한다.
본 절에서는 다시점 카메라 환경에서 압축 도메인의 이동체 검출 및 추적 방법을 제안한다. 압축 도메인 에서 단일 카메라 기반 움직임 벡터와 블록 모드를 사용한 이동체 검출 및 추적 기법을 제안하고, 다시점 카메라 사이의 호모그래피 변환 관계를 이용한 이동체 검출 및 추적 성능 향상 기법을 제안한다.
본 절에서는 동일 공간을 촬영하는 다시점 카메라 환경에서 물체간 교차와 겹침을 극복하기 위해 각 카메라별 이동체 검출 및 추적 결과를 융합하는 기법을 제안한다. 본 논문에서는 고정된 다시점 카메라 환경을 고려하며, 영상의 기준 평면에 마킹된 특징점을 이용하여 카메라 영상간 선형변환 관계인 호모그래피 행렬을 추정하였다.
3-1절에서 제안한 이동블록 결정 기법은 각 블록위치에서 이동체 존재 여부만을 판단한다. 본 절에서는 이동체의 이동 궤적이나 검출된 물체 수의 인지를 위한 이동블럭 라벨링 기반 이동체 검출 및 추적 기법을 제안한다.
제안 방법
[3]에서는 P16x16와 MB_SKIP 모드 블록들은 배경으로 판단하였고, 다른 모드 블록들은 이동체 후보 블록으로 판단하였다. 검출된 이동체 후보 블록들과 주변 블록에 대하여 가중치 윈도우를 적용한 후 인접 프레임과의 차가 임계값 이내인 블록들에 대하여 blob merging과 convex hull fitting을 적용하여 이동체 검출을 수행하였다. [4]에서는 블록 분할 모드와 움직임 벡터를 결합한 이동체 검출 기법을 제안하였는데, 기존의 움직임 벡터 기반의 이동체 검출 기법과[1],[2] 블록 모드 정보를 결합하여 이동체를 판단하였다.
본 논문에서는 비디오 압축 도메인에서 다시점 카메라 기반의 이동체 검출 및 추적 방법을 제안하였다. 네트워크 카메라로부터 수신된 비디오 압축 비트열로 부터 움직임 벡터와 블록 모드를 추출하고, 이를 기반으로 한 이동블록 검증 및 라벨링, 이웃 blob 결합 알고리즘을 제안하였다. 또한, 단일시점 환경과 다시점환경에서 이동체의 일시 정지, 교차, 겹침시에도 지속적인 이동체 추적이 가능하도록 일정 시간 구간 안에 이동체 정보를 갱신하는 기법을 제안하였다.
본 논문에서는 고정된 다시점 카메라 환경을 고려하며, 영상의 기준 평면에 마킹된 특징점을 이용하여 카메라 영상간 선형변환 관계인 호모그래피 행렬을 추정하였다. 다음으로 다시점 환경에서 이동체 검출 및 추적을 위해 먼저 각 단일 시점 카메라의 압축비트열로부터 이동체 검출을 수행한다. 이후 호모그래피 변환 관계를 이용하여 한 카메라 영상내 이동체 좌표를 다른 카메라 영상으로 변환하고, 다른 카메라 영상내 이동체의 좌표와 비교를 수행한다.
네트워크 카메라로부터 수신된 비디오 압축 비트열로 부터 움직임 벡터와 블록 모드를 추출하고, 이를 기반으로 한 이동블록 검증 및 라벨링, 이웃 blob 결합 알고리즘을 제안하였다. 또한, 단일시점 환경과 다시점환경에서 이동체의 일시 정지, 교차, 겹침시에도 지속적인 이동체 추적이 가능하도록 일정 시간 구간 안에 이동체 정보를 갱신하는 기법을 제안하였다. 다시점 환경에서는 기준 카메라 화면에 나타나지 않는 이동체를 다른 카메라 화면의 이동체 위치로부터 기준 카메라 화면상 좌표로 변환하여 참조하였다.
본 절에서는 동일 공간을 촬영하는 다시점 카메라 환경에서 물체간 교차와 겹침을 극복하기 위해 각 카메라별 이동체 검출 및 추적 결과를 융합하는 기법을 제안한다. 본 논문에서는 고정된 다시점 카메라 환경을 고려하며, 영상의 기준 평면에 마킹된 특징점을 이용하여 카메라 영상간 선형변환 관계인 호모그래피 행렬을 추정하였다. 다음으로 다시점 환경에서 이동체 검출 및 추적을 위해 먼저 각 단일 시점 카메라의 압축비트열로부터 이동체 검출을 수행한다.
본 절에서는 다시점 카메라 환경에서 압축 도메인의 이동체 검출 및 추적 방법을 제안한다. 압축 도메인 에서 단일 카메라 기반 움직임 벡터와 블록 모드를 사용한 이동체 검출 및 추적 기법을 제안하고, 다시점 카메라 사이의 호모그래피 변환 관계를 이용한 이동체 검출 및 추적 성능 향상 기법을 제안한다.
압축 비트열 생성을 위해 H.264/AVC JM 15.1을 이용하여 시퀀스를 baseline 프로파일로 부호화하였고, ±16 탐색영역에 대해 정수화소 기반의 움직임 탐색을 사용하였다.
움직임 벡터의 대표값 설정 후 블록의 움직임 벡터를 검증하기 위하여 현재 프레임과 참조 프레임의 움직임 벡터 대표값 간의 비교를 수행한다. 이때, P16x16 및 PSKIP의 모드를 갖는 블록들은 움직임 벡터 검증을 하지 않는다.
그러나, 임의의 매크로블록의 움직임 벡터 검증시 참조블록의 움직임 벡터와 비교가 필요한데, 블록 크기의 통일이 필요하다. 이를 해결하기 위해 본 논문에서는 다양한 크기의 블록들을 H.264/AVC에서 지원하는 최소 블록 단위인 4x4 크기로 정규화하였다. 그림 2는 16x8 크기의 블록을 8개의 4x4 블록으로 분할되고, 각 분할 블록들에게 모두 16x8 블록의 움직임 벡터를 할당하는 정규화 과정을 보여준다.
다음으로 다시점 환경에서 이동체 검출 및 추적을 위해 먼저 각 단일 시점 카메라의 압축비트열로부터 이동체 검출을 수행한다. 이후 호모그래피 변환 관계를 이용하여 한 카메라 영상내 이동체 좌표를 다른 카메라 영상으로 변환하고, 다른 카메라 영상내 이동체의 좌표와 비교를 수행한다. 일반적인 경우에는 단일 시점 카메라에 비하여 다시점 카메라의 장점이 드러나지 않는다.
제안된 압축 도메인에서 다시점 카메라 기반 이동체 검출 및 추적 알고리즘의 성능 검증을 위해 두 개의 카메라를 이용하여 QVGA 해상도의 30Hz 다시점 비디오 시퀀스를 촬영하였다. 압축 비트열 생성을 위해 H.
대상 데이터
현재 프레임 상의 블록 B의 움직임 벡터는 참조블록 Bref의 움직임 벡터와 방향과 크기를 식(2)와 식(3)을 이용하여 검증한다. 검증된 블록은 이동블록으로, 임계 조건을 만족하지 못한 블록은 움직임이 존재하지 않는 정지블록으로 설정한다.
비디오압축 비트열에서 프레임 별로 블록당 움직임 벡터와 블록 모드 정보를 추출하고, 이를 프레임 단위로 저장하여 이후 절차에 사용한다. 본 논문에서는 B 프레임을 제외한 I, P 프레임만을 대상으로 하였다.
실험에 사용된 다시점 카메라 시퀀스들은 이동체의 멈춤과 교차를 포함하며, 구내 도로와 복도에 두 대의 카메라를 사용하여 촬영되었다. 영상은 400-500 프레임으로 구성되며, 3개의 시퀀스를 선택하여 실험에 사용하였다.
실험에 사용된 다시점 카메라 시퀀스들은 이동체의 멈춤과 교차를 포함하며, 구내 도로와 복도에 두 대의 카메라를 사용하여 촬영되었다. 영상은 400-500 프레임으로 구성되며, 3개의 시퀀스를 선택하여 실험에 사용하였다.
데이터처리
그림 9는 제안된 압축 도메인 기반 이동체 검출 및 추적 기법의 단계별 결과를 보여준다. 제안된 기법에 의해 설정된 이동블록들에 대해 8-연결 성분 (8-connected component) 라벨링을 수행한다. 그림 9(c)우측 중앙에 나타난 이동체는 실제 하나이나 두 개의 blob으로 나뉘어지는데, 이러한 현상은 비디오에서 불규칙하게 발생하여 지속적인 이동체 검출을 어렵게 한다.
성능/효과
[5],[6]에서는 픽셀 도메인에서 카메라간 호모그래피 정보를 이용하여 동일한 지점에 대한 각 영상의 좌표들을 기준 평면상에 변환하고, 이를 토대로 이동체 추적을 수행하였다. 그 결과 단일 카메라를 이용하는 경우에 비해 넓은 영역에 걸쳐 지속적으로 이동체 추적이 가능함을 보였다. 그러나, 비디오 압축 도메인에서의 다시점 기반 이동체 검출 및 추적에 대한 연구는 픽셀 도메인 기반의 연구에 비하여 많이 이루어지지 않았다.
그림 9(d)는 제안된 이웃 blob 결합 알고리즘에 의해 나뉘어졌던 blob들을 하나의 blob으로 결합한 결과이다. 그 결과 이동체에 대한 라벨 번호의 지속적인 할당이 가능하나, 이동체의 일시 정지와 교차 발생시 지속적인 이동체 추적을 위한 라벨 유지가 불가능하다.
264/AVC 압축 비트열로부터 복호화 없이 화면내 이동체 검출 및 추적이 가능함을 확인하였다. 또한, 물체의 일시 정지, 교차, 겹침시에도 지속적으로 이동체 검출 및 추적이 가능하며, 단일시점 환경에 비해 카메라 두 대를 이용한 다시점 환경에서 약 6~7%의 검출 및 추적 성능 개선을 확인할 수 있었다.
성능 척도는 이동체가 존재하는 화면 수와 제안 방식 적용후 이동체가 정확히 검출된 화면 수의 비율이다. 모든 시퀀스와 view에 대해 압축 도메인에서 단일시점 환경에 비해 다시점 환경의 이동체 검출 및 추적 성능이 향상되었다.
모의실험을 통하여 H.264/AVC 압축 비트열로부터 복호화 없이 화면내 이동체 검출 및 추적이 가능함을 확인하였다. 또한, 물체의 일시 정지, 교차, 겹침시에도 지속적으로 이동체 검출 및 추적이 가능하며, 단일시점 환경에 비해 카메라 두 대를 이용한 다시점 환경에서 약 6~7%의 검출 및 추적 성능 개선을 확인할 수 있었다.
그림 11은 view 1과 view 2 사이의 호모그래피 변환 관계에 기반하여 다시점 환경의 물체 정보 갱신 알고리즘을 적용한 결과를 나타낸다. 제안된 방식에 의해 view 1에서도 물체 정지 및 겹침시 이동체 정보를 지속적으로 유지하고 있음을 확인할 수 있다.
제안된 비디오 압축 도메인에서 다시점 카메라 기반 이동체 검출 및 추적 기법은 기존의 픽셀 도메인 방식에 비하여 연산량을 감소시킬 수 있으며, 네트워크 카메라 기반의 영상보안 시스템에 적용할 수 있다.
후속연구
본 논문에서는 두 대의 카메라 기반의 다시점 환경을 구성하였으나, 보다 많은 수의 카메라 사용시 정확도는 더 개선될 것으로 예상된다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존의 압축 도메인의 이동체 검출을 위해 움직임 벡터와 DCT 계수 사용시 어떤 단점이 있는가?
이와 같은 접근방식은 비디오 부호화와 이동체 검출 및 추적 연산을 같이 처리하는 네트워크 카메라의 가격을 감소시킬 수 있으며, 중앙 서버에서 비디오 분석을 처리하는 경우 서버에 집중되는 연산의 부하를 감소시킬 수 있다. 기존의 압축 도메인의 이동체 검출 연구들은 움직임 벡터와 DCT 계수 등을 사용하였으나, 단일 카메라 환경의 제한된 화각으로 인해 이동체간 겹침과 교차 발생시 지속적인 이동체의 검출 및 추적이 어려웠다.
비디오 압축과 저장을 중앙 집중형으로 수행하는 구조의 영상 기반 보안 감시 시스템은 무엇이 필수적인가?
그러나, 최근 들어 영상 기반 보안 감시 시스템은 비디오 압축과 저장을 중앙 집중형으로 수행하는 구조로 진화하고 있으며, 압축 및 전송이 가능한 네트워크 카메라들과 다채널 수신, 저장, 모니터링이 가능한 서버로 구성된다. 수신 서버는 카메라에서 전송한 압축된 비트열을 수신하기 때문에, 이들 영상들에 기존 픽셀 도메인 처리 방식을 적용하기 위해서는 영상의 복호화 과정이 필수적이다.
압축 도메인 처리 방법의 장점은?
26x 등 최근 동영상 압축에 많이 사용되어지는 코덱들은 부호화 과정에서 움직임 벡터, DCT계수 등의 정보가 생성되며, 이들을 이동체 검출, 위치 파악 및 추적에 활용하는 연구가 시작되었다. 이러한 압축 도메인 처리 방법은 압축 영상의 복호가 필요없으므로, 기존 픽셀 도메인 기법에 비해 연산량을 감소시킬 수 있다. 이와 같은 접근방식은 비디오 부호화와 이동체 검출 및 추적 연산을 같이 처리하는 네트워크 카메라의 가격을 감소시킬 수 있으며, 중앙 서버에서 비디오 분석을 처리하는 경우 서버에 집중되는 연산의 부하를 감소시킬 수 있다. 기존의 압축 도메인의 이동체 검출 연구들은 움직임 벡터와 DCT 계수 등을 사용하였으나, 단일 카메라 환경의 제한된 화각으로 인해 이동체간 겹침과 교차 발생시 지속적인 이동체의 검출 및 추적이 어려웠다.
참고문헌 (6)
S. K. Kapotas and A. N. Skodras, "Moving object detect ion in the H.264 compressed domain", IEEE Internat ional Conference on Imaging Systems and Techniques (IST), pp. 325-328, July 2010.
K. Szczerba, S. Forchhammer, J. Stottrup-Andersen, and P.T. Eybye, "Fast Compressed Domain Motion Detection in H.264 Video Streams for Video Surveill ance Applications", The Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance, pp. 478-483, Sept. 2009.
S. Verstockt, S. D. Bruyne, C. Poppe, P. Lambert, and R. V. Walle, "Multi-view Object Localization in H.2 64/AVC Compressed Domain", The Sixth IEEE Inter national Conference on Advanced Video and Signal Based Surveillance, pp. 370-374, Sept. 2009.
Q. Zhou, and Z. Liu, "Moving object detection algorithm for H.264/AVC compressed video stream", ISECS Int ernational Colloquium on Computing, Communication, Control, and Management, pp. 186-189, Aug. 2009.
A.C. Sankaranarayanan, and R. Chellappa, "Optimal Mul ti-View Fusion of Object Location", IEEE Workshop on Motion and video Computing, pp. 1-8, Jan. 2009
A.C. Sankaranarayanan, A. Veeraraghavan, and R. Chel lappa, "Object Detection, Tracking and Recognition for Multiple Smart Cameras", Proceeding of the IEEE, vol. 96, pp. 1606-1624, Oct. 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.