본 논문에서는 블록 기반 실시간 계수 시스템을 제안한다. 계수 시스템은 쇼핑몰이나 대형건물의 출입구, 엘리베이터, 에스컬레이터 등과 같은 다양한 환경에 적용될 수 있다. 본 논문의 핵심은 세 부분으로 구분 할 수 있다. 첫째, 환경 변화에 강인한 배경 제거 기법, 둘째, 학습을 이용한 블록 기반 계수 결정 방법, 마지막으로 4 채널에서 실시간으로 처리가 가능한 시스템 구현이다. 환경 변화에 강인한 배경 제거 기법으로 MOG(mixture of gaussian) 방법을 적용하였으며, 블록 기반 계수 결정 방법은 영상을 $6{\times}12$개의 영역으로 구분하고, 학습 영상을 이용하여 각각의 블록에서 물체의 크기에 대한 평균과 분산을 계산하고 이를 저장하여 계수에 적용하는 방법을 제안하였으며, 마지막으로 4 채널에서 실시간으로 처리 하기 위하여 추출된 물체 각각을 구분하여 추적하는 것이 아니라 물체가 이동 중에 발생할 수 있는 여러 상황 즉 결합이나 분리되는 현상을 분석하여 계수 판단에 적용하였다. 제안된 방법을 이용하여 에스컬레이터, 복도 그리고 출입문등과 같이 조명환경과 그림자 상황 등이 변하는 환경에서 의 계수 정확도는 $90{\sim}94%$, 채널 당 처리 속도는 15 frames/sec 이상의 성능을 보였다.
본 논문에서는 블록 기반 실시간 계수 시스템을 제안한다. 계수 시스템은 쇼핑몰이나 대형건물의 출입구, 엘리베이터, 에스컬레이터 등과 같은 다양한 환경에 적용될 수 있다. 본 논문의 핵심은 세 부분으로 구분 할 수 있다. 첫째, 환경 변화에 강인한 배경 제거 기법, 둘째, 학습을 이용한 블록 기반 계수 결정 방법, 마지막으로 4 채널에서 실시간으로 처리가 가능한 시스템 구현이다. 환경 변화에 강인한 배경 제거 기법으로 MOG(mixture of gaussian) 방법을 적용하였으며, 블록 기반 계수 결정 방법은 영상을 $6{\times}12$개의 영역으로 구분하고, 학습 영상을 이용하여 각각의 블록에서 물체의 크기에 대한 평균과 분산을 계산하고 이를 저장하여 계수에 적용하는 방법을 제안하였으며, 마지막으로 4 채널에서 실시간으로 처리 하기 위하여 추출된 물체 각각을 구분하여 추적하는 것이 아니라 물체가 이동 중에 발생할 수 있는 여러 상황 즉 결합이나 분리되는 현상을 분석하여 계수 판단에 적용하였다. 제안된 방법을 이용하여 에스컬레이터, 복도 그리고 출입문등과 같이 조명환경과 그림자 상황 등이 변하는 환경에서 의 계수 정확도는 $90{\sim}94%$, 채널 당 처리 속도는 15 frames/sec 이상의 성능을 보였다.
In this paper, we propose a block-based real-time people counting system that can be used in various environments including showing mall entrances, elevators and escalators. The main contributions of this paper are robust background subtraction, the block-based decision method and real-time processi...
In this paper, we propose a block-based real-time people counting system that can be used in various environments including showing mall entrances, elevators and escalators. The main contributions of this paper are robust background subtraction, the block-based decision method and real-time processing. For robust background subtraction obtained from a number of image sequences, we used a mixture of K Gaussian. The block-based decision method was used to determine the size of the given objects (moving people) in each block. We divided the images into $6{\times}12$ blocks and trained the mean and variance values of the specific objects in each block. This was done in order to provide real-time processing for up to 4 channels. Finally, we analyzed various actions that can occur with moving people in real world environments.
In this paper, we propose a block-based real-time people counting system that can be used in various environments including showing mall entrances, elevators and escalators. The main contributions of this paper are robust background subtraction, the block-based decision method and real-time processing. For robust background subtraction obtained from a number of image sequences, we used a mixture of K Gaussian. The block-based decision method was used to determine the size of the given objects (moving people) in each block. We divided the images into $6{\times}12$ blocks and trained the mean and variance values of the specific objects in each block. This was done in order to provide real-time processing for up to 4 channels. Finally, we analyzed various actions that can occur with moving people in real world environments.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
수식 4와 5는 프레임 간 차 영상을 구하는 식이고, 수식 5는 구한 각각의 차 영상을 OR 연산을 통하여 합하는 과정을 보여준다. OR 연산을 이용하여 영상을 처리하는 이유는 움직임이 적은 물체에 대해서도 효과적으로 움직임을 검출하기 위해서이다.
본 논문에서는 다양한 환경, 예를 들어 건물의 출입구, 엘리베이터 혹은 에스컬레이터 등과 같이 다수의 사람들이 출입하고, 배경의 변화 또한 급격하게 변할 수 있는 상황에 대하여 문제점을 분석하고 해결하기 위하여 다음의 세 부분에 중점을 두어 연구하였다. 첫 째, 환경의 변화에 강인한 배경 제거 및 갱신을 위한 방법으로 MOG(mixture of gaussian) 방법을 이용하였다.
본 연구는 대형 상가의 출입구, 에스컬레이터 그리고 엘리베이터 등과 같이 다수의 사람이 동시에 출입하는 장소의 천정에 카메라를 설치하여 이동하는 사람을 계수하고 동선을 파악함으로써 출입자 감시, 건물의 관리 및 마케팅 자료로 이용될 수 있는 시스템을 개발하였다.
본 연구에서는 기존의 연구에서 문제가 되었던 처리속도 및 정확도 문제를 개선하기 위해 블록 기반 출입자 계수 시스템을 제안하였다. 영상을 6x12 블록으로 나누어 각 블록에 해당하는 사람의 크기를 미리 학습시킨 후에 테이블로 저장하여 통과하는 물체의 크기를 판단하는 방법을 제안하였다.
마지막으로 움직이는 물체 사이에는 서로 결합 되거나 분리되는 현상이 빈번하게 발생되는데 이러한 상황을 분석하여 객체 각각을 추적하는 것이 아니라 분리되거나 결합된 물체를 하나의 물체로 보고 추적함으로써 영상처리시간을 단축하여 실시간으로 4 channels에서 물체를 추출하고 추적하였다. 본론에서는 출입자 계수 시스템 전체의 구성과 각 부분별 세부 알고리즘을 보이고, 실험 결과에서는 다양한 환경에서 획득한 영상을 이용하여 계수 성능 및 평가를 보이도록 하겠다.
즉 영상에서 고주파 성분을 버리고 순수한 저주파 성분만을 이용함으로써 하나는 영상 내에 잡음 성분을 제거하기 위함이고, 다른 하나는 lLL' 영역만을 이용함으로써 다운(32OX24O=>16OX12O) 샘플링 효과를 얻어 향후 처리 과정에서 그 속도를 향상 시키고자 함에 목적이 있다.
가설 설정
3s인 장소로 정하였다. h 는 150~ 180cm로 가정하고 실험하였으며, 실험에서 사용한 카메라는 일반 컬러 CCD 카메라에 2.8mm 렌즈를 장착하여 실험하였다.
실험 환경은 천정에서 바닥까지의 높이가 H인 위치에 바닥면과 수직으로 카메라를 설치하고, 사람의 평균신장은 라 가정하고 실험하였다. 실제 실험 장소는 그림 7에서 보는 세 지역을 선택하였으며 각각의 환경은 외부의 빛, 조명의 변화 그리고 그림자의 영향이 큰 곳으로 선택하였고 바닥에서 카메라가 설치된 천정까지의 높이 H 는 각각 3.
제안 방법
모델링 하였다?3 본 연구에서는 대부분의 실험 영상들이 건물 내부 환경에서 획득한 영상이므로 7f=3 으로 적용하여 참조 배경 영상을 얻었다. 그러나 실제 외부 환경인 경우에도 특수한 경우 예를 들어 나뭇잎이 바람에 흔들리는 경우나 수면 위 같은 장소를 제외하고는 K=3인 값을 이용하여 배경을 모델링 하여도 내부환경에서와 동일한 결과를 보였다.
프레임(Z—2, i-1, t) 사이의 차 정보를 추가적으로 처리하는 과정이다. 그러나 프레임 간의 차 영상 정보를 사용하여도 순간적으로 변하는 조명이나 빛에 의한 4/(7의 효과로 인한 변화는 제거되지 않는데 이러한 영향까지 처리하기 위하여 그림자나 순간적인 밝기 변화를 검출할 수 있는 알고리즘을 적용하여 효과적으로 움직이는 물체 영역만을 검출 할 수 있었다. 마지막 단계는 최종적으로 처리한 결과 영상에 남아있는 잡음 성분과 추출되어진 물체 내에 포함된 크고 작은 구멍을 처리하기 위하여 과거에 주로 사용해온 형태학적 처리 필터를 사용하지 않았다.
다음으로 입력 영상에서 움직이는 물체를 추출하기 위한 단계로, N 개의 순수한 배경 영상을 이용하여 각 픽셀 별로 MOG 방법에 의해 참조 배경을 모델링 하게 되고 각각의 픽셀은 수식 1과 같은 K개의 가우 시안분포를 갖게 된다. 여기서 卬는 입력 영상, u는 평균 그리고、는 공분산을 나타낸다.
첫 째, 환경의 변화에 강인한 배경 제거 및 갱신을 위한 방법으로 MOG(mixture of gaussian) 방법을 이용하였다. 둘째, 천정에 설치된 카메라로부터 입력 받은 영상에서 물체의 크기는 영상 전체에서 동일한 크기와 변화량을 갖지 않는 다는 것에 착안하여 입력 영상을 6x12의 블록으로 나누고, 학습을 통하여 각각 블록에서 움직이는 물체의 크기를 평균과 분산으로 표현하여 저장하고 이를 이용하여 계수 판단에 적용하였다. 마지막으로 움직이는 물체 사이에는 서로 결합 되거나 분리되는 현상이 빈번하게 발생되는데 이러한 상황을 분석하여 객체 각각을 추적하는 것이 아니라 분리되거나 결합된 물체를 하나의 물체로 보고 추적함으로써 영상처리시간을 단축하여 실시간으로 4 channels에서 물체를 추출하고 추적하였다.
따라서 본 논문에서는 동일한 인원에 대하여 추출되어진 물체의 크기는 영상 전체에서 일정하지 않다고 가정하여 영상을 6x12의 블록으로 나누고 그림 5에서 보는 바와 같은 학습 영상을 이용하여 블록 별로 물체 크기에 대한 평균과 분산 값을 계산하여 테이블로 저장, 물체를 추적하는 동안 물체의 크기 정보를 'tag' 값으로 저장하여 최종적인 계수 판단 부분에서 ROI 영역을 통과하는 물체의 수를 판단하는 정보로 이용하여 보다 정확한 계수를 하였다.
따라서 본 논문에서는 물체 각각을 분리하여 관리하는 것이 아니라, 움직이는 물체의 특징을 분석하여 결합되거나 분리된 물체에 대하여 'tag' 정보를 주어 지속적으로 갱신하는 방법을 이용하였고, 각 물체는 ROI 영역으로 들어와서 나갈 때까지 그 정보를 유지하고 최종적 계수 판단 부분에서는 저장하고 있는 크기 정보와 함께 'tag' 정보를 계수함으로써 추가적인 영상처리 및 물체들 사이의 관계 분석 없이 빠르고 간단한 처리를 가능하게 하였다. 그림 6은 단방향과 양 방향으로 물체가 이동할 경우 물체에 ■tag' 정보를 어떻게 주고 또한 ROI 영역을 나갈 때 어떻게 'tag' 정보를 이용하여 계수 할 것인지에 대한 계략도이다.
따라서 각 영역이 출구를 벗어나는 시점에서 출구와 상반되는 'tag' 정보를 입구에 해당되는 'tag'로 이용하며 크기 정보에 해당되는 만큼의 사람 수를 계수하게 된다. 또한 출구를 벗어난 영역에 대한 중복 계수를 막기 위해서 영역의 계수 여부에 관한 정보를 갱신하는 방법을 이용 하였으며 출구 또는 입구 근처에서 발생하는 중첩현상을 완화하기 위하여 입구 또는 출구와 멀리 떨어져 있으며 720/에 포함되지 않은 영역은 제거함으로써 계수된 영역과 계수되지 않은 영역 사이의 중첩을 완화시켰다.
둘째, 천정에 설치된 카메라로부터 입력 받은 영상에서 물체의 크기는 영상 전체에서 동일한 크기와 변화량을 갖지 않는 다는 것에 착안하여 입력 영상을 6x12의 블록으로 나누고, 학습을 통하여 각각 블록에서 움직이는 물체의 크기를 평균과 분산으로 표현하여 저장하고 이를 이용하여 계수 판단에 적용하였다. 마지막으로 움직이는 물체 사이에는 서로 결합 되거나 분리되는 현상이 빈번하게 발생되는데 이러한 상황을 분석하여 객체 각각을 추적하는 것이 아니라 분리되거나 결합된 물체를 하나의 물체로 보고 추적함으로써 영상처리시간을 단축하여 실시간으로 4 channels에서 물체를 추출하고 추적하였다. 본론에서는 출입자 계수 시스템 전체의 구성과 각 부분별 세부 알고리즘을 보이고, 실험 결과에서는 다양한 환경에서 획득한 영상을 이용하여 계수 성능 및 평가를 보이도록 하겠다.
계수 시스템을 제안하였다. 영상을 6x12 블록으로 나누어 각 블록에 해당하는 사람의 크기를 미리 학습시킨 후에 테이블로 저장하여 통과하는 물체의 크기를 판단하는 방법을 제안하였다. 제안한 시스템은 사람 각각을 인식하여 추적하지 않고 단순하게 추출되어진 물체 덩어리를 추적함으로써 처리 속도를 향상시켰고, 블록별로 계산되어진 크기 정보를 이용함으로써 계수의 정확도 또한 향상시켰다.
된다. 이러한 에러 영역을 줄이고 보다 정확하게 움직이는 영역만을 추출하기 위해서 프레임 (t — 2, t-1, t} 간의 차 영상을 이용하였다. 수식 4와 5는 프레임 간 차 영상을 구하는 식이고, 수식 5는 구한 각각의 차 영상을 OR 연산을 통하여 합하는 과정을 보여준다.
제안한 수정된 마스크 방법은 이진 처리된 영상 (image)에 5x5주 마스크를 이동하면서 픽셀 값이 T 인 위치에서 마스크 내의 픽셀값을 계수하여 그 수가 많은.쪽으로 중심 픽셀 S, g) 값을 결정한다.
대상 데이터
각각의 환경에서 20, 000 frames의 영상을 이용하여 실험하였으며, 초기 50~200장은 순수한 배경영상으로 본 논문에서는 초기 10장의 영상을 이용하여 참조 배경 영상을 만들어 실험하였다. 참조 배경영상을 만들기 위하여 MOG 방법을 이용하여 배경 영상을 만들었으며, MOG는 means 알고리즘을 이용하여 구현하였다.
못하다. 따라서 본 논문에서는 그림 3과 같이 5X5 주 마스크(main-mask)와 3×3 부 마스크 (sub-mask)로 구성된 방법을 사용하였다.
라 가정하고 실험하였다. 실제 실험 장소는 그림 7에서 보는 세 지역을 선택하였으며 각각의 환경은 외부의 빛, 조명의 변화 그리고 그림자의 영향이 큰 곳으로 선택하였고 바닥에서 카메라가 설치된 천정까지의 높이 H 는 각각 3.1, 3.2, 3.3s인 장소로 정하였다. h 는 150~ 180cm로 가정하고 실험하였으며, 실험에서 사용한 카메라는 일반 컬러 CCD 카메라에 2.
이론/모형
본 논문에서는 모폴로지 과정을 보다 효과적으로 수행하기 위하여 마스크 방법을 이용하였다?0 그러나 [4] 에서 제안된 방법은 반복적인 마스크 작업을 필요로 하기 때문에 4 channels에서 실시간으로 처리하기에 적당하지 못하다. 따라서 본 논문에서는 그림 3과 같이 5X5 주 마스크(main-mask)와 3×3 부 마스크 (sub-mask)로 구성된 방법을 사용하였다.
영상을 만들어 실험하였다. 참조 배경영상을 만들기 위하여 MOG 방법을 이용하여 배경 영상을 만들었으며, MOG는 means 알고리즘을 이용하여 구현하였다. 표 1은 각각의 환경에서 계수 결과에 대한 에러를 백분율로 나타낸 것이다.
다음의 세 부분에 중점을 두어 연구하였다. 첫 째, 환경의 변화에 강인한 배경 제거 및 갱신을 위한 방법으로 MOG(mixture of gaussian) 방법을 이용하였다. 둘째, 천정에 설치된 카메라로부터 입력 받은 영상에서 물체의 크기는 영상 전체에서 동일한 크기와 변화량을 갖지 않는 다는 것에 착안하여 입력 영상을 6x12의 블록으로 나누고, 학습을 통하여 각각 블록에서 움직이는 물체의 크기를 평균과 분산으로 표현하여 저장하고 이를 이용하여 계수 판단에 적용하였다.
성능/효과
제안한 시스템은 사람 각각을 인식하여 추적하지 않고 단순하게 추출되어진 물체 덩어리를 추적함으로써 처리 속도를 향상시켰고, 블록별로 계산되어진 크기 정보를 이용함으로써 계수의 정확도 또한 향상시켰다. P4 3.2 GHz PC를 사용하였으며 처리 속도는 초당 20 -27 frames/sec를 보였으며, 계수 (counting) 의 정확도는 1명 혹은 2명이 이동하는 경우 100%, 3인 이상이 동시에 영상 내에서 움직이는 경우에도 약 90 -94% 정확도를 보였다.
많은 처리 시간이 소요되었다. 따라서 수정된 마스크 작업에서는 결정된 값이 '0'인 경우와 T인 경우를 분리하여 처리함으로써 처리 시간 단축에 많은 효과를 얻었다.
결과 영상을 보여준다. 또한 실험환경에서 이동하는 사람의 평균수는 각각의 환경에 따라 다르지만 대략적으로 0.03~0.04(명/프레임)의 통행량을 보여주었고, 개발된 시스템에서 동시에 추적 가능한 인원은 최대 32 명까지 가능하다.
과거에 사용되어진형태학적 처리 필터는 잡음과 작은 구멍 등은 처리 할 수 있었으나 비교적 큰 구멍이나, 동일한 물체가 잡음 성분에 의하여 분리된 경우 처리하는데 많은 어려움이 있었다. 본 연구에서는 기존의 형태학적 처리 방법이 아닌 마스크 방법을 이용하여 잡음 제거 및 검출된 물체 내에 생긴 작은 구멍을 처리하고, 비교적 큰 구멍까지도 효과적으로 처리 할 수 있었다.
여기서 얻은 프레임 간의 차 영상과 배경 영상을 이용하여 얻은 결과 영상에 AND 연산을 적용하여 정확하게 움직이는 물체를 검출 할 수 있었다. 여기서 프레임 사이의 차 결과와 배경과 현재 영상 사이의 차 결과는 '0'과 T의 값으로 표현되는데, , 4人刀나 07?의 의미는 각각의 결과를 이용하여 논리연산을 수행한 결과를 나타낸다.
영상을 6x12 블록으로 나누어 각 블록에 해당하는 사람의 크기를 미리 학습시킨 후에 테이블로 저장하여 통과하는 물체의 크기를 판단하는 방법을 제안하였다. 제안한 시스템은 사람 각각을 인식하여 추적하지 않고 단순하게 추출되어진 물체 덩어리를 추적함으로써 처리 속도를 향상시켰고, 블록별로 계산되어진 크기 정보를 이용함으로써 계수의 정확도 또한 향상시켰다. P4 3.
여기서 프레임 사이의 차 결과와 배경과 현재 영상 사이의 차 결과는 '0'과 T의 값으로 표현되는데, , 4人刀나 07?의 의미는 각각의 결과를 이용하여 논리연산을 수행한 결과를 나타낸다. 즉 AND 연산의 결과는 두 결과에서 T 인 부분만 T로 나타내고, OR 연산의 결과는 두 결과에서 하나라도 丁이면 T로 처리함을 의미한다.
후속연구
향후 추가적인 연구과제는 실제로 추출되어진 물체의 크기를 블록 별로 계산하는 과정에서 학습 데이터를 이용하는 방법이 아닌 사람에 대한 모델을 만들고 다양한 환경에 적용될 수 있는 수학 모델을 구성하여 사람의 크기를 계산함으로써 보다 편리하게 여러 환경에 적용할 수 있는 시스템을 구현하는 것이다.
참고문헌 (7)
Thou-Ho Chen, 'An automatic bi-directional passing-people counting method based on color image processing', Security Technology, Proceedings. IEEE 37 th Annual 2003 International Carnahan Conference on 14-16 Oct. 2003 PP. 200 - 207, 2003
Kenji Terada and Jun'ichi Yamaguchi, 'A System for Counting Passing People by Using the Color Camera', The Transactions of The Institute of Electrical Engineers of Japan
K. Terada, D. Yoshida, S. Oe and J. Yamaguchi, 'A Method of Counting the Passing People by Using the Stereo Images', Image Processing, 1999. ICP 99. Proceedings. 1999 International Conference on Volume 2, 24-28, PP. 338 - 342, Oct. 1999
Segen, J., 'A camera-based system for tracking people in real time', Pattern Recognition, 1996., Proceedings of the 13th International Conference on Volume 3, 25-29, PP. 63 - 67, Aug. 1996
Rossi, M., Bozzoli, A., 'Tracking and counting moving people', Image Processing, 1994. Proceedings. ICIP-94., IEEE International Conference Volume 3, 13-16, PP. 212 - 216, Nov. 1994
Qi Zang, Klette, R., 'Robust background subtraction and maintenance', Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on Volume 2, 23-26, PP. 90 - 93, Aug. 2004
Hanzi Wang, Suter D., 'A re-evaluation of mixture of Gaussian background modeling [video signal processing applications]', Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Conference on Volume 2, 18-23, PP. ii/1017- ii/1020, March 2005
※ AI-Helper는 부적절한 답변을 할 수 있습니다.