선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 감시카메라 환경에서 소수의 사람이 폭력행위를 할 때 나타나는 움직임의 방향변화를 이용하여 폭력 행동을 검출하는 알고리즘을 제안한다. 즉, 사람이 걷거나 뛰는 행동을 할 경우에는 움직임의 방향변화가 급격하게 발생하지 않지만 폭력행위의 경우 연속적인 프레임에서 움직임의 벡터 방향 변화가 산발적으로 나타나는 것에 착안하여 새로운 서술자를 제안하였다.
가설 설정
- 또한, 지정된 ground truth 구간에서 80% 이상의 프레임이 폭력행위로 올바르게 판별되는 경우 폭력행위가 판명된 비디오로 간주하였다. 즉 1개의 비디오에서 10번의 폭력행위 프레임이 존재하는 경우 8개 이상의 프레임을 폭력행위로 검출하면 올바르게 판단한 것으로 가정하였다. 본 논문에서 제안한 FCD를 이용한 폭력행위 검출 성능은 표 1과 같다.
제안 방법
- 본 논문에서는 사람이 걷거나 뛰는 행동을 할 경우에는 움직임의 방향변화가 급격하게 발생하지 않지만 폭력행위의 경우 연속적인 프레임에서 움직임의 벡터 방향변화가 산발적으로 나타나는 것에 착안하여 움직임의 방향 변화 강도를 나타낼 수 있는 FCD(Force of Change-in-Direction)를 제안하였다. FCD를 계산하기 위해 앞장에서 소개한 움직임 정보 추출 후 움직임 벡터의 각도를 4개의 방향으로 양자화 하였고, BMM 영상에서 하나의 그룹으로 판단된 영역별로 4방향으로 양자화 된 움직임 벡터의 히스토그램을 생성한 뒤 히스토그램을 정규화 하여 그룹별 각 방향에 대한 비율을 계산한다. 즉, BMM에서 그룹 1로 결정된 영역에 대해 4방향 히스토그램이 생성되고, 그룹 2로 결정된 영역에 대해 4방향 히스토그램이 생성된다.
- 본 논문의 주요 알고리즘은 그림 1과 같다. 먼저, 영상을 m×n의 그리드(grid)형태로 나누어 각 블록(B(m×n))별로 optical flow를 이용하여 움직임이 발생하는 영역을 검출한다. 움직임이 발생하는 영역과 발생하지 않은 영역을 구분하기 위해 이진화 영상을 생성하였으며, 이렇게 생성 된 영상을 Binary Motion Map(BMM)이라고 정의한다.
- 본 논문에서 검출하고자 하는 폭력행위의 경우 객체의 개별 추적이 어려운 환경이므로 영상의 전역에서 움직임 정보를 추출하고 이를 이용한 새로운 서술자를 개발하여 폭력행위를 검출한다. 제안하는 방법은 움직임 정보 추출을 위해 영상 전역에서 optical flow 알고리즘을 사용하여 광류 흐름을 추출하였다.
- 본 논문에서 제안한 FCD를 이용하여 폭력행위를 검출하기 위해 각 블록에서 계산된 FCD를 최근 10 프레임동안 누적하고, 누적한 결과 값에 대한 임계값을 적용하여 각 블록을 폭력블록과 비폭력블록으로 구분하였다. 이렇게 구분 된 폭력블록이 K-means 알고리즘을 통해 할당된 하나의 그룹 영역에서 30%이상 차지하는 경우 현재 프레임을 폭력행위가 발생한 프레임으로 최종 판단한다.
- 본 논문에서는 FCD 특징을 이용하여 CCTV 환경에서 발생할 수 있는 폭력행위 검출 방법을 제안하였다. 제안하는 방법의 성능을 검증하기 위해 공개 데이터인 USI 데이터를 사용하였으며, 실세계에서 일어날 수 있는 실제 폭력행위에 적용할 수 있도록 실제 폭력행위가 발생한 YouTube 데이터를 사용하여 추가 실험을 진행하였다.
- 본 논문에서는 사람이 걷거나 뛰는 행동을 할 경우에는 움직임의 방향변화가 급격하게 발생하지 않지만 폭력행위의 경우 연속적인 프레임에서 움직임의 벡터 방향변화가 산발적으로 나타나는 것에 착안하여 움직임의 방향 변화 강도를 나타낼 수 있는 FCD(Force of Change-in-Direction)를 제안하였다. FCD를 계산하기 위해 앞장에서 소개한 움직임 정보 추출 후 움직임 벡터의 각도를 4개의 방향으로 양자화 하였고, BMM 영상에서 하나의 그룹으로 판단된 영역별로 4방향으로 양자화 된 움직임 벡터의 히스토그램을 생성한 뒤 히스토그램을 정규화 하여 그룹별 각 방향에 대한 비율을 계산한다.
- 하지만 그림 3-(b)와 같이 두 사람이 폭력행위를 하는 장면에서는 두 사람이 붙어있기 때문에 하나의 그룹으로 결정되며, 이 그룹화 된 영역 안에서의 움직임 벡터 방향이 일정하지 않고 충돌이 일어나는 특징이 있다. 본 논문에서는 위와 같이 두 명 이상의 사람이 하나의 그룹으로 그룹화 된 영역 내에서 발생하는 움직임 벡터의 방향 변화에 초점을 두고 이를 이용하여 폭력행위를 검출하는 알고리즘을 제안한다.
- 본 논문에서는 폭력행위와 비폭력행위 비디오에 대한 성능을 평가하기 위해 폭력행위가 발생하는 프레임에 대해 폭력행위에 대한 ground truth로 지정하였다. 또한, 지정된 ground truth 구간에서 80% 이상의 프레임이 폭력행위로 올바르게 판별되는 경우 폭력행위가 판명된 비디오로 간주하였다.
- 본 논문에서는 감시카메라 환경에서 소수의 사람이 폭력행위를 할 때 나타나는 움직임의 방향변화를 이용하여 폭력 행동을 검출하는 알고리즘을 제안한다. 즉, 사람이 걷거나 뛰는 행동을 할 경우에는 움직임의 방향변화가 급격하게 발생하지 않지만 폭력행위의 경우 연속적인 프레임에서 움직임의 벡터 방향 변화가 산발적으로 나타나는 것에 착안하여 새로운 서술자를 제안하였다.
대상 데이터
- 본 논문에서는 제안하는 알고리즘의 성능 검증을 위해 공개 데이터인 USI(UNITN Social Interaction)데이터[7]와 실제 폭력행위가 있는 YouTube 데이터를 수집하여 테스트 하였다. USI 데이터는 총 64개의 비디오로 구성되어 있으며 Fight, Shake, Hug, Talk의 4가지 행동을 포함하고 있다. 하지만 이 데이터의 경우 연출한 장면이기 때문에 실제 폭력행위가 있는 감시영상을 YouTube를 통해 데이터를 수집하여 추가적인 실험 결과를 제시하였다.
- 본 논문에서는 제안하는 알고리즘의 성능 검증을 위해 공개 데이터인 USI(UNITN Social Interaction)데이터[7]와 실제 폭력행위가 있는 YouTube 데이터를 수집하여 테스트 하였다. USI 데이터는 총 64개의 비디오로 구성되어 있으며 Fight, Shake, Hug, Talk의 4가지 행동을 포함하고 있다.
- 본 논문에서는 FCD 특징을 이용하여 CCTV 환경에서 발생할 수 있는 폭력행위 검출 방법을 제안하였다. 제안하는 방법의 성능을 검증하기 위해 공개 데이터인 USI 데이터를 사용하였으며, 실세계에서 일어날 수 있는 실제 폭력행위에 적용할 수 있도록 실제 폭력행위가 발생한 YouTube 데이터를 사용하여 추가 실험을 진행하였다. 실험 결과 640×480 영상에서 평균 20fps 속도로 검출이 가능하기 때문에 실시간 검출이 가능하다.
데이터처리
- 이전 프레임과 현재 프레임의 방향 변화를 관찰하여 이들에 대해 가중치를 결정하여 각 블록(B (m × m))별 방향 변화 강도 FCD를 계산한다. 이때 사용되는 가중치는 이전 블록과 현재 블록의 방향 변화가 없는 경우는 가중치는 부여하지 않았으며(ω0=0), 수직 방향(90°, 270°)으로 방향 변화가 발생하는 경우(ω1), 반대 방향(180°)으로 방향 변화가 발생하는 경우(ω2) 높은 가중치를 부여하여 각 블록별 방향 변화 강도 FCDB (m×n)을 계산하였다. 각 블록별 FCD를 계산하는 과정 FCDB (m×n)은 수식 1과 같으며 계산의 예는 그림 4와 같다.
이론/모형
- 또한, Dense optical flow는 sparse optical flow보다 속도가 느린 단점이 있다. 본 논문에서는 영상을 2020 크기의 블록 단위로 분할하고 각 블록에서 sparse optical flow의 대표적인 알고리즘인 Lucas-Kanade optical flow 알고리즘을 이용하여 움직임 크기와 방향을 추출하였다.
- 본 논문에서 검출하고자 하는 폭력행위의 경우 객체의 개별 추적이 어려운 환경이므로 영상의 전역에서 움직임 정보를 추출하고 이를 이용한 새로운 서술자를 개발하여 폭력행위를 검출한다. 제안하는 방법은 움직임 정보 추출을 위해 영상 전역에서 optical flow 알고리즘을 사용하여 광류 흐름을 추출하였다. Optical flow 알고리즘은 연속하는 두 프레임 간 차이를 통해 움직임을 추정하는 방법 중 하나로써 명도를 서서히 변화시켜 영상에서 발생하는 움직임의 방향과 속도를 벡터로 나타내는 방식이다.
성능/효과
- 본 논문에서 제안한 FCD를 이용한 폭력행위 검출 성능은 표 1과 같다. USI 데이터 실험 결과 폭력행위에 해당하는 16개 비디오에 대해 약 81.25%의 인식률을 보였고, 비폭력행위에 해당하는 비디오 48개에 대해 약 93.75%의 인식률을 보였으며, 실제 폭력행위가 발생한 YouTube 데이터에 대해 100%의 인식률을 보였다. USI 데이터에서 오분류가 발생하는 경우는 사람과 사람 사이에서 발생한 상호작용이 매우 짧은 시간발생하거나, 상호작용이 발생하는 객체가 카메라로부터 멀리 떨어져 있는 경우에 발생하였다.
- 이와 같은 이유로 발생 된 오분류 현상은 USI-Shake, USI-Hug에서 발생되었으며, USI-Shake에서 발생한 오분류 현상은 카메라로부터 가까운 거리에서 두 사람이 악수를 하며 손은 흔들 때 발생하였다. 그리고 USI-Hug에서 발생한 오분류 현상은 그림 9-(a)와 같이 두 사람이 서로 안으려고 하는 순간의 프레임에서 추출된 FCD가 하나의 그룹에서 추출되었고, 이 때 FCD 값이 폭력행위 때 발생하는 FCD와 유사한 결과 값을 갖게되어 Fight로 오분류 된 것으로 분석되었다. 이 외에 발생된 오분류 현상은 그림 9-(b)와 같이 객체가 카메라로부터 가까운 지점에서 이동하면서 뒤에서 이동하는 객체와 같은 그룹으로 설정되어 오분류 된 것으로 분석되었다.
- 제안하는 방법의 성능을 검증하기 위해 공개 데이터인 USI 데이터를 사용하였으며, 실세계에서 일어날 수 있는 실제 폭력행위에 적용할 수 있도록 실제 폭력행위가 발생한 YouTube 데이터를 사용하여 추가 실험을 진행하였다. 실험 결과 640×480 영상에서 평균 20fps 속도로 검출이 가능하기 때문에 실시간 검출이 가능하다. 본 논문에서 제안한 폭력행위 검출 방법은 실세계에서 발생한 폭력행위를 검출할 수 있는 가능성을 제시하였으며, 다양한 환경에서 발생할 수 있는 폭력행위에도 적용할 수 있는 연구들이 요구된다.
- 이 외에 발생된 오분류 현상은 그림 9-(b)와 같이 객체가 카메라로부터 가까운 지점에서 이동하면서 뒤에서 이동하는 객체와 같은 그룹으로 설정되어 오분류 된 것으로 분석되었다. 폭력행위를 폭력행위로 판단하지 못한 비디오의 경우 폭력행위가 발생하는 객체가 카메라로부터 멀리 떨어져 있기 때문에 추출할 수 있는 움직임 정보가 적은 이유로 검출하지 못한 것으로 분석되었다. 위와 같이 발생한 오분류를 감소시키기 위해서는 움직임 정보뿐만 아니라 추가적인 특징 정보가 요구되며, 다양한 실제 폭력행위 데이터 분석을 통해 분류의 오류를 줄이고자 한다.
후속연구
- 본 논문에서 제안한 폭력행위 검출 방법은 실세계에서 발생한 폭력행위를 검출할 수 있는 가능성을 제시하였으며, 다양한 환경에서 발생할 수 있는 폭력행위에도 적용할 수 있는 연구들이 요구된다. 또한, 환경의 변화나 객체의 크기 변화에도 변함없는 성능을 보여줄 수 있도록 개선할 예정이다.
- 실험 결과 640×480 영상에서 평균 20fps 속도로 검출이 가능하기 때문에 실시간 검출이 가능하다. 본 논문에서 제안한 폭력행위 검출 방법은 실세계에서 발생한 폭력행위를 검출할 수 있는 가능성을 제시하였으며, 다양한 환경에서 발생할 수 있는 폭력행위에도 적용할 수 있는 연구들이 요구된다. 또한, 환경의 변화나 객체의 크기 변화에도 변함없는 성능을 보여줄 수 있도록 개선할 예정이다.
- 폭력행위를 폭력행위로 판단하지 못한 비디오의 경우 폭력행위가 발생하는 객체가 카메라로부터 멀리 떨어져 있기 때문에 추출할 수 있는 움직임 정보가 적은 이유로 검출하지 못한 것으로 분석되었다. 위와 같이 발생한 오분류를 감소시키기 위해서는 움직임 정보뿐만 아니라 추가적인 특징 정보가 요구되며, 다양한 실제 폭력행위 데이터 분석을 통해 분류의 오류를 줄이고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.