본 논문은 기존의 센서 기반 화재 감지기가 넓은 장소와 개방된 공간에서 성능이 저하되는 단점을 보완하기 위하여 카메라 영상을 이용한 화재 불꽃 감지 알고리즘을 제안한다. 기존의 연구에서는 다수의 휴리스틱한 정보를 이용하거나 속도가 느린 문제점을 보여주었다. 이를 해결하기 위하여, 통계적인 값들을 사용했으며 속도를 개선하기 위해 블록 단위로 처리하였다. 먼저 입력된 영상에서 배경 모델과 불꽃 색상 모델 을 이용하여 화재 후보 영역을 추출한다. 그 후 후보 블록에 대하여 시간축 상에서의 명도 변화, 웨이블릿 계수 변화, 모션 변화를 추출하여 확 률 모델을 생성하며, 생성된 모델들을 퍼지 로직의 멤버십 함수로 사용하였다. 마지막으로 역퍼지(defuzzification) 과정을 통해 최종 결과 함수를 생성하고 이로부터 불꽃 발생 확률값을 예측하였다. 실험에서는 제안한 화재 불꽃 감지 알고리즘을 성능이 가장 좋다고 알려진 Toreyin의 알고리즘과 비교하여 성능이 개선되었음을 보여주고 있다.
본 논문은 기존의 센서 기반 화재 감지기가 넓은 장소와 개방된 공간에서 성능이 저하되는 단점을 보완하기 위하여 카메라 영상을 이용한 화재 불꽃 감지 알고리즘을 제안한다. 기존의 연구에서는 다수의 휴리스틱한 정보를 이용하거나 속도가 느린 문제점을 보여주었다. 이를 해결하기 위하여, 통계적인 값들을 사용했으며 속도를 개선하기 위해 블록 단위로 처리하였다. 먼저 입력된 영상에서 배경 모델과 불꽃 색상 모델 을 이용하여 화재 후보 영역을 추출한다. 그 후 후보 블록에 대하여 시간축 상에서의 명도 변화, 웨이블릿 계수 변화, 모션 변화를 추출하여 확 률 모델을 생성하며, 생성된 모델들을 퍼지 로직의 멤버십 함수로 사용하였다. 마지막으로 역퍼지(defuzzification) 과정을 통해 최종 결과 함수를 생성하고 이로부터 불꽃 발생 확률값을 예측하였다. 실험에서는 제안한 화재 불꽃 감지 알고리즘을 성능이 가장 좋다고 알려진 Toreyin의 알고리즘과 비교하여 성능이 개선되었음을 보여주고 있다.
In this paper, we propose the advanced fire-flame detection algorithm using camera image for better performance than previous sensors-based systems which is limited on small area. Also, previous works using camera image were depend on a lot of heuristic thresholds or required an additional computati...
In this paper, we propose the advanced fire-flame detection algorithm using camera image for better performance than previous sensors-based systems which is limited on small area. Also, previous works using camera image were depend on a lot of heuristic thresholds or required an additional computation time. To solve these problems, we use statistical values and divide image into blocks to reduce the processing time. First, from the captured image, candidate flame regions are detected by a background model and fire colored models of the fire-flame. After the probability models are formed using the change of luminance, wavelet transform and the change of motion on time axis, they are used for membership function of fuzzy logic. Finally, the result function is made by the defuzzification, and the probability value of fire-flame is estimated. The proposed system has shown better performance when it compared to Toreyin's method which perform well among existing algorithms.
In this paper, we propose the advanced fire-flame detection algorithm using camera image for better performance than previous sensors-based systems which is limited on small area. Also, previous works using camera image were depend on a lot of heuristic thresholds or required an additional computation time. To solve these problems, we use statistical values and divide image into blocks to reduce the processing time. First, from the captured image, candidate flame regions are detected by a background model and fire colored models of the fire-flame. After the probability models are formed using the change of luminance, wavelet transform and the change of motion on time axis, they are used for membership function of fuzzy logic. Finally, the result function is made by the defuzzification, and the probability value of fire-flame is estimated. The proposed system has shown better performance when it compared to Toreyin's method which perform well among existing algorithms.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 넓은 장소와 개방된 공간에서는 효율이 떨어지는 기존의 센서 기반 화재 감지기의 단점을 보완하기위해 카메라 영상을 이용한 화재 불꽃 감지 알고리즘을 제안하였다. 입력된 영상으로부터 배경 모델과 불꽃 색상 모델을 이용하여 화재 후보 영역을 추출하고, 후보 블록에 대하여 시간축 상에서의 명도 변화, 웨이블릿 계수 변화, 모션방향 변화율을 추출하여 확률 모델을 생성하고, 생성된 모델들을 퍼지 로직의 멤버십 함수로 사용하였다.
본 논문에서는 화재 불꽃 감지를 위하여 퍼지 로직을 이용한 새로운 방법을 제안한다. 본 논문의 2장에서는 움직임과 색상을 이용한 화재 후보 블록 감지 방법을 소개하고, 3 장에서는 앞서 소개된 감지 방법을 통하여 퍼지 추론을 이용한 불꽃 검출 방법을 소개한다.
가설 설정
. 화재 불꽃은 시간축 상에서 매우 불규칙한 움직임을 갖는다.
. 화재 불꽃은 주변보다 높은 명도 값을 갖는다. .
.화재 불꽃 영역은 고주파 성분을 갖는다.
우선 각 색상 RGB 색상 채널의 분포는 서로 독립적이고가우시안 분포를 보인다고 가정하고, 학습용 화재 동영상으로부터 다음 수식을 이용하여 확률 모델을 생성한다.
제안 방법
다음으로 웨이블릿 계수의 변화량을 측정하기 위해 웨이블릿 변환을 적용하고, 고주파 성분에 해당하는 LH, HL, HH의 계수의 합을 계산하여 에너지를 구하고 이를 명도 변화량과 동일한 방법으로 가우시안 모델을 생성하였다. 웨이블릿 에너지의 변화량에 대한 가우시안 밀도 함수는 (그림 4-(b))와 같다.
하지만 이방법은 3가지 조건에 대한 경험적 임계값들을 요구함으로범용적인 화재 영역 검출을 위해서 적합하지 않다. 따라서본 논문에서는 RGB채널에 대한 확률적 모델을 구성하고 이로부터 화재 후보 영역을 결정하는 방법을 사용하였다.
마지막으로 시간에 따른 화재 영역의 모션 변화량을 측정하기 위해서, 화재와 움직임을 갖는 비-화재 영역에 대해 3 단계 탐색(3-step search) 알고리즘으로 움직임 벡터를 추출하고, 블록내의 움직임 방향을 수식 (5)를 이용하여 0~360도의 방향을 1~8로 정규화 하였다.
이러한 특성을 이용하여 카메라로 입력되는 영상으로부터 움직임 영역을 감지하고 그 영역에서 화재 색상 모델을 적용하여 화재후보 블록을 도출한다. 본 논문에서는 연산속도를 빠르게하기 위해 영상을 MxN 블록으로 설정하고 블록단위로 연산을 하도록 하였다.
본 논문에서는 학습 데이터를 이용하여 각 특징에 대한가우시안 확률 분포를 생성하였다.
불꽃 감지 시스템의 성능 비교는, 다음과 같이 3가지의분류 성능 측정 방법을 이용하여 테스트 하였다.
불꽃 영역의 불규칙성을 반영하기 위해 본 논문에서는 시간 축 상에서 일정 프레임 동안 명도변화 정보, 웨이블릿에너지 변화 정보, 모션 방향 변화 정보를 분석하여 이를퍼지 로직의 입력 변수로 사용하였다.
Movie 6, 7, 8, 9, 10은 실제불꽃과 구별하기 위하여 사용한 화재 색상을 가지는 움직임오브젝트를 포함하는 동영상이다. 비교 대상인 TOreyin의 알고리즘은 초기 배경 모델에 의해 움직임 영역을 검출하고 후보 영역에 대해 화재-컬러 모델과 후보 영역에 대한 시/공간상의 웨이블릿 고주파 계수의 변화량을 측정하여 화재를검증하는 방법을 사용하였다. 제안한 방법과 유사하지만 TOreyin은 화재의 불규칙한 특징을 마르코브 모델에 적용하였으며, 웨이블릿 값에서 고주파 성분의 합들에 대한 저주파 성분의 비율이 경험에 의한 임계값보다 클 경우 화재로판단하는 휴리스틱한 정보를 이용했다.
알고리즘[기를 사용하였다. 속도 개선을 위해 우리는 기존의 RGB 각각에 대한 연산 대신 명도 성분만을 추출하여적용하였고, 현재 프레임을 포함한 이전 3프레임에서 평균과 분산을 계산하도록 수정하였다.
입력된 영상으로부터 배경 모델과 불꽃 색상 모델을 이용하여 화재 후보 영역을 추출하고, 후보 블록에 대하여 시간축 상에서의 명도 변화, 웨이블릿 계수 변화, 모션방향 변화율을 추출하여 확률 모델을 생성하고, 생성된 모델들을 퍼지 로직의 멤버십 함수로 사용하였다. 역퍼지 (defuzzification) 과정을 통해 최종 결과 함수를 생성하고 이로부터 불꽃 발생 확률값을 예측하였다.
위와 같은 특성을 기반으로 명도, 웨이블릿 계수, 모션의방향 정보 등을 이용하여 학습 동영상으로부터 불꽃 영역의특징 값을 추출한다. 이 때, 불꽃은 (그림 3)과 같이 시간축상에서 불규칙하게 움직이므로 현재 프레임에서 후보 화재영역의 과거 100프레임을 추적하여 특징 값의 변화량을 왜도(Skewness)값으로 표현하고 이를 확률분포로 모델링 한다.
값을 추출한다. 이 때, 불꽃은 (그림 3)과 같이 시간축상에서 불규칙하게 움직이므로 현재 프레임에서 후보 화재영역의 과거 100프레임을 추적하여 특징 값의 변화량을 왜도(Skewness)값으로 표현하고 이를 확률분포로 모델링 한다. (그림 3)의 (a)와 (b)와 같이 불꽃 영역에서의 명도값과웨이블릿 계수 에너지의 변화에서는 불꽃을 포함하는 블록에서는 불규칙적으로 값들이 연속적으로 변화하는 반면, (c) 와 (d)의 경우에는 움직임이 없다가 물체 오브젝트가 지나는 순간에만 명도와 웨이블릿 계수 에너지 변화가 나타나는것을 확인할 수 있다.
그러나 이 방법은 빠르고 성능이 좋지만 몇몇 영상에 대해서는 오검출이 발생하였다. 이러한 문제점을 해결하기 위하여 본 논문에서는 휴리스틱한 임계값들을 사용하지 않고 시간축 상에서 추출한 특징들의 통계적인 값들을 사용했으며 속도를 개선하기 위하여 블록 단위로 처리하여 더 좋은 감지 결과를 도출하였다.
또한 바람이나 연소재료에 의해서 그 형태가 끊임없이 변화한다. 이러한 특성을 이용하여 카메라로 입력되는 영상으로부터 움직임 영역을 감지하고 그 영역에서 화재 색상 모델을 적용하여 화재후보 블록을 도출한다. 본 논문에서는 연산속도를 빠르게하기 위해 영상을 MxN 블록으로 설정하고 블록단위로 연산을 하도록 하였다.
카메라 영상을 이용한 화재 불꽃 감지 알고리즘을 제안하였다. 입력된 영상으로부터 배경 모델과 불꽃 색상 모델을 이용하여 화재 후보 영역을 추출하고, 후보 블록에 대하여 시간축 상에서의 명도 변화, 웨이블릿 계수 변화, 모션방향 변화율을 추출하여 확률 모델을 생성하고, 생성된 모델들을 퍼지 로직의 멤버십 함수로 사용하였다. 역퍼지 (defuzzification) 과정을 통해 최종 결과 함수를 생성하고 이로부터 불꽃 발생 확률값을 예측하였다.
비교 대상인 TOreyin의 알고리즘은 초기 배경 모델에 의해 움직임 영역을 검출하고 후보 영역에 대해 화재-컬러 모델과 후보 영역에 대한 시/공간상의 웨이블릿 고주파 계수의 변화량을 측정하여 화재를검증하는 방법을 사용하였다. 제안한 방법과 유사하지만 TOreyin은 화재의 불규칙한 특징을 마르코브 모델에 적용하였으며, 웨이블릿 값에서 고주파 성분의 합들에 대한 저주파 성분의 비율이 경험에 의한 임계값보다 클 경우 화재로판단하는 휴리스틱한 정보를 이용했다.
제안한 화재 불꽃 감지 과정은 먼저 영상을 블록으로 분할하고, 블록 단위에서 움직임과 색상 정보를 이용하여 화재 후보 영역을 검출한다. 다음단계에서, 후보 영역에 대하여 이전 100프레임에 대한 명도 성분과 고주파 웨이블릿 계수의 에너지합 그리고 모션 방향 정보들을 추출한다.
측정한 왜도 값들은 값의 분포에 따라 음수부터 양수의 값을가짐으로 이를 0~1로 정규화하여 (그림 4-(a))와 같이 수식 ⑷를 이용하여 가우시안 확률 모델을 생성하였다. 학습데이터로부터 구해진 명도 변화에 대한 화재 영역과 비-화재 영역의 가우시안 함수는 퍼지 로직을 위한 멤버십 함수(화재: ” 认" 비 -화재: 四丫—緋、)로 사용된다.
특징 추출을 위해 화재 동영상과 비-화재 동영상에 대하여 명도 정보를 100개의 프레임에 대하여 큐에 저장하고 명도의 변화량을 표현해 줄 수 있는 왜도값을 수식 (3)을 이용하여 측정하였다.
대상 데이터
임의로 2640개의 학습 블록(1320개의 화재 블록, 1320개의 화재 색상 움직임 오브젝트 블록)에서 특징을 추출하였고, 화재 동영상은 FASTData(http://fire.nist.gov/fastdata/)에서, 비-화재 동영상은 CAVIAR 프로젝트 데이터 (http:〃homepages. inf.ed.ac.uk/rbf/CAVIAR/)에서 선택하였다.
제안된 알고리즘의 성능을 기존의 알고리즘과 비교 분석하기 위하여 본 논문에서는 10개의 테스트 동영상을 사용하였다. 5개의 동영상은 화재불꽃 감지에서 가장 우수한 성능을 보여주는 것으로 알려진 T6reyin[2]의 실험에 사용된 동영상(Movie 2, 7, 8, 9, 10)이고, 3개의 동영상은 미국의 표준기술 연구소(NIST, http://fire.
불꽃을 감지한 결과 화면이다. 제안한 방법의 보다자세한 동영상 데모는 http://cvpr.kmu.ac.kr에서 확인할 수있다.
학습 데이터는 화재와 화재색상인 움직임 오브젝트를 포함하는 총 12개의 학습 동영상으로부터 추출하였다. 임의로 2640개의 학습 블록(1320개의 화재 블록, 1320개의 화재 색상 움직임 오브젝트 블록)에서 특징을 추출하였고, 화재 동영상은 FASTData(http://fire.
이론/모형
또한, 화재 불꽃의 특성상 공기의 흐름이나 인화물질에 따라 화재 모양 및 색상이 불규칙하게 변화하는 성질을 가지며 이러한 특성이 정확한 화재 불꽃 검출을 어렵게 만드는 주요 요인이 된다. 따라서, 본 논문에서도 연속적으로 불규칙한 값을 갖는 화재의 특성을 파악하기 위해 퍼지로직(Fuzzy Logic)을 사용하였다.
출력 결과값을 결정해야 한다. 우선 입력 값은 멤버십 함수를 기반으로 퍼지화 되고, 각 퍼지 규칙에 수식 ⑻과 같이 Larsen [1이이 제안한 곱 조건명제(product impli cation)를 적용하였다.
움직임 영역을 추출하기 위하여 본 논문에서는 Horpra-sert 알고리즘[기를 사용하였다. 속도 개선을 위해 우리는 기존의 RGB 각각에 대한 연산 대신 명도 성분만을 추출하여적용하였고, 현재 프레임을 포함한 이전 3프레임에서 평균과 분산을 계산하도록 수정하였다.
성능/효과
8%의 오검출이 발생하였다. 100프레임 동안의특징 변화율을 통계적으로 분석하는 방법은 불꽃이 급격히확산되는 동영상에서는 검출율이 다소 감소한다는 문제점이존재하지만 오검출을 효과적으로 제거하였으며, 제안한 알고리즘이 TOreyin의 알고리즘보다 검출율이 높고, 오검출율이 낮으며, 미검출율이 낮아 모든 부분에서 우수하다는 것을 보여주고 있다.
미검출율(M)의 경우 TOreyin의 알고리즘은 평균 16%로제안한 알고리즘에 비해 약 12% 높게 나타났으며, 비-화재동영상의 경우 TOreyin의 알고리즘은 Movie6에서 소방차의라이트에서 6.8%의 오검출이 발생하였다. 100프레임 동안의특징 변화율을 통계적으로 분석하는 방법은 불꽃이 급격히확산되는 동영상에서는 검출율이 다소 감소한다는 문제점이존재하지만 오검출을 효과적으로 제거하였으며, 제안한 알고리즘이 TOreyin의 알고리즘보다 검출율이 높고, 오검출율이 낮으며, 미검출율이 낮아 모든 부분에서 우수하다는 것을 보여주고 있다.
오검출율(FP)결과에서는 본 논문의 알고리즘은 0.02% 성능을 보여준 반면 TOreyin의 알고리즘은 2.9%의 성능을 보여주었다. TOreyin의 알고리즘은 Movie1에서 10%의 오류를보여주고 있는데, 이것은 해당 동영상에 포함된 불꽃이 확산되면서 주변영역에 반사되어 벽과 같은 잘못된 영역에서도 불꽃을 검출하기 때문이고, Movie5에서 12%의 오류를보여주고 있는데 이것은 레이저를 이용하여 불을 내는 과정에서 레이저에 의한 오검출 때문이다.
<표 1>의 결과에서 본 논문에서 제안한 방법은 평균 95%의 검출율(TP)을 보여준 반면, TOreyin의 알고리즘은 81%의 검출 성능을 보여주고 있다. 하지만, 본 논문에서 제안한 방법은 Movie2에서처럼 불꽃 색상이 어둡거나, 불꽃이급격히 확산되는 Movie4의 경우에는 현재 프레임에서 화재가 발생했더라도 이전 프레임들은 비-화재인 경우가 많아 100프레임 동안의 특징변화율을 통계적으로 분석하여 사용했을 시 검출율이 감소하는 경향이 있었다.
검출 성능을 보여주고 있다. 하지만, 본 논문에서 제안한 방법은 Movie2에서처럼 불꽃 색상이 어둡거나, 불꽃이급격히 확산되는 Movie4의 경우에는 현재 프레임에서 화재가 발생했더라도 이전 프레임들은 비-화재인 경우가 많아 100프레임 동안의 특징변화율을 통계적으로 분석하여 사용했을 시 검출율이 감소하는 경향이 있었다.
TOreyin의 알고리즘은 Movie1에서 10%의 오류를보여주고 있는데, 이것은 해당 동영상에 포함된 불꽃이 확산되면서 주변영역에 반사되어 벽과 같은 잘못된 영역에서도 불꽃을 검출하기 때문이고, Movie5에서 12%의 오류를보여주고 있는데 이것은 레이저를 이용하여 불을 내는 과정에서 레이저에 의한 오검출 때문이다. 하지만, 본 논문의 알고리즘에서는 100프레임 동안에 특징변화율을 통계적으로분석하고 퍼지로직에 적용하였기 때문에 오검출을 효과적으로 제거할 수 있었다.
후속연구
향후 연구에서는 퍼지 로직의 입력 변수로 사용될 특징들의 개선과, 퍼지 규칙의 검증등을 통해 보다 정확한 불꽃감지 결과를 도출할 수 있도록 할 것이다.
참고문헌 (10)
T. Chen, P. Wu and Y. Chiou, “An early firedetection method based on image processing,” International Conference on Image Processing, pp.1707-1710, 2004
B.U. T $\ddot{o}$ reyin, Y. Dedeoglu. U. Gudukbay and A. E. Cetin, “Computer vision based method for real-time fire and flame detection,” Pattern Recognition Letters, 27, pp.49-58, 2006
D. Han and B. Lee, “Development of Early Tunnel Fir Detection Algorithm Using the Image Processing,” International Symposium on Visual Computing, pp.39-48, 2006
T. Celik, H. Ozkaramanh and H. Demirel “Fire pixel classification using Fuzzy Logic and Statistical Color model,” IEEE International Conference on Acoustics, Speech, and Signal Processing, pp.I-1205-I-1208, 2007
B. Ko, K-H Cheong and J-Y Nam, “Fire detection based on vision sensor and support vector machines,” Fire Safety Journal, Vol.44, Issue 3, pp.322-329, 2009
정광호, 고병철, 남재열, “베이지안 네트워크를 이용한 자동 화재감지 시스템,” 정보처리학회논문지B, Vol.15B, No.2, pp.87-94, 2008
T. Horprasert, D. Harwood, L.S Davis, “A statistical approach for real-time robust background subtraction and shadow detection,” IEEE Workshop on Frame Rate, pp.1-19, 1999
I. Kopilovic, B. Vagvolgyi, T. Sziranyi, “Application of Panoramic Annular Lens for Motion Analysis Tasks: Surveillance and Smoke Detection," IEEE International Conference on Pattern Recognition, Vol.4, pp.14-717, 2000
Y. F. Simon, “A Fuzzy Logic Approach to Fire Detection in Aircraft Dry Bays and Engine Compartments,” IEEE Trans. On Industrial Electronics, Vol.47, No.5, pp.1161-1171, 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.