[논문]연기 영상의 정적 및 동적 텍스처를 이용한 강인한 연기 검출

김재민

doi:10.5392/jkca.2012.12.02.010

연기 영상의 정적 및 동적 텍스처를 이용한 강인한 연기 검출
Reliable Smoke Detection using Static and Dynamic Textures of Smoke Images 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.12 no.2, 2012년, pp.10 - 18

초록
AI-Helper

감시 카메라를 이용하여 화재 연기를 자동 검출하는 시스템은 신뢰도 높은 연기 영상의 검출 방법을 필요로 한다. 카메라를 이용하여 공기 중에 확산하는 연기의 영상을 연속적으로 획득하였을 때, 연기 영상의 각 장면은 독특한 텍스처(정적 텍스처)를 가지며, 연기의 확산 운동으로 인하여 그 차분 영상 또한 다른 물체와 구별이 되는 독특한 텍스처(동적 텍스처)를 가진다. 특정 객체가 연기와 유사한 정적 텍스처를 가지고 있을 지라도 그 움직임의 특성이 연기 특유의 확산 운동과 다르다면, 그 차분 영상의 텍스처는 연기의 차분 영상 텍스처와 유사할 수 없다. 본 논문에서는 이 두 가지 정적 및 동적 텍스처를 이용하여 신뢰도 높은 연기 영상 검출 방법을 제안한다. 제안하는 방법은 누적된 장면 차분 영상을 이용하여 변화 영역을 일차적으로 검출하고, 검출된 변화 영역의 정적 및 동적 텍스처로부터 추출한 Haralick 특징 벡터 이용하여 최종적으로 연기로 인한 변화 영역을 검출한다.

Abstract ▼ AI-Helper

Automatic smoke detection systems using a surveillance camera requires a reliable smoke detection method. When an image sequence is captured from smoke spreading over in the air, not only has each smoke image frame a special texture, called static texture, but the difference between two smoke image frames also has a peculiar texture, called dynamic texture. Even though an object has a static texture similar to that of the smoke, its dynamic texture cannot be similar to that of the smoke if its movement differs from the diffraction action of the smoke. This paper presents a reliable smoke detection method using these two textures. The proposed method first detects change regions using accumulated frame difference, and then picks out smoke regions using Haralick features extracted from two textures.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 누적 장면 차분과 최적의 자동 임계값 선택으로 연기의 확산 운동으로 인한 작은 변화도 효과적으로 검출하고, 검출 영역의 정적 텍스처뿐 만아니라 동적 텍스처를 이용하여 연기를 신뢰성 높게 검출하는 방법을 제안하였다. 실험을 통하여 제안된 방법은 연기 검출에 소요되는 시간이 짧을 뿐 아니라, 다양한 환경의 테스트에서 오검출이 발생하지 않음 입증하였다.
본 논문에서는 연기의 정적 및 동적 텍스처를 이용하여 빠른 시간에 신뢰도 높은 연기 영상 검출 방법을 제안한다. 카메라를 이용하여 공기 중에 확산하는 연기로부터 연속적으로 영상을 획득하였을 때, 획득한 연기 영상의 각 장면뿐만 아니라 연속된 장면의 차분 영상 또한 다른 물체와 구별이 되는 독특한 텍스처를 가지고 있다.

가설 설정

비교 실험 대상은 최근에 발표된 Maruta 등의 방법 [11], 많이 인용된 Toreyin 등의 방법[5]이다. Maruta 방법의 주요 과정은 (a)장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 텍스처 분류, (d) 일정 시간의 연속된 장면에서 연기 텍스처 검출 등이다. 제안한 방법의 주요 과정은 (a) 장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 컬러스트링, (d)분할 영역의 정적 및 동적 텍스처 모두를 이용한 텍스처 분류이다.
Maruta 방법의 주요 과정은 (a)장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 텍스처 분류, (d) 일정 시간의 연속된 장면에서 연기 텍스처 검출 등이다. 제안한 방법의 주요 과정은 (a) 장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 컬러스트링, (d)분할 영역의 정적 및 동적 텍스처 모두를 이용한 텍스처 분류이다. Maruta 방법과 제안한 방법의 움직임 검출, 영역 분할, 영역 분류는 제안한 방법의 방법을 사용하였다.

제안 방법

제안한 방법의 주요 과정은 (a) 장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 컬러스트링, (d)분할 영역의 정적 및 동적 텍스처 모두를 이용한 텍스처 분류이다. Maruta 방법과 제안한 방법의 움직임 검출, 영역 분할, 영역 분류는 제안한 방법의 방법을 사용하였다. 이는 여러 개의 정적 텍스처를 사용하는 것과 하나의 정적 및 동적 텍스처를 사용하는 것의 비교 실험을 위해서다.
Calderarae 등은 웨이블릿 서브밴드에서 시간에 따른 화소의 변화의 분포를 가우시안 혼합모델로 모델링하고, 모델 계수의 변화를 분석하여 연기를 검출하였다[6]. Rafiee와 Tavakoli는 움직임 영역을 검출하고, 검출된 영역의 칼라 특성을 이용하여 후보 대상을 축소하고, 최종적으로 웨이블릿 서브밴드에서 에너지의 변화를 분석하여 연기를 검출 하였다[7]. Grech-Cini 등은 상관관계, 분산, 에지 유무의 변화 등 20개나 되는 특징을 사용하여, 검출된 움직임 영역이 연기에 의한 움직임인지 사람 등의 객체에 의한 움직임인지를 구별하여 연기를 검출하였다[8].
각 분할 영역의 정적 및 동적 텍스처의 공발생행렬(co-occurrence matrix)을 생성하고, 생성한 공발생행렬로부터 Haralick 특징 벡터를 추출한다. 추출한 특징 벡터를 분석하여 연기 영역을 검출한다.
제안하는 방법은 새로이 제안하는 누적된 장면 차분 영상에서 변화가 큰 화소들을 일차적으로 검출한다. 검출한 화소들에 모폴로지 필터를 적용하여 노이즈로 인하여 검출된 화소들을 제거하고 남은 화소들은 인접한 것끼리 클러스터링하여 텍스처 분석할 영역을 형성한다. 최종적으로 각각의 검출 영역의 정적 및 동적 텍스처로부터 추출한 Haralick 특징 벡터[12] 이용하여 연기 영역을 분류한다.
각각의 연기 검출 방법은 학습에 사용된 동영상과 테스트에 사용되는 동영상에 따라 그 성능에 차이가 있다. 때문에, 학습은 외부 자연 조명에 노출된 출구가 보이는 터널에서 획득한 동영상으로 수행하고, 테스트는 출구가 보이지 않는 곡선 터널에서 획득한 동영상으로 수행하였다. 동영상의 해상도는 1280x720 이다.
모폴로지 연산을 적용한 결과는 [그림 4]의 P2에서 보여주고 있다. 모폴로지 연산으로 노이즈에 의한 변화 영역을 제거한 후에는 검출된 영역을 다음과 과정으로 클러스터링을 수행한다.
발생 지점의 거리에 따른 연기 탐지 성능 평가를 위하여 근거리, 중간거리, 원거리 3가지의 동영상을 사용하였다. 3 동영상의 주요 장면은 [그림 3]의 (a),(b),(c)에서 보여 주고 있다.
본 논문에서는 연기의 텍스처의 특성을 이용하여 연기를 검출하는데, 연기의 발생 지점과 카메라와의 거리가 변함에 따라 획득된 영상의 고주파 성분의 에너지가 변하게 되고, 그 결과 공발생행렬의 패턴이 변하게 된다. 때문에 카메라와 연기와의 거리에 따른 여러 개의 텍스처를 선택하고 이들을 매개체로 텍스처 분류를 수행하는 것이 합리적이다.
이러한 방법들은 영상 차분 혹은 장면 차분을 이용하여 변화를 검출하는데, 차량 및 사람과 같은 고체 객체의 움직임으로 인한 큰 변화와 연기와 같은 유체의 움직임으로 인한 작은 변화가 혼재한 상황에서는 자동 임계값을 이용하여 유체를 정확하게 검출하기 어렵다. 본 논문에서는 장면 차분 영상 전체의 히스토그램을 이용하여 임계값을 자동으로 설정하는 대신 Su와 Amer등이 제시한 방법[15]을 이용하여 변화가 없는 영역을 일차로 찾고, 이들 영역에서 이차 모멘트(\(\sigma\))를 이용하여 다음 수식과 같이 임계값(\(T_{t h}\))을 설정한다.
본 논문의 구성은 2장 본론에서는 누적된 장면 차분 영상을 이용한 변화 검출, 각 검출된 영역의 클러스터링, 클러스터링한 영역의 정적 및 동적 텍스처의 공발생행렬(co-occurrence matrix) 생성 및 특징 추출, 추출된 특징 벡터를 이용한 검출 영역의 분류에 대하여 기술한다. 3장에서는 실험 결과에 대하여 설명한다.
성능 평가 기준은 도로공사에서 정한 기준으로 연기 검출 시간, 검출된 연기 위치가 성능 평가의 기준이 되며, 연기를 15초 이내에 찾지 못하거나, 정지 혹은 움직이는 주변 객체를 연기로 검출하면 실패(fail)로 정한다. 실험의 주요 내용은 화재의 감시카메라로부터 연기의 발생 지점이 멀어짐에 따라 연기 탐지 성능이 어떻게 변하는가의 평가와 터널 내부에서 발생하는 다양한 상황에서 배경을 연기로 오검출(false accept) 하는 것이 없는 가의 평가로 구성된다.
3 동영상의 주요 장면은 [그림 3]의 (a),(b),(c)에서 보여 주고 있다. 오검출 발생 여부를 평가를 위하여 터널 내부에서 발생할 수 있는 상황을 연출한 동영상을 사용하였다. 주요 장면은 [그림 3]의 (d),(e),(f)에서 보여 주고 있다.
색조 변화 만족 여부의 구현은 가능한 연기의 색조에 대한 정보를 저장하고 색조를 만족하는 움직임 영역만 선택하였다. 이는 [7]에서 제안한 방법으로 본 터널 환경에서는 더 좋은 성능을 보여주고 있기 때문에 이를 채택하여 실험을 하였다.
때문에 카메라와 연기와의 거리에 따른 여러 개의 텍스처를 선택하고 이들을 매개체로 텍스처 분류를 수행하는 것이 합리적이다. 이러한 이유로 본 논문에서는 지지 매체 기기 분류기(support vector machine classifier, SVM)을 텍스처 분류기로 선택하였다. SVM에 사용되는 커널(kernel)은 아래 수식의 가우시안 커널을 사용하였다.
Kopilovic등은 연기 영상에서는 화소들이 불규칙적인 움직임을 가진다는 사실에 근거하여 연기를 검출하였다. 이를 위하여 시각적 유동(optical flow) 방법으로 화소의 움직임을 추정하고, 움직임 방향 분포의 엔트로피(entropy)를 계산하여 움직임의 불규칙성을 계산하였다[2]. Vicente와 Guillemant는 비슷한 움직임을 가지는 화소를 클러스터링(clustering)하고, 움직임 속도 분포의 히스토그램을 이용하여 연기를 검출하였다[3].
제안하는 방법은 새로이 제안하는 누적된 장면 차분 영상에서 변화가 큰 화소들을 일차적으로 검출한다. 검출한 화소들에 모폴로지 필터를 적용하여 노이즈로 인하여 검출된 화소들을 제거하고 남은 화소들은 인접한 것끼리 클러스터링하여 텍스처 분석할 영역을 형성한다.
각 분할 영역의 정적 및 동적 텍스처의 공발생행렬(co-occurrence matrix)을 생성하고, 생성한 공발생행렬로부터 Haralick 특징 벡터를 추출한다. 추출한 특징 벡터를 분석하여 연기 영역을 검출한다. 화소와 주변화소와의 관계를 나타내는 공발생행렬은 다음과 같다.

대상 데이터

SVM 분류기의 각각 720개의 연기 영역과 배경 영역을 사용하였다. 모든 특징 벡터의 크기는 평균값이 0, 분산이 1이 되도록 정규화 하였다.
비교 실험 대상은 최근에 발표된 Maruta 등의 방법 [11], 많이 인용된 Toreyin 등의 방법[5]이다. Maruta 방법의 주요 과정은 (a)장면 차분을 이용한 움직임 검출, (b)검출된 움직임 영역 분할, (c)분할 영역의 텍스처 분류, (d) 일정 시간의 연속된 장면에서 연기 텍스처 검출 등이다.

이론/모형

검출한 화소들에 모폴로지 필터를 적용하여 노이즈로 인하여 검출된 화소들을 제거하고 남은 화소들은 인접한 것끼리 클러스터링하여 텍스처 분석할 영역을 형성한다. 최종적으로 각각의 검출 영역의 정적 및 동적 텍스처로부터 추출한 Haralick 특징 벡터[12] 이용하여 연기 영역을 분류한다. 본 논문에서 제시하는 방법의 전체 흐름도는 [그림 1]에서 보여주고 있다.

성능/효과

P1-P4는 본 논문에서 제안한 방법, T1-T4는 Toreyin의 방법, M1의 Maruta의 방법이다. P4, T4, M1을 보면 제안한 방법은 연기가 조금 확산되었을 때 검출할 수 있음을 보여주고 있다. 그림4에 P1은 변화 검출 결과, P2는 모폴로지 연산결과, P3는 컬러스트링 결과, T1은 색조 조건을 만족하는 변화 검출 결과, T2는 에너지 감소가 있는 영역, T3는 에지의 소멸 생성이 반복되는 flickering이 있는 화소를 보여 주고 있다.
이로 인하여 연기가 검출될 수 있게 진하게 넓게 확산되어야 하는 시간을 필요로 한다. 검출에 소요된 시간은 Maruta 방법이 가장 길고, Toreyin 방법이 그 다음, 제안한 방법이 가장 짧았다. 하지만 Toreyin 방법은 원거리인 경우 연기를 검출하지 못하였다.
본 논문에서는 누적 장면 차분과 최적의 자동 임계값 선택으로 연기의 확산 운동으로 인한 작은 변화도 효과적으로 검출하고, 검출 영역의 정적 텍스처뿐 만아니라 동적 텍스처를 이용하여 연기를 신뢰성 높게 검출하는 방법을 제안하였다. 실험을 통하여 제안된 방법은 연기 검출에 소요되는 시간이 짧을 뿐 아니라, 다양한 환경의 테스트에서 오검출이 발생하지 않음 입증하였다.
[표 2]은 다양한 복합 환경에서 배경을 연기로 검출하는 오검출의 발생 여부를 보여주고 있다. 제안한 방법과 Maruta 방법은 복합 환경에서도 오검출이 발생하지 않았다. Maruta 방법은 하나의 영상 프레임이 아니라 연속된 다수의 프레임에서 검출된 움직임 영역이 연기 텍스처로 판정되면 최종적으로 연기 영역으로 검출하는데, 오검출이 발생하는 것을 방지하기 위해서 프레임 수를 6으로 설정하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	감시 카메라를 이용하여 화재 연기를 자동 검출하는 시스템은 무엇을을 필요로 하는가?	감시 카메라를 이용하여 화재 연기를 자동 검출하는 시스템은 신뢰도 높은 연기 영상의 검출 방법을 필요로 한다. 카메라를 이용하여 공기 중에 확산하는 연기의 영상을 연속적으로 획득하였을 때, 연기 영상의 각 장면은 독특한 텍스처(정적 텍스처)를 가지며, 연기의 확산 운동으로 인하여 그 차분 영상 또한 다른 물체와 구별이 되는 독특한 텍스처(동적 텍스처)를 가진다.
	연기 검출 센서를 이용하는 경우 어떠한 단점이 있는가?	건물 내부나 터널 등에는 화재를 감지하기 위한 연기 검출 센서가 사용되고 있다. 연기 검출 센서를 이용하는 경우 발화점에서 발생한 연기가 확산되어 센서에서 감지되기까지 많은 시간이 소요되는 단점이 있다. 화재 검출 시간이 지연될수록 피해가 커지기 때문에 넓은 영역의 화재를 빠른 시간에 감지하기에는 연기 검출 센서를 이용하는 방법은 한계가 있다.
	감시카메라를 이용하여 화재 연기를 자동으로 실시간 검출할 시 어떠한 장점이 있는가?	이러한 감시카메라를 이용하여 화재 연기를 자동으로 실시간 검출할 수 있다면 많은 장점을 가질 수 있다. 우선 점단위로 접촉하는 연기를 검출하는 센서에 비하여 소수의 카메라로 넓은 영역을 감시 할 수 있으며, 연기가 발생한 후 짧은 시간 내에 연기를 자동 검출할 수 있다. 하지만 화재 연기의 오검 출로 인한 잘못된 경보가 자주 발생한다면 관재 요원이 경보 시스템을 무시할 수 있다.

참고문헌 (16)

N. Fujiwara and K. Terada, "Extraction of a smoke region using fractal coding," IEEE International symposium on communication and information technology, Vol.2, pp.659-662, 2004(10).
I. Kopilovic, b. Vagvolgyi, and T. Sziranyi, "Application of panoramic annular lens for motion analysis tasks: surveillance and smoke detection," Proceedings of 15th international conference on pattern recognition, Vol.4, pp.714-717, 2000(9).
J. Vicente and P. Guillemant, "An image processing technique for automatically detecting forest fire," International Journal of Thermal Sciences, Vol.41, No.12, pp.1113-1120, 2002.

상세보기
T. T. Truong and J. M. Kim "Early smoke detection system based on motion estimation," IFOST 2010 Proceedings, pp.437-440, 2010(10).
B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin, "Wavelet based real-time smoke detection in video," 13th European Signal Processing Conference EUSIPCO, 2005.
S. Calderara, P. Piccinini, and R. Cucchiara, "Smoke detection in video surveillance: A MoG model in the wavelet domain," ICVS 2008, LNCS 5008, pp.119-128, 2008.
A. Rafiee, and R. Tavakoli, "Fire and Smoke Detection using Wavelet Analysis and Disorder Characteristics," ICCRD, pp.262-265, 2011(3).
H. J. Grech-Cini, "Smoke detection," US Patent No. US6844818B2, 2005(1).
Z. Xiong, R. Caballero, H. Wang, A. M. Finn, M. A. Lelic, and P. Y. Peng, "Video-based smoke detection: possibilities, techniques, and challenges," SUPDET, Orlando, FL 2007.
Shen-Kuen, "Smoke detecting method and device," US Patent No. US7859419B2, 2008(12).
H. Maruta, A. Nakamura, and F. Kurokawa, "A New Approach for Smoke Detection with Texture Analysis and Support Vector Machine," IEEE International Symposium on Industrial Electronics, pp.1550-1555, 2010(7).
R. M. Haralic and K. Shanmugam, "Textural Features for Image Classification," IEEE Transactions on Systems, Man, and Cybernetics Vol.3, No.6, pp.610-621, 1973.
http://www.csie.ntu.edu.tw/-cjlin/libsvm
P. L. Rosin and E. Ioannidis, "Evaluation of global image thresholding for change detection," Pattern Recognition Letters, Vol.24, pp.2345-2356, 2003.

상세보기
C. Su and A. Amer, "A real-time adaptive thresholding for video change detection," IEEE International Conference on Image Processing, pp.157-160, 2006(10).
J. M. McHugh and J. Konrad, "Foreground Adaptive Background Subtraction," IEEE Signal Process. Lett, Vol.16, No.5, pp.390-393, 2009.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증