[논문]CNN을 활용한 영상 기반의 화재 감지

김영진; 김은경

doi:10.6109/jkiice.2016.20.9.1649

CNN을 활용한 영상 기반의 화재 감지
Image based Fire Detection using Convolutional Neural Network 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.20 no.9, 2016년, pp.1649 - 1656

김영진 (Department of Computer Science & Engineering, Graduate School, Korea University of Technology and Education) , 김은경 (School of Computer Science & Engineering, Korea University of Technology and Education)

초록
AI-Helper

기존의 센서 기반 화재 감지 시스템은 주변 환경이 센서에 미치는 요인들에 따라 성능이 크게 제한될 수 있다. 이러한 문제를 해결하기 위해 영상 기반의 화재 감지 시스템이 다수 등장했지만, 영상에서 화염의 특성을 사람이 직접 정의하여 알고리즘을 개발하기 때문에 유사 개체에 대해 오경보를 발생시킬 수 있다. 또한 영상 프레임간의 움직임을 이용할 경우, 네트워크가 원활하지 않은 환경에서는 의도한 알고리즘이 정확하게 동작하지 않는 단점이 있다. 본 논문에서는 입력 영상 프레임으로부터 색상정보를 이용하여 화염의 후보 영역을 먼저 검출한 다음, 학습된 CNN(Convolutional Neural Network)을 활용해서 최종적으로 화재를 감지하는, CNN을 활용한 영상 기반의 화재 감지 방법을 제안하였다. 또한, 검출률과 미검출율 및 오검출률의 비교를 통해서 기존 연구에 비해 성능이 크게 향상되었음을 보였다.

Abstract ▼ AI-Helper

Performance of the existing sensor-based fire detection system is limited according to factors in the environment surrounding the sensor. A number of image-based fire detection systems were introduced in order to solve these problem. But such a system can generate a false alarm for objects similar in appearance to fire due to algorithm that directly defines the characteristics of a flame. Also fir detection systems using movement between video flames cannot operate correctly as intended in an environment in which the network is unstable. In this paper, we propose an image-based fire detection method using CNN (Convolutional Neural Network). In this method, firstly we extract fire candidate region using color information from video frame input and then detect fire using trained CNN. Also, we show that the performance is significantly improved compared to the detection rate and missing rate found in previous studies.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 기존 영상 기반의 화재 감지 방법은 경험적, 실험적 임계치 설정으로 인해 실제 상황에 적용이 어렵고, 화염과 유사한 개체에 대해 오경보를 발생시킬 수 있으며, 영상 프레임간의 움직임을 이용하는 화재 감지의 경우 네트워크가 원활하지 않은 환경에서는 의도한 알고리즘이 정확하게 동작하지 않는다는 단점이 있다. 따라서 본 논문에서는 딥러닝(deep learning)을 이용한 화재 감지 방법에 대해 연구하였으며, 특히 딥러닝의 지도학습(Supervised Learning)모델 가운데 하나인 CNN (Convolutional Neural Network)을 활용해서 화염을 학습하여 화재를 감지하는 방법에 대해 연구하였다.
컬러 모델을 이용하지 않고 영상 처리를 통해서 화염을 감지하는 방법은 사람이 직접 정의한 화염의 특성을 이용해서 화염 발생 여부를 감지하게 되는데, 이런 감지 방법은 사람이 인식하지 못한 화염의 특성은 고려할 수 없기 때문에 화염을 제대로 감지하는데 한계가 있다. 따라서 본 논문에서는 학습 데이터로부터 영상 내 화염의 특성을 자동으로 추출해서 화염을 검출할 수 있도록, 딥러닝 알고리즘 가운데 하나인 CNN을 활용해서 화재를 감지하는 방법을 제안하였다.
한편, 1/2로 감소시켰을 때 학습 속도와 정확도 면에서 가장 우수하였다. 따라서 본 연구에서는 CaffeNet의 컨볼루션 계층과 완전 연결 계층의 노드 수를 1/2로 감소시켜서 화재 감지를 위한 CNN을 구성하였다.
따라서 각 파라미터의 수가 매우 많아서 학습에 아주 많은 시간이 소요되고, 충분한 학습 데이터가 없으면 제대로 학습이 되지 않아 오분류를 발생시킬 수 있다. 따라서 본 연구에서는 화염 분류에 적합한 CNN 을 구성하기 위해 CaffeNet의 컨볼루션 계층과 완전 연결 계층의 노드 수를 변화시키면서 CNN의 성능을 테스트하였다. 그 결과 각 계층의 노드 수를 1/8 이상 감소시킬 경우 CNN의 규모가 너무 작아져서 학습이 제대로 이루어지지 않았고, 1/4로 감소시켰을 때는 학습 속도는 빠르지만 학습 데이터에 과적합(overfitting)되는 경향을 보였다.
본 연구에서는 그림 3과 같이 4,130개의 검증 데이터를 이용하여 CNN의 학습 결과를 검증하였다. 본 논문에서는 Intel Core i7-5930의 CPU와 GTX Titan X GPU의 컴퓨팅 환경에서 CNN의 학습과 검증을 수행하였다. 화재 감지에 활용한 CNN은 16,529개의 학습 데이터를 이용해서 15만 번 학습을 반복했으며, 학습에 소요된 시간은 약 25시간 정도다.

제안 방법

본 논문에서는 ImageNet[7]에서 획득한 화염 이미지와 유튜브에서 검색한 화재 실험 동영상으로부터 추출한 화염 이미지를 포함해서 8,077장의 화염 이미지와 조명, 광원 등 화재와 유사한 개체 이미지를 포함하는 비화염 이미지 12,582장을 활용했는데, 화염 이미지 가운데 약 6,463장과 비화염 이미지 가운데 약 10,066장은 학습 데이터 셋(training data set)으로 활용하고, 나머지는 검증 데이터 셋(validation data set)으로 활용하였다. Caffe를 이용해서 CNN을 학습시키기 위해 먼저 준비된 학습 데이터 셋과 검증 데이터 셋을 LMDB (Lightning Memory-mapped DataBase)라고 불리는 공개 데이터베이스로 변환하였다. LMDB는 key-value 쌍으로 저장되는 데이터베이스로, 데이터의 읽기 연산 시 윈도우나 리눅스 같은 운영체제의 파일시스템의 읽기 연산보다 속도가 빠르기 때문에 CNN 학습 과 같이 반복적으로 자료를 읽어야 하는 문제에 매우 효과적이다.
특히, Caffe는 지금까지 개발된 여러 유형의 CNN 정의 및 ImageNet[3]에서 제공하는 다양한 이미지들을 활용해서 미리 학습시킨 여러 가지 학습된 모델(pretrained model)들을 함께 제공한다. 또한, Python 및 Matlab 인터페이스를 지원하여 개발이 용이하므로, 본 연구에서는 화재 감지를 위한 CNN을 구성하는데 Caffe를 활용하였다.
본 논문에서는 Caffe에서 제공하는 CNN 유형 가운데 하나인 BVLC(Berkeley Vision and Leaning Center) Reference CaffeNet[4]의 구조를 일부 변경해서 화염 감지에 최적화된 CNN을 구성하였다. CaffeNet은 Krizhevsky[3]가 ILSVRC(Imagenet Large- Scale Visual Recognition Challenge) 2012의 1000개 클래스로 구성된 120만개의 이미지를 분류하기 위해 제안한 CNN인 AlexNet을 약간 수정한 것으로, 그림 2와 같이 컨볼루션 계층과 풀링 계층이라는 2개 계층이 서로 교차되어 이미지의 특징을 추출하고, 이어서 연속되는 컨볼루션 계층을 통해 여러 가지 변화(variation)에 불변인 특징들을 추출하게 된다.
본 논문에서는 RGB 입력 영상 프레임을 YCbCr 채널로 변환하여 화염 후보 픽셀을 masking하고, 8-neighbors labeling을 통해 영역 라벨링을 수행한 다음, 마지막으로 학습된 CNN을 활용해서 최종적으로 화염 여부를 판단하는, CNN을 활용한 영상 기반의 화재 감지 방법을 제안하였다. 본 연구에서는 CaffeNet의 구조를 그대로 사용하지 않고 충분한 테스트를 거쳐, 화재 감지에 최적화되도록 각 노드들을 1/2로 줄여 학습 속도 및 성능을 최적화시켰다.
본 논문에서는 RGB 입력 영상 프레임을 YCbCr 채널로 변환하여 화염 후보 픽셀을 masking하고, 8-neighbors labeling을 통해 영역 라벨링을 수행한 다음, 마지막으로 학습된 CNN을 활용해서 최종적으로 화염 여부를 판단하는, CNN을 활용한 영상 기반의 화재 감지 방법을 제안하였다. 본 연구에서는 CaffeNet의 구조를 그대로 사용하지 않고 충분한 테스트를 거쳐, 화재 감지에 최적화되도록 각 노드들을 1/2로 줄여 학습 속도 및 성능을 최적화시켰다. 또한 기존의 컬러 모델을 이용한 화재 감지 방법이 유사 색상에 대해 오경보를 발생시키는데 반해, 본 연구에서는 CNN을 이용해 화염 후보 영역에 대해서만 최종적으로 화염 여부를 판단함으로써 기존의 연구에 비해 오경보 비율을 크게 낮추는 결과를 얻었다.
Celik 등은 화염 픽셀 분류를 위해 규칙 기반 칼라 모델을 적용하였다. 즉, 화염에서 발생되는 휘도(luminance)와 색차(chrominance)를 효과적으로 검출 하기 위해, RGB 컬러 모델을 식 (1)을 이용하여 휘도와 색차를 보다 효과적으로 분리할 수 있는 YCbCr 컬러 모델로 변환하고, 식 (2)를 이용해서 조도의 변화에 높은 강인성을 보이는 화재 감지 방법을 제안하였다[2].
또한 기존의 컬러 모델을 이용한 화재 감지 방법이 유사 색상에 대해 오경보를 발생시키는데 반해, 본 연구에서는 CNN을 이용해 화염 후보 영역에 대해서만 최종적으로 화염 여부를 판단함으로써 기존의 연구에 비해 오경보 비율을 크게 낮추는 결과를 얻었다. 특히 촛불, 램프, 라이터 등과 같이 화재로 오인될 수 있는 이미지들을 비 화염 클래스로 정의하여 학습시킴으로써 불필요한 오경보를 발생시키지 않도록 하였다.
하지만 본 논문에서는 τ 값을 최대한 줄여서 오검출이 발생하되 최대한 화염 픽셀을 감지할 수 있도록 35로 설정하였다.

대상 데이터

본 논문에서는 ImageNet[7]에서 획득한 화염 이미지와 유튜브에서 검색한 화재 실험 동영상으로부터 추출한 화염 이미지를 포함해서 8,077장의 화염 이미지와 조명, 광원 등 화재와 유사한 개체 이미지를 포함하는 비화염 이미지 12,582장을 활용했는데, 화염 이미지 가운데 약 6,463장과 비화염 이미지 가운데 약 10,066장은 학습 데이터 셋(training data set)으로 활용하고, 나머지는 검증 데이터 셋(validation data set)으로 활용하였다. Caffe를 이용해서 CNN을 학습시키기 위해 먼저 준비된 학습 데이터 셋과 검증 데이터 셋을 LMDB (Lightning Memory-mapped DataBase)라고 불리는 공개 데이터베이스로 변환하였다.
한편, 오차가 0으로 수렴하더라도 CNN이 학습 데이터에 과적합될 수 있으므로, 반드시 검증 데이터 셋을 활용해서 CNN의 학습 결과에 대한 검증이 필요하다. 본 연구에서는 그림 3과 같이 4,130개의 검증 데이터를 이용하여 CNN의 학습 결과를 검증하였다. 본 논문에서는 Intel Core i7-5930의 CPU와 GTX Titan X GPU의 컴퓨팅 환경에서 CNN의 학습과 검증을 수행하였다.

데이터처리

본 논문에서 제안한 CNN을 활용한 화재 감지 방법의 성능을 객관적으로 평가하기 위해, 기존의 관련 연구[8, 9]에서 활용한 6개의 화재 동영상을 그대로 사용하였으며, 그림 11과 같이 Ceilk[2]과 Toreyin[8], 그리고 Kwang-Ho Cheong[9]의 연구 결과와 비교하였다.
먼저 학습 데이터를 CNN의 전방향으로 전파시킴으로써 학습 데이터의 클래스를 추정한다. 이후 추정한 학습 데이터 클래스와 라벨(target value)간의 오차를 오차함수 중 하나인 Softmax를 이용해서 계산한다. 오차함수를 통해 계산된 오차를 오류 역전파(error backpropagation) 알고리즘을 통해 CNN의 역방향으로 전파하면서 CNN의 파라미터들을 수정하며, 이런 과정을 반복함으로써 CNN을 학습시키게 된다.

성능/효과

3.3절에서 언급한 컴퓨팅 환경에서 6개의 화재 동영상을 테스트한 결과, 프레임 당 처리 속도는 평균 0.12초 정도이며, 초당 10개 내외의 프레임을 처리하였다.
따라서 본 연구에서는 화염 분류에 적합한 CNN 을 구성하기 위해 CaffeNet의 컨볼루션 계층과 완전 연결 계층의 노드 수를 변화시키면서 CNN의 성능을 테스트하였다. 그 결과 각 계층의 노드 수를 1/8 이상 감소시킬 경우 CNN의 규모가 너무 작아져서 학습이 제대로 이루어지지 않았고, 1/4로 감소시켰을 때는 학습 속도는 빠르지만 학습 데이터에 과적합(overfitting)되는 경향을 보였다. 한편, 1/2로 감소시켰을 때 학습 속도와 정확도 면에서 가장 우수하였다.
본 연구에서는 CaffeNet의 구조를 그대로 사용하지 않고 충분한 테스트를 거쳐, 화재 감지에 최적화되도록 각 노드들을 1/2로 줄여 학습 속도 및 성능을 최적화시켰다. 또한 기존의 컬러 모델을 이용한 화재 감지 방법이 유사 색상에 대해 오경보를 발생시키는데 반해, 본 연구에서는 CNN을 이용해 화염 후보 영역에 대해서만 최종적으로 화염 여부를 판단함으로써 기존의 연구에 비해 오경보 비율을 크게 낮추는 결과를 얻었다. 특히 촛불, 램프, 라이터 등과 같이 화재로 오인될 수 있는 이미지들을 비 화염 클래스로 정의하여 학습시킴으로써 불필요한 오경보를 발생시키지 않도록 하였다.
오검출율은 화염이 존재하지 않는 프레임에서 화염으로 잘못 검출한 프레임의 비율이다. 성능 평가 결과 그림 11에서 알 수 있듯이 본 연구에서 제안한 CNN을 활용한 화재 감지 방법의 검출율은 평균 99.05%로, Movie 2를 제외한 나머지 동영상에서는 100%의 검출율을 보이면서 기존 연구들 보다 우수한 성능을 보이고 있다. 미검출률에 있어서도 Movie 2를 제외하고는 0%로 다른 연구들 보다 우수하며, 오검출율 또한 0%로 모든 영상에 대해서 오검출이 전혀 발생하지 않았다.

후속연구

따라서 본 연구에서는 우선 화염 감지에 초점을 맞춰 연구하였으며, 향후 비 화재 연구 및 화재 연구에 대한 충분한 학습 이미지를 확보하여 연구할 계획이다. 또한, 향후 다양한 학습 데이터를 확보해서 화재 발생 여부뿐만 아니라 사람이나 애완동물, 폭발물 등의 존재 여부도 감지할 수 있는 화재 감지 시스템으로 확장할 계획이다.
따라서 본 연구에서는 우선 화염 감지에 초점을 맞춰 연구하였으며, 향후 비 화재 연구 및 화재 연구에 대한 충분한 학습 이미지를 확보하여 연구할 계획이다. 또한, 향후 다양한 학습 데이터를 확보해서 화재 발생 여부뿐만 아니라 사람이나 애완동물, 폭발물 등의 존재 여부도 감지할 수 있는 화재 감지 시스템으로 확장할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝이란 무엇인가?	딥러닝은 여러 비선형 변환 기법을 이용해서 학습 데이터에 대한 높은 수준의 추상화를 통해 데이터의 주요 특징들을 추출한 다음, 데이터 군집 및 분류를 수행하는 기계학습의 일종으로, Auto Encoder, DBN (Deep Belief Network), CNN 등을 활용하는 방법이 있으며, 최근 영상인식을 포함한 여러 영역에서 탁월한 성능을 보이고 있다. 국제 영상 인식 대회인 ImageNet Challenge에서는 2012년 제프리 힌튼 교수의 Deep CNN이 기존의 다른 영상 처리 기술들을 크게 앞서며 상위권을 휩쓰는 높은 성능을 보였으며[3], 이후 지속적으로 딥러닝을 적용한 모델들이 상위권에 오르고 있다.
	오인 출동으로 인한 피해는?	우리나라 국민안전처의 화재 출동 현황에 따르면, 지난 5년간 약 500,000건의 출동 중 오인으로 인한 건수가 290,000건 이상으로, 50% 이상의 오인 출동이 발생하고 있고, 화재 시스템의 경보 오동작으로 인해 발생한 오인 출동의 비율은 매년 증가하고 있는 추세이다[1]. 이러한 오인 출동은 인적, 물적 낭비를 초래하고, 실제 화재에 대해 신속한 대처가 어려워짐에 따른 추가적인 비용을 발생시킬 수 있다. 그러므로 경보 오동작에 따른 불필요한 사회적 비용을 줄이기 위해, 비 화재 요소를 화재로 판단하는 오경보를 줄이면서 화재를 정확하게 감지할수 있는 화재 감지 방법에 대한 연구가 절실히 필요하다.
	기존의 화재 감지 방법의 한계점은 무엇인가?	기존의 화재 감지 방법은 주로 화재 센서(연기, 불꽃, 온도 등) 기반의 화재 감지와 카메라를 이용한 영상 처리 기반의 화재 감지로 구분된다. 화재 센서 기반의 화재 감지는 주변 환경의 여러 요인에 따라 시스템의 성능이 크게 제한될 수 있다는 단점이 있다. 예를 들어, 연기 센서는 통풍이 잘 되는 공간이나 화재 발생 시 센서 주변으로 공기의 확산이 발생하면 화재를 잘 감지하지 못하고, 불꽃 센서의 경우 자외선 감지 기법을 사용하는 경우 연기 혹은 기타 요소에 의해 자외선이 흡수되어 감도가 떨어질 수 있다.

참고문헌 (9)

Ministry of Public Safety and Security National Fire Data System, statistics from 2011 to 2015 [Internet]. Available: http://www.nfds.go.kr/fr_base_0001.jsf.
T. Celik and H. Demirel, "Fire Detection in Video Sequences Using a Generic color Model," Fire Safety Journal, vol. 44, no. 2, pp. 147-158, Feb. 2009.

상세보기
A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural network," in Advances in Neural Information Processing Systems, pp. 1097-1105, 2012.
Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell "Caffe: An open source convolutional architecture for fast feature embedding," in Proceeding of the ACM international Conference on Multimedia, ACM, pp. 675-678, 2014.
W. B. Horng, J. W. Peng, and C. Y. Chen. "A new image-based real-time flame detection method using color analysis," in Proceeding of the IEEE Networking, Sensing and Control, pp. 100-105, 2005.
Y. T. Do, "Visual Sensing of Fires Using Color and Dynamic Features", Journal of Sensor Science and Technology, vol. 21, no. 3, pp. 211-216, Mar. 2012.

원문보기 상세보기
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, L. and Fei-Fei, "Imagenet large scale visual recognition challenge," International Journal of Computer Vision, vol. 115, no. 3, pp. 211-252, April. 2015.

상세보기
B.U. Toreyin, Y. Dedeoglu, U. Gudukbay, and A. E. Cetin, "Computer vision based method for real-time fire and flame detection." Pattern recognition letters, vol. 27, no. 1, pp. 49-58, Jan. 2006.

상세보기
K. H. Cheong, B. C. Ko, and J. Y. Nam, "Automatic fire detection system using Bayesian Network," Korea Information Processing Society, vol. 15, no. 2, pp. 87-94, Feb. 2008.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증