[논문]지하공동구의 CCTV 영상 기반 AI 연기 감지 모델 개발

김정수; 박상미; 홍창희; 박승화; 이재욱

doi:10.15683/kosdi.2022.6.30.364

지하공동구의 CCTV 영상 기반 AI 연기 감지 모델 개발
Development of AI Detection Model based on CCTV Image for Underground Utility Tunnel 원문보기

한국재난정보학회논문집 = Journal of the Society of Disaster Information, v.18 no.2 = no.56, 2022년, pp.364 - 373

김정수 (Korea Institute of Civil Engineering and Building Technology, Department of Future and Smart Construction) , 박상미 (Korea Institute of Civil Engineering and Building Technology, Department of Future and Smart Construction) , 홍창희 (Korea Institute of Civil Engineering and Building Technology, Department of Future and Smart Construction) , 박승화 (Korea Institute of Civil Engineering and Building Technology, Department of Future and Smart Construction) , 이재욱 (Korea Institute of Civil Engineering and Building Technology, Department of Future and Smart Construction)

초록
AI-Helper

연구목적: 본 논문은 지하공동구의 초기 화재 감지를 위해 CCTV를 활용한 AI 연기 객체 감지 모델을 개발하는데 목적이 있다. 연구방법:비정형성이 높은 연기 객체의 감지 성능을 제고하기 위해 화재 감지에 특화된 딥러닝 객체 감지 모델을 지하공동구 연기 감지에 특화되도록 학습시켰고, 학습데이터셋의 정제 및 학습 중 Gradient explosion 완화 등 감지 성능 개선을 위한 방법들을 적용해 모델 결과를 비교하였다. 연구결과: 결과는 제안된 방법을 통해 모델 성능을 향상시켰고 mAP 등의 지표를 평가를 통해 개발 모델이 우수한 성능을 보유하고 있음을 보여준다. 최종 모델은 지하공동구 환경의 연기에 대해 미탐이 낮은 반면 오탐이 다수 발견되는 성능을 보였다. 결론: 본 논문의 모델은 지하공동구 관리시스템과 연계를 통해 보완함으로써 지하공동구의 연기 객체 감지에 활용할 수 있을 것으로 판단된다.

Abstract ▼ AI-Helper

Purpose: The purpose of this paper is to develope smoke detection using AI model for detecting the initial fire in underground utility tunnels using CCTV Method: To improve detection performance of smoke which is high irregular, a deep learning model for fire detection was trained to optimize smoke detection. Also, several approaches such as dataset cleansing and gradient exploding release were applied to enhance model, and compared with results of those. Result: Results show the proposed approaches can improve the model performance, and the final model has good prediction capability according to several indexes such as mAP. However, the final model has low false negative but high false positive capacities. Conclusion: The present model can apply to smoke detection in underground utility tunnel, fixing the defect by linking between the model and the utility tunnel control system.

주제어

표/그림 (11)

그림 Fig. 1. Underground utility tunnel and its safety management using CCTV
그림 Fig. 2. Image examples of smoke to train a deep learning model
표 Table 1. Amount of smoke image dataset
그림 Fig. 3. Smoke labeling rules(blue line: bounding box)
그림 Fig. 4. Deep learning model core architecture for irregular object detection(Kim et al., 2020)
그림 Fig. 5. Comparisons with deep learing models: Accuracy curve(left) and Loss curve(right)
그림 Fig. 6. Final model performance investigation: PR curve (left) and smoke video application (right)
표 Table 2. Confusion matrix of smoke detection model
그림 Fig. 7. Application of the developed smoke detection model to pseudo underground utility tunnel environment
표 Table 3. Object detection model Performance indexes and those of the current model
그림 Fig. 8. Application of the developed smoke detection model to underground utility tunnel environment

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 지하공동구 환경에서의 연기 감지 모델을 개발하고 이에 대한 성능을 평가하여, 지하공동구의 초기 재난·재해 상황을 방지하기 위한 활용 가능성을 분석하였다

제안 방법

연기 감지 모델에 대한 학습을 진행하였으나, 훈련량 대비 오탐 및 미탐 등 감지 성능이 낮음을 확인하였다. 모델 성능 저하 원인을 과적합(Overfitting), 불량 데이터셋 포함, Gradient exploding로 판단하고 이를 해결하기 위한 방법을 구현하였다.
연기를 포함한 이미지 데이터셋 구축을 위해 Youtube에 화재 및 연기에 대한 검색어를 한국어, 영어, 중국어, 일본어 등으로 입력하여 관련 영상을 추출하였다. 또한 같은 방법으로 구글 이미지 검색 결과를 수집하였다.
최종 학습된 모델의 전반적인 연기 검출 성능 확인을 위해 PR 선도를 확인하고, 연기를 포함한 테스트 영상에 대해 연기 감지 성능을 확인하였다(Fig. 6).
최종적으로 지하공동구와 유사한 상황인 터널 내 차량 화재 및 화재 실험 영상을 활용해 연기 객체 감지 성능을 정성적으로 확인하였다(Fig. 7).
추가로 실제 지하공동구의 연기 발생 상황에 대해 연기 객체 감지 성능을 정성적으로 평가하였다. Fig.
8의 Video 1은 청주시 OO 지하공동구에서 연기 발생상황을 연출한 영상이다. 현재 운영 중인 지하공동구이므로 화재에 의한 실제 연기 연출은 불가하므로, 스모그머신을 이용해 연기 발생 상황을 연출하고 이때의 연기 검출 여부를 확인하였다. 연출을 위해 설치한 CCTV로부터 각각5m, 10m 떨어진 지점에서 두 차례 연기를 발생시켜 영상을 획득하였고, 해당 영상에 개발모델을 적용하여 지하공동구 내에서도 연기가 잘 검출해내고 있음을 확인하였다.

대상 데이터

다만, 수집 영상에서 소화기 및 물대포 등으로 화재를 진압하는 영상은 연기에 대한 오탐을 야기할 수 있어 제외하였다. 관련 영상 4,152 개를 수집하고 각 영상을 학습을 위해 전처리하였다. 연기 영상으로부터 초당 5장 이내로 이미지를 추출하고, 본 연구에서 사용한 딥러닝 모델의 이미지 크기 416x416으로 재조정(Resizing)하였다.
관련 영상 4,152 개를 수집하고 각 영상을 학습을 위해 전처리하였다. 연기 영상으로부터 초당 5장 이내로 이미지를 추출하고, 본 연구에서 사용한 딥러닝 모델의 이미지 크기 416x416으로 재조정(Resizing)하였다. 이미지 검색결과로부터 얻은 이미지 또한 같은 크기로 조정하였다.
각 이미지에 포함된 연기의 위치 및 크기 정보는 중심좌표법 대신 TLBR(Top-Left, Below-Right) 방법으로 생성하여 오차손실 영향을 최소화 하도록 하였다. 전처리 과정을 통해 구축된 전체 연기 데이터는 40,000개이다(Table 1).
또한 같은 방법으로 구글 이미지 검색 결과를 수집하였다. 지하공동구와 유사한 환경인 터널 및 실내에서의 연기만으로 데이터셋을 구축하고자 하였으나 데이터셋 구축에 한계가 있어 일반 환경에서의 연기로 수집 대상을 확대하였다(Fig. 2).

이론/모형

이미지 검색결과로부터 얻은 이미지 또한 같은 크기로 조정하였다. 각 이미지에 포함된 연기의 위치 및 크기 정보는 중심좌표법 대신 TLBR(Top-Left, Below-Right) 방법으로 생성하여 오차손실 영향을 최소화 하도록 하였다. 전처리 과정을 통해 구축된 전체 연기 데이터는 40,000개이다(Table 1).

성능/효과

501 수준으로 양호한 성능을 보였다. 개발 중 성능 확인용으로 활용되었던4개 영상에 대해서도 초기 모델 대비 오탐이나 미탐없이 연기 객체 인식이 잘 이뤄지는 것을 확인할 수 있었다.
5에 나타내었다. 과적합 문제 해결을 위한 기법 적용 효과로 약간의 정확도 증가 및 손실함수 감소가 확인되었다. 다만, 훈련 및 검증 데이터에 국한하여 결과를 평가한 것이므로 극적인 성능 개선 효과는 확인하기 어렵다.
3이다. 모델 개발 중 사용했던 테스트 영상 및 오차행렬 결과와 마찬가지로 연기 객체의 미탐은 거의 발생되지 않았으나, 오탐이 다수 발견되었다. 터널 화재 사고 영상(Fig.
8의 Video 1에 비해 불리한 조건이다. 분석 영상은 콘크리트 벽에 비친 불꽃의 빛 반사를 연기로 오탐하는 결과를 종종 보여주었으나(Frame 1) 전반적으로 연기 발생을 잘 감지해내고 있고, 화재 전소 후 연기 확산까지도 감지해내고 있음을 확인 할 수 있다.
연기 감지 모델에 대한 학습을 진행하였으나, 훈련량 대비 오탐 및 미탐 등 감지 성능이 낮음을 확인하였다. 모델 성능 저하 원인을 과적합(Overfitting), 불량 데이터셋 포함, Gradient exploding로 판단하고 이를 해결하기 위한 방법을 구현하였다.
현재 운영 중인 지하공동구이므로 화재에 의한 실제 연기 연출은 불가하므로, 스모그머신을 이용해 연기 발생 상황을 연출하고 이때의 연기 검출 여부를 확인하였다. 연출을 위해 설치한 CCTV로부터 각각5m, 10m 떨어진 지점에서 두 차례 연기를 발생시켜 영상을 획득하였고, 해당 영상에 개발모델을 적용하여 지하공동구 내에서도 연기가 잘 검출해내고 있음을 확인하였다. 다만 조도가 높은 편이라 연기 객체 감지에 유리한 환경이라는 점과 연기가 존재하지 않는 콘크리트 벽체 및 통로에 나타난 사람 그림자를 연기로 인식하는 결과(Frame 4)가 종종 관찰되는 한계가 존재하였다.
본 논문에서는 지하공동구 환경에서의 연기 감지 모델을 개발하고 이에 대한 성능을 평가하여, 지하공동구의 초기 재난·재해 상황을 방지하기 위한 활용 가능성을 분석하였다. 일반 객체와 달리 심한 비정형성과 투명성까지 갖는 연기 객체의 특성을 고려해 이에 특화된 깊은 딥러닝 모델을 사용하여 감지 모델을 개발하였고 감지 성능 개선을 위한 방법들을 제안 및 그 결과를 비교함으로써 조도가 낮은 환경에서의 다양한 형상 및 색 특성을 갖는 연기 객체의 검출 가능성을 개선할 수 있음을 보였다. 최종 개발된 모델은 테스트셋에 대해 정밀도 및 검출률이 각각0.
822로 높은 성능을 보여주었다. 일반 환경과 유사 및 실제 지하공동구 환경에서의 연기 발생 영상에 대해 연기 감지 모델을 적용하여 정성적으로 평가한 결과, 전반적으로 미탐률이 낮았고 일반 환경에서의 연기 오탐률이 낮았던 반면 어두운 환경에서는 영상 상태, 유사 연기 객체에 의한 오탐도 다소 확인되었다. 이러한 결과는 오탐 감소를 위해 학습 데이터셋의 확보 등 추가적인 보완이 필요할 것으로 보이나, 지하공동구 기존 관제시스템과의 유기적인 연계를 통해 활용성을 확보할 수 있을 것으로 판단된다.
일반 객체와 달리 심한 비정형성과 투명성까지 갖는 연기 객체의 특성을 고려해 이에 특화된 깊은 딥러닝 모델을 사용하여 감지 모델을 개발하였고 감지 성능 개선을 위한 방법들을 제안 및 그 결과를 비교함으로써 조도가 낮은 환경에서의 다양한 형상 및 색 특성을 갖는 연기 객체의 검출 가능성을 개선할 수 있음을 보였다. 최종 개발된 모델은 테스트셋에 대해 정밀도 및 검출률이 각각0.88, 0.90 수준이며, mAP 지표도 0.822로 높은 성능을 보여주었다. 일반 환경과 유사 및 실제 지하공동구 환경에서의 연기 발생 영상에 대해 연기 감지 모델을 적용하여 정성적으로 평가한 결과, 전반적으로 미탐률이 낮았고 일반 환경에서의 연기 오탐률이 낮았던 반면 어두운 환경에서는 영상 상태, 유사 연기 객체에 의한 오탐도 다소 확인되었다.
추가로 개발된 모델 성능을 정량적으로 평가하기 위해 테스트 데이터셋 5000개에 대한 연기 검출 결과로부터 오차행렬를 Table 2와 같이 산정하고, Table 3에 나타낸4개 지표를 활용해 모델 성능을 판단하였다. 테스트 데이터셋에 대해 개발 모델은 정밀도(P)가 0.8776으로 높아 오탐률이 낮은 것으로 평가되며, 검출률(R)도 0.9로 미탐률이 낮을 것으로 판단된다.
학습 데이터가 특정 연기 유형에 편중 되어 낮은 성능이 발생한 것임을 확인할 수 있다. 한편 Gradient explosion 해결 기법까지 적용한 경우 정확도는 타 모델에 비해 빠르게 상승하였으며 최대 0.92까지 상승하였고 손실함수는 0.036 수준까지 감소된 것을 확인할 수 있었다.

후속연구

일반 환경과 유사 및 실제 지하공동구 환경에서의 연기 발생 영상에 대해 연기 감지 모델을 적용하여 정성적으로 평가한 결과, 전반적으로 미탐률이 낮았고 일반 환경에서의 연기 오탐률이 낮았던 반면 어두운 환경에서는 영상 상태, 유사 연기 객체에 의한 오탐도 다소 확인되었다. 이러한 결과는 오탐 감소를 위해 학습 데이터셋의 확보 등 추가적인 보완이 필요할 것으로 보이나, 지하공동구 기존 관제시스템과의 유기적인 연계를 통해 활용성을 확보할 수 있을 것으로 판단된다.
적용결과로부터 개발모델의 지하공동구 및 유사 환경에서의 연기 오탐 문제는 학습 데이터셋의 확보 등 추가적인 보완이 필요할 것으로 판단되나, 지하공동구 내 CCTV는 고정식 카메라이고, 현장 상황을 고려한 검출 임계값 조정, 재난 상황 인식시 조명 점등 등 보조적인 분석 수단이 존재하므로, 이들과 결합을 통해 개발모델의 예측 성능을 개선할 수 있다고 판단된다.

참고문헌 (13)

Girshick, R., Donahue, J., Darrell, T., Malik, J. (2014). "Rich feature hierarchies for accurate object detection and semantic segmentation." In Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, US, pp. 580-587.
Khan, S., Muhammad, K., Hussain, T., Ser, J. D., Cuzzolin, F., Bhattacharyya, S., Akhtar, Z., de Albuquerque, V. (2021). "DeepSmoke: Deep learning model for smoke detection and segmentation in outdoor environments." Expert Systems with Applications, Vol. 182, No. 15, 115125.
Kim, D., Jeong, J., Park, S., Go, J., Yeom, C. (2020). "A study on the application of optimal evacuation route through evacuation simulation system in case of fire." Journal of the Society of Disaster Information, Vol. 16, No. 1, pp. 96-110. (In Korean)
Kim, J., Lee, C.-W., Park, S.-H., Lee, J.-H., Hong, C.-H. (2020). "Development of fire detection model for underground utility facilities using deep learning: Training data supplement and bias optimization." Journal of the Korea Academia-Industrial Cooperation Society , Vol. 21, No. 12, pp.320-330. (In Korean)
Lee, B.-Y. (2017). Deep Learning from Scratch, Hanbit Media, Seoul, Korea (In Korean)
Lee, J.-S., Lee, S.-K., Kim, D.-W., Hong, S.-J., Yang, S.-I. (2018). "Trends on object detection techniques based on deep learning." Electronics and Telecommunications Trends, Vol. 33, No. 4, pp. 23-32. (In Korean)
Redmon, J., Divvala, S., Girshick, R., Farhadi, A. (2016). "You only look once: Unified, real-time object detection." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, US, pp. 779-788.
Ren, S., He, K., Girshick, R., Sun, J. (2016). "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in Neural Information Processing Systems, Vol. 28, pp. 1-9.
Ryu, D., Kwak, D. (2020) "A study on flame and smoke detection algorithm using convolutional neural netwrok based on deep learning." Journal of Korean Society of Hazard Mitigation, Vol. 20, No. 1, pp. 223-232. (In Korean)
Saponara, S., Elhanashi, A., Gagliardi, A. (2021). "Real-time video fire/smoke detection based on CNN in antifire surveillance systems." Journal of Real-Time Image Processing, Vol. 18, No. 3, pp. 889-900.

상세보기
Son, G., Son, S. (2021). "A study on fire alarm test of Iot multi-fire detector combined smoke/CO and smoke/temperature sensors." Journal of the Society of Disaster Information, Vol. 17, No. 2, pp. 236-244. (In Korean)
Yang, J., Chen, F., Zhang, W. (2008). "Visual-based smoke detection using support vector machine." 2008 in Fourth International Conference on Natural Computation, Jinan, China, pp. 301-305.
Yuan, F. (2008). "A fast accumulative motion orientation model based on integral image for video smoke detection." Pattern Recognition Letter, Vol. 29, No. 7, pp.925-932.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증