[논문]화재 탐지 영역의 이미지와 동영상 인식 사이 인공지능 모델 성능 비교 연구

이정록; 이대웅; 정서현; 정상

doi:10.15683/kosdi.2023.12.31.968

[국내논문] 화재 탐지 영역의 이미지와 동영상 인식 사이 인공지능 모델 성능 비교 연구
A Comparative Study on Artificial in Intelligence Model Performance between Image and Video Recognition in the Fire Detection Area 원문보기

한국재난정보학회논문집 = Journal of the Society of Disaster Information, v.19 no.4, 2023년, pp.968 - 975

이정록 (Research Laboratory, AI Reader Co., Ltd) , 이대웅 (Research Laboratory, AI Reader Co., Ltd) , 정서현 (Research Laboratory, AI Reader Co., Ltd) , 정상 (Department of Parliament ICT convergence safety, University of Chung-Ang)

초록
AI-Helper

연구목적: 화재 탐지시 불꽃/연기의 오탐지율이 높은 것을 확인하고 오탐지율을 낮추기 위해 화재 상황을 인식하여 분류하는 방법과 데이터셋을 제안하고자 한다. 연구방법: 동영상을 학습데이터로 활용하여 화재 상황의 특징을 추출하여 분류모델에 적용하고, 평가는 한국정보화진흥원(NIA)에서 진행하는 화재 데이터셋을 이용하여 Yolov8, Slowfast의 모델 성능을 비교 및 분석하였다. 연구결과: YOLO는 배경의 영향에 따라 탐지 성능이 민감하게 변화하며, 화재의 규모가 너무 크거나 작을 때에도 화재를 제대로 감지하지 못했다. SlowFast는 동영상의 시간 축을 같이 학습하기 때문에 비정형 객체에 대해 주변이 흐리거나 밝아 형상을 명확하게 유추할 수 없는 상황에서도 우수하게 화재를 탐지하는 것을 확인했다. 결론: 화재 탐지율은 이미지 데이터 방식보다는 동영상 기반의 인공지능 인식(Detection) 모델을 활용했을 때 더 적절했음을 확인했다.

Abstract ▼ AI-Helper

Purpose: We would like to confirm that the false positive rate of flames/smoke is high when detecting fires. Propose a method and dataset to recognize and classify fire situations to reduce the false detection rate. Method: Using the video as learning data, the characteristics of the fire situation were extracted and applied to the classification model. For evaluation, the model performance of Yolov8 and Slowfast were compared and analyzed using the fire dataset conducted by the National Information Society Agency (NIA). Result: YOLO's detection performance varies sensitively depending on the influence of the background, and it was unable to properly detect fires even when the fire scale was too large or too small. Since SlowFast learns the time axis of the video, we confirmed that detects fire excellently even in situations where the shape of an atypical object cannot be clearly inferred because the surrounding area is blurry or bright. Conclusion: It was confirmed that the fire detection rate was more appropriate when using a video-based artificial intelligence detection model rather than using image data.

주제어

표/그림 (11)

그림 Fig. 1. YOLOv8 frame(locher, 2023)
그림 Fig. 2. SlowFast frame(Feichtehofer, 2019)
표 Table 1. Data for each class, 1:1:1 composition of proportions
표 Table 2. Learning by class, verification, Test data, 8:1:1 composition of proportions
그림 Fig. 3. YOLO Post-processing methods
표 Table 3. Server specs
그림 Fig. 4. If flames are seen in far away places (YOLO / SlowFast)
표 Table 4. YOLO post-processing, performance by S_TH(0-100)
표 Table 5. SlowFast, YOLO model performance(0-100)
표 Table 6. Performance of SlowFast, YOLO model by class(0-100)
그림 Fig. 5. If the shape of the flame is not clearly visible due to the strong flame (YOLO / SlowFast)

AI 본문요약
AI-Helper

문제 정의

, 2023), 복잡한 전처리가 필요하거나 연산 속도가 느려지는 등의 한계가 존재한다. 따라서 본 논문에서는 기존 이미지 데이터를 사용한 방식보다는 여러 프레임을 한번에 고려하는 동영상 기반의 딥러닝 모델이 정확한 화재탐지에 더 적절하다는 것을 실험으로 증명하려 한다.

제안 방법

그러나 경량화로 인해 오탐지율이 높아 이를 개선하기 위한 연구가 활발하다. 본 연구에서는 오탐지율을 낮추기 위해 화재 상황 분류 모델과 학습데이터셋을 제안한다. 기존 탐지 모델과 학습방법에 대해 실험을 통해 비교, 평가해 제안방법의 우수성을 증명한다.
화재탐지 분야에서 이미지 기반의 모델 YOLO와 동영상 기반의 모델 SlowFast 성능을 비교하여, 둘 중 어느 접근법이 화재탐지 분야에 더 유효한지 실험하였다. YOLO는 배경의 영향을 많이 받아 주변이 너무밝거나 흐리면 탐지 성능이 급감하며, 화재의 규모가 너무 크거나 작을 때에도 화재를 제대로 감지하지 못했다.

대상 데이터

Fig. 1은 YOLO 모델 구조를 보여준다.
데이터는 한국정보화진흥원(NIA)에서 제공하는 데이터셋을 사용했으며, 데이터는 1920x1080과 1280x720 크기로 12초 길이의 30FPS 클립으로 구성되어 있다. 클래스는 “정상(NONE)”, “연기(SMOKE)”, “불꽃(FLAME)” 3개로 구분하였으며, 영상에는 불꽃과 연기 등이 다양하게 분포되어 있다.
동영상 기반 모델은 공간과 시간 축의 프레임 수를 달리하여 빠르게 변화하는 모션을 인지하는 네트워크와 느리게 변화하는 모션을 인지하는 네트워크로 구분하는 SlowFast(Feichtengofer, 2019) 모델을 선정했으며, Kinetics-400 (Kay et al., 2017) 데이터를 사전 훈련한 모델에 대해 NIA 화재 데이터셋을 추가 학습했다. Fig.
이미지 기반 모델은 실시간 탐지 프로그램에 적용할 수 있으며, 2023년을 기준으로 8번째 버전까지 고도화를 거쳐 정확도와 실용성을 모두 갖춘 YOLOv8 (Jocher, 2023) 모델을 선정했으며, COCO(Microsoft Common Objects in Context) (Lin et al, 2014) 데이터를 사전 훈련한 모델에 대해 NIA 화재 데이터셋을 추가 학습했다. Fig.

데이터처리

평가는 동영상 데이터에 대해 정상, 연기, 불꽃 클래스를 올바르게 분류했는지를 P(Precision), R(Recall), F(F1-Score)로 평가한다. 이미지와 동영상 기반 모델을 동일한 조건으로 평가하기 위해 YOLO는 후처리를 통해 분류 형식에 맞도록 반환값을 조정한다.

성능/효과

이는 객체 탐지를 위해 레이블링 할 때 주변이 밝거나 흐린 경우 불꽃이나 연기의 형상을 일관되게 잡을 수 없기 때문으로 보이며, 이는 모델 학습 시 성능 저하가 더 가중된 것으로 판단된다. 동영상 기반 모델 SlowFast는 FastPath와 SlowPath를 이용하여 빠르게 변화하는 모션과 느리게 변화하는 모션을 인지하는 네트워크를 구분하여 학습하며, 동영상의 시간 축을 같이 학습하기 때문에 비정형 객체에 대해 주변이 흐리거나 밝아 형상을 명확하게 유추할 수 없는 상황에서도 우수하게 화재를 탐지하는 것을 확인했다. 다만, SlowFast는 불꽃을 잘 예측하지만 정상과 연기 사이 오탐하는 경우가 빈번하다.
다만, Table 6에 정상 recall과 연기 precision을 보면 두 클래스 사이 오탐이 성능을 저하시킴을 볼 수 있고 이는 정상에 대한 특징이 명확하지 않아 정상 영상에 존재하는 희미한 구름 등이 연기로 오탐을 일으키는 것으로 유추되어 정상 데이터를 불꽃,연기 보다 배로 확보하여 정상,연기,불꽃 별 성능 추이를 확인해볼 필요가 있다. 마지막으로 두 모델 모두 화재를 올바르게 탐지하지만 현재 테스트 케이스는 명확한 정상, 연기, 불꽃으로 나누어졌기에 YOLO가 보다 우수한 성능을 가짐을 확인할 수 있다. 하지만 노이즈가 많은 데이터를 입력으로 넣은 경우에는 Fig.
6기준). 제한된 테스트셋 기준에선 전반적으로 이미지 기반의 탐지모델인 YOLO를 사용한 경우가 동영상 기반의 SlowFast 모델보다 정확도가 높게 나타났다. 하지만 YOLO는 Fig.

후속연구

다만, SlowFast는 불꽃을 잘 예측하지만 정상과 연기 사이 오탐하는 경우가 빈번하다. 이를 개선하기 위해 정상 데이터 분포를 연기, 불꽃 대비 2-5배가량 증가시키며 연기, 불꽃 성능은 유지하되 정상인 경우의 오탐을 줄이는 등 모델 성능 고도화를 위한 연구가 필요하다.

참고문헌 (18)

Ang G. Aritejh Kr Goil, Henryk Chan, Jieyi Jeric Lew, Xin Chun Lee, Raihan Bin Ahmad Mustaffa, Timotius Jason,？Ze Ting Woon, Bingquan Shen. (2023). "A novel application for real-time arrhythmia detection using YOLOv8."？arXiv preprint arXiv:2305.16727.？
Feichtengofer, C, Haoqi Fan Jitendra Malik Kaiming He. (2019). "SlowFast networks for video recognition."？Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1-10.？
Hu C., Tang, P., Jin, W., He, Z., Li, W. (2018). "Real-time fire detection based on deep convolutional long-recurrent？networks and optical flow method." Proceedings of the 37th Chinese Control Conference. pp. 9061-9066.？
Huo, Y., Zhang, Q., Zhang, Y., Zhu, J., Wang, J. (2022). "3DVSD: An end-to-end 3D convolutional object detection？network for video smoke detection." Fire Safety Journal, Vol. 134, pp. 1-11.？

상세보기
Kim, K.-J., Jang, I.-S., Lim, K.-T. (2021a). "Construction of wild-fire smoke data-set and comparative analysis of？detection method based on deep neural network." Electronics and Telecommunications Research Institute Winter Conference, pp. 1172-1173.？
Jeong, Y.-S., Kim, Y.-W., Yim, J.-I. (2023). "A study on the development of an automatic classification system for？life safety prevention service reporting images through the development of AI learning model and AI model serving？server." Journal of the Society of Disaster Information, Vol. 19, No. 2, pp. 432-438.？

원문보기 상세보기
Jin, C., Wang, T., Alhusaini, N., Zhao, S., Liu, H., Xu, K., Zhang, J. (2023). "Video fire detection methods based on？deep learning : dataset, methods, and future directions." Fire, Vol. 6, No. 8, pp. 3-15.？

상세보기
Jocher, G. (2023). YOLO by Ultralytics (Version 8.0.0). https://github.com/ultralytics/ultralytics.？
Kay, W., Carreira, J., Simonyan, K., Zhang, B., Hillier, C., Vijayanarasimhan, S., Viola, F., Green, T., Back, T.,？Natsev, A., Suleyman, M., Zisserman, A. (2017) "The kinetics human action video dataset." arXiv preprint.？
Khan, F., Xu, Z., Sun, J., Khan, F.M., Ahmed, A., Zhao, Y. (2022). "Recent advances in sensors for fire detection."？Sensors, Vol. 22, No. 9, pp. 3-10.？

상세보기
Kim, C.Y., Lee, H.-S., Lee, K.Y. (2022). "Implementation of a deep learning based realtime fire alarm system using？a data augmentation" Journal of IKEEE, Vol. 26, No. 3, pp. 468-474.？

원문보기 상세보기
Kim, J.-S., Park, S.-M., Hong, C.-H., Park, S.-H., Lee, J.-W. (2022). "Development of AI detection model based on？CCTV image for underground utility tunnel." Journal of the Society of Disaster Information, Vol. 18, No. 2, pp.？364-373.？

원문보기 상세보기
Kim, K.-J., Jang, I.-S., Lim, K.-T. (2021b). "Analysis of video-based fire detection learning model".Electronics and？Telecommunications Research Institute Summer Conference, pp. 240-241.？
Lin, T.-Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays, J., Perona, P., Ramanan, D., Zitnick, C.L.,？Dollar, P. (2014). "Miscrosoft COCO common objects in context." European Conference on Computer Vision. pp.？740-755.？
Na, Y.-M., Hyun, D.-H., Park, D.-H., Hwang, S.-H., Lee, S.-H. (2020). "AI fire detection & notification system."？The Korea Society of Computer and Information, Vol. 25, No. 12, pp. 63-71.？
Nam, G.-T., Seo, K.-J., Choi, D.-C. (2022). "A study on the development of AI-based fire fighting facility design？technology through image recognition." Journal of the Society of Disaster Information, Vol. 18, No. 4, pp. 883-890.？

원문보기 상세보기
Park, J., Cho, Y.K, Kim, S. (2022). "Deep learning-based UAV image segmentation and inpainting for generating？vehicle-free orthomosaic." International-Journal-of-Applied-Earth-Observation-and-Geoinformation, Vol. 115,？103111.？
Yan, C., Wang, Q., Zhao, Y., Zhang, X. (2023). "YOLOv5-CSF: An improved deep convolutional neural network？for flame detection." Application of Soft Computing, Vol. 27, pp. 19013-19023.？

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증