[논문]열화상 카메라를 이용한 전통시장 화재 감지에서 YOLOv8 객체 탐지 모델의 성능 비교 분석

고아라; 조정원

doi:10.17662/ksdim.2023.19.4.117

[국내논문] 열화상 카메라를 이용한 전통시장 화재 감지에서 YOLOv8 객체 탐지 모델의 성능 비교 분석
Comparative Analysis of YOLOv8 Object Detection Model Performance in Fire Detection in Traditional Markets Using Thermal Cameras 원문보기

디지털산업정보학회논문지 = Journal of the Korea Society of Digital Industry and Information Management, v.19 no.4, 2023년, pp.117 - 126

고아라 (제주대학교 컴퓨터교육과) , 조정원 (제주대학교 컴퓨터교육과)

Abstract ▼ AI-Helper

Traditional markets, formed naturally, often feature aged buildings and facilities that are susceptible to fire. However, the lack of adequate fire detection systems in these markets can easily lead to large-scale fires upon ignition. Therefore, this study was conducted with the aim of detecting fires in traditional markets, utilizing thermal imaging cameras for data collection and the YOLOv8 model for object detection experiments. Data were collected in the night markets within traditional markets of xx city and by simulating fire scenarios. A comparative analysis of the Nano and XL models of YOLOv8 revealed that the XL model is more effective in detecting fires. The XL model not only demonstrated higher accuracy in correctly identifying flames but also tended to miss fewer fires compared to the Nano model. In the case of objects other than flames, the XL model showed superior performance over the Nano model. Taking all these factors into account, it is anticipated that with further data collection and improvement in model performance, a suitable fire detection system for traditional markets can be developed.

주제어

표/그림 (8)

표 <표 1> 수집된 열화상 이미지와 온도가 높은 물체의 예시
표 <표 2> 데이터 셋 분류 결과
그림 <그림 1> YOLO 모델들의 성능 비교 그래프[24]
그림 <그림 2> YOLOv8 Nano의 Confusion Matrix
그림 <그림 3> YOLOv8 XL의 Confusion Matrix
표 <표 3> 모델 성능 비교(mAP50 기준)
그림 <그림 4> YOLOv8 Nano의 PR Curve
그림 <그림 5> YOLOv8 XL의 PR Curve

AI 본문요약
AI-Helper

문제 정의

각 연구들은 화재 발생 환경의 특성과 사용한 모델의 특성을 고려하여 진행하고 있으나 대부분 연구에서 일반 카메라로 촬영된 이미지를 활용하고 있다. 본 연구는 이러한 배경을 바탕으로, 전통시장 내 화재를 신속하게 감지하기 위해 온도 측정이 가능한 열화상 카메라를 이용하여 인공지능 기반의 접근 방법을 탐구하고자 한다.
본 연구는 전통시장에서 발생하는 화재를 신속하고 정확하게 감지하는 화재 감지 시스템을 만들기 위해 열화상 카메라를 이용하여 데이터를 수집하고, 화재 감지 모델 비교 연구를 진행하였다.

제안 방법

이에 따라, 오작동을 줄이고 화재를 신속하게 감지할 수 있는 개선된 시스템의 개발이 요구된다. 본 연구에서는 열화상 카메라를 활용하여 데이터를 수집하고, 인공지능을 이용하여 화재를 감지하고자 한다. 열화상 카메라는 온도 정보를 제공하며, 시간, 불빛 유무에 관계없이 촬영 가능하므로 화재 감지에 적합하다.
어노테이션 이후 모델 학습을 위해 데이터 셋을 훈련(train), 검증(validation), 테스트(test)로 나누었다. 각 비율은 0.
열화상 카메라를 이용하여 촬영된 데이터는 공개되지 않아 최대한 화재 상황을 인식할 수 있도록 야시장 내에서 사용되는 불꽃을 촬영했고, 야외에서 화재 상황을 모사하여 추가로 데이터를 수집하여 화재감지 모델을 연구하였다.
열화상 카메라를 사용하여 총 1,500장의 열화상 이미지를 수집했다. 이 중에서도 이미지 내에서 상대적으로 온도가 높게 촬영된(이미지 상 흰색 ~ 노란색 부분) 부분의 객체들을 분석하였다. 시장 환경에서 온도가 높게 측정된 물체들은 불꽃뿐만 아니라 전구의 빛, 가열 중인 조리기구, 그리고 간판을 확인할 수 있었다.
화재 감지는 화재 상황인지 분류하는 방법과 불꽃을 직접 감지하여 화재 상황을 판단하는 2가지 방법이 존재하는데, 본 연구에서는 최근에 많이 사용되고 있는 객체 감지 방법을 선택하였다. 그 중에서도 가장 좋은 성능을 보이고 있는 YOLOv8 모델을 선택하여 수집한 데이터를 활용해 학습을 진행했다.

대상 데이터

화재 감지는 화재 상황인지 분류하는 방법과 불꽃을 직접 감지하여 화재 상황을 판단하는 2가지 방법이 존재하는데, 본 연구에서는 최근에 많이 사용되고 있는 객체 감지 방법을 선택하였다. 그 중에서도 가장 좋은 성능을 보이고 있는 YOLOv8 모델을 선택하여 수집한 데이터를 활용해 학습을 진행했다.
불꽃 외에도 다른 클래스들과 비교해 보면 Nano 모델의 오탐지 건수는 총 255건, XL 모델은 242건이다. 또한 미탐지 건수는 Nano 모델이 252건, XL 모델이 243건이다. 불꽃을 제외한 나머지 클래스에서는 XL 모델이 좀 더 나은 성능을 보이는 것을 확인할 수 있다.
본 연구에서 사용된 열화상 카메라는 FLIR사의 C3-X 모델이며, 이 카메라의 IR(적외선) 해상도는 128 X 96이다. 이 카메라는 두 가지 온도 범위를 측정할 수 있는데, 화재 감지에 적합한 0 ~ 300도 범위를 선택하여 촬영을 진행하였다.
본 연구에서는 구축한 데이터 셋을 활용하여 YOLOv8 모델을 학습시켰다. 모델 학습을 위해 Colab Pro+ 버전을 사용하였으며, 학습에는 V100 GPU를 선택했다.
열화상 카메라를 사용하여 총 1,500장의 열화상 이미지를 수집했다. 이 중에서도 이미지 내에서 상대적으로 온도가 높게 촬영된(이미지 상 흰색 ~ 노란색 부분) 부분의 객체들을 분석하였다.
데이터 수집은 두 가지 다른 환경에서 이루어졌다. 첫 번째는 ㅇㅇ시에 위치한 전통시장의 야시장에서 이루어졌으며, 두 번째는 야외에 화원을 설치하여 진행되었다. 이 두 상황에서 데이터 수집 시 다음과 같은 요소들을 고려했다.

데이터처리

두 모델 간의 성능 비교를 위해 테스트 데이터 셋을 이용하여 모델의 성능을 평가했다. 성능 평가에는 널리 사용되는 mAP(mean Average Precision) 지표를 사용했으며, 이는 모든 클래스에 대한 평균값과 각 클래스별 측정값을 기반으로 성능을 비교했다.
5인 mAP50을 사용하여 각 모델의 성능을 비교하고자 한다. 또한, 각 클래스 별로 정확도를 비교하기 위해 confusion matrix와 PR 곡선을 이용하여 성능을 비교하고자 한다.
본 연구에서는 구축한 데이터 셋을 활용하여 YOLOv8 모델을 학습시켰다. 모델 학습을 위해 Colab Pro+ 버전을 사용하였으며, 학습에는 V100 GPU를 선택했다. 학습 과정에서는 epoch를 1,000으로 설정하고, 나머지 파라미터는 YOLOv8의 기본 설정값을 그대로 사용하였다.
mAP 값은 IoU 임계값에 따라 바운딩 박스의 정확성을 얼마나 엄격하게 평가할지 결정한다. 본 연구에서는 IoU 임계값이 0.5인 mAP50을 사용하여 각 모델의 성능을 비교하고자 한다. 또한, 각 클래스 별로 정확도를 비교하기 위해 confusion matrix와 PR 곡선을 이용하여 성능을 비교하고자 한다.
열화상 이미지를 이용한 화재 감지 가능성을 확인하기 위해 YOLOv8 중에서도 가장 작은 사이즈인 Nano 모델과 가장 큰 사이즈인 XL 모델을 선택하여 성능을 비교했다. 비교 결과 전반적인 성능은 XL 모델이 좋았으나 불꽃에서는 Nano 모델이 좋은 성능을 보였다.
FP, TP뿐만 아니라 FN(False Negative)도 계산하여 각 이미지별 정밀도(precision)와 재현율(recall)값을 산출한다. 이후 PR(Precision-Recall) 곡선을 그리고, 이 곡선 아래 면적을 계산하여 AP(Average Precision)를 구한 후, 모든 클래스에 대해 평균을 내어 mAP를 도출한다. 따라서 mAP 값을 통해 객체 탐지의 정확성을 평가할 수 있다.

이론/모형

열화상 카메라는 온도 정보를 제공하며, 시간, 불빛 유무에 관계없이 촬영 가능하므로 화재 감지에 적합하다. 본 연구에서는 화재 감지에 널리 사용되는 YOLO 모델을 채택하였으며, 최신버전인 YOLOv8을 사용하여 화재 감지 가능성을 탐구하였다.
두 모델 간의 성능 비교를 위해 테스트 데이터 셋을 이용하여 모델의 성능을 평가했다. 성능 평가에는 널리 사용되는 mAP(mean Average Precision) 지표를 사용했으며, 이는 모든 클래스에 대한 평균값과 각 클래스별 측정값을 기반으로 성능을 비교했다. mAP는 바운딩 박스의 IoU(Intersection Over Union) 값이 설정된 임계값(threshold) 이하일 경우 FP(False Positive)로, 임계값 이상일 경우 TP(True Positive)로 분류하여 모든 이미지에 대한 값을 계산한다.

성능/효과

본 연구에서 YOLOv8 Nano 모델과 XL 모델을 테스트 데이터 셋에 적용했을 때의 모델의 성능은 <표 3>에서 확인할 수 있다. Nano 모델은 mAP50 기준으로 0.681의 성능을 보였고, XL 모델은 0.702 성능을 보여 XL 모델의 성능이 더 우수한 것으로 나타났다. 그러나 세부 클래스 별로 값을 비교해 보면 대부분 XL 모델의 성능이 좋았으나, 불꽃 클래스의 경우 Nano 모델이 더 나은 성능을 보였다.
각 모델의 성능을 세부적으로 살펴보면 FP 값은 XL 모델이 작았으나 FN 값은 Nano 모델이 작은 것을 확인할 수 있었다. 또한, 정밀도와 재현율을 고려하였을 때 XL 모델이 Nano 모델보다 화재를 화재로 인식하는 케이스가 더 많은 것을 알 수 있다.
702 성능을 보여 XL 모델의 성능이 더 우수한 것으로 나타났다. 그러나 세부 클래스 별로 값을 비교해 보면 대부분 XL 모델의 성능이 좋았으나, 불꽃 클래스의 경우 Nano 모델이 더 나은 성능을 보였다.
화재 감지 시스템에서 화재를 빠르게 감지하는 경우도 중요하지만 화재가 아닌 상황을 화재라고 판별하지 않는 것도 중요하다. 따라서 모든 결과를 종합하였을 때 XL 모델이 화재 감지에 좀 더 적합한 것을 알 수 있다.
열화상 이미지를 이용한 화재 감지 가능성을 확인하기 위해 YOLOv8 중에서도 가장 작은 사이즈인 Nano 모델과 가장 큰 사이즈인 XL 모델을 선택하여 성능을 비교했다. 비교 결과 전반적인 성능은 XL 모델이 좋았으나 불꽃에서는 Nano 모델이 좋은 성능을 보였다.
야시장 내에서 화재로 인식할 수 있는 경우는 조명, 과열된 간판, 조리기구가 있었다. 세 가지 클래스의 경우 XL 모델이 모두 정확도가 높았으며, FN, FP 수치도 대부분 XL 모델이 낮은 결과를 보였다.
이 중에서도 이미지 내에서 상대적으로 온도가 높게 촬영된(이미지 상 흰색 ~ 노란색 부분) 부분의 객체들을 분석하였다. 시장 환경에서 온도가 높게 측정된 물체들은 불꽃뿐만 아니라 전구의 빛, 가열 중인 조리기구, 그리고 간판을 확인할 수 있었다. 특히, 간판의 경우 야시장의 특징으로 인해 온도가 높게 측정되었다.
5 부근에서 감소한다. 재현율이 감소하는 값을 비교하면 XL 모델이 Nano 모델보다 불꽃을 좀 더 정확하게 판별하고 있는 것을 알 수 있다.

후속연구

실험 결과를 종합하면 YOLOv8 XL 모델이 화재감지에 적합하나 화재 감지 시스템에 사용하기에는 정확도가 낮게 나와 추가적인 데이터 수집과 모델의 개선이 필요함을 시사한다. 따라서 향후 전통시장 내에서 다양한 상황을 열화상 카메라로 촬영하여 추가적인 데이터를 수집하고, YOLOv8 모델을 이용하여 성능 향상 기법들을 이용하여 화재 정확도를 올려 전통시장 내 화재 감지 시스템을 개발하고자 한다. 또한, 사용자가 시스템을 잘 활용할 수 있도록 화재 오탐의 경우를 줄이고자 한다.
실험 결과를 종합하면 YOLOv8 XL 모델이 화재감지에 적합하나 화재 감지 시스템에 사용하기에는 정확도가 낮게 나와 추가적인 데이터 수집과 모델의 개선이 필요함을 시사한다. 따라서 향후 전통시장 내에서 다양한 상황을 열화상 카메라로 촬영하여 추가적인 데이터를 수집하고, YOLOv8 모델을 이용하여 성능 향상 기법들을 이용하여 화재 정확도를 올려 전통시장 내 화재 감지 시스템을 개발하고자 한다.
전통시장 현대화 사업의 일환으로 일부 시장에 화재감지기가 설치되었으나, 잦은 오작동으로 인해 그 효용성이 떨어지고 있다. 이에 따라, 오작동을 줄이고 화재를 신속하게 감지할 수 있는 개선된 시스템의 개발이 요구된다. 본 연구에서는 열화상 카메라를 활용하여 데이터를 수집하고, 인공지능을 이용하여 화재를 감지하고자 한다.

참고문헌 (24)

함형우.권인규, "전통시장 화재 피해 최소화 방안？연구," 한국화재소방학회, 학술대회 논문집, 2023,？pp. 175-175.
박정화.박태희.김태선.권진석, "전통시장 훈소 화재 위험성 및 화재진압 방법에 관한 연구," 한국화재소방학회, 학술대회 논문집, 2022, pp. 98-98.？[Online]. Available: https://www.riss.kr/link?idA108161863.
전통시장 및 상점가 육성을 위한 특별법(약칭: 전통시장법), 시행 2023. 10. 31., https://www.law.go.kr/LSW/lsInfoP.do?lsId009767#0000
통계청, https://kosis.kr/index/index.do
김정곤.박창일.정재욱.김성곤, "전통시장 화재 발생 및 확대 위험요인에 관한 연구," 한국재난정보학회, Vol.17, No.1,2021, pp.60-67
국가화재정보시스템 화재통계, 소방청,？http://nfds. go.kr/stat/general.do
소윤범.김용한.민세홍, "전통시장 외부공간의 화재 대응을 위한 시스템 개발에 관한 연구," 한국방재학회논문집, 제20권, 제5호, 2020, pp. 105-112.
권수현, "전통시장 화재 절반, 영업 끝난 야간에？발생... 전기적 요인 최다," 연합뉴스,？https://www.yna.co.kr/view/AKR20190528021400004, 2019.05.28.
유시영.노승환, "비디오 기반 딥러닝 융합 알고리즘에 의한 화재 감지 시스템에 관한 연구," (in？English), 한국통신학회논문지, 제46권, 제9호？2021, pp.1487-1496.
S. T. Seydi, V. Saeidi, B. Kalantar, N. Ueda, A.？A. Halin, and G. Pennazza, "Fire-Net: A Deep？Learning Framework for Active Forest Fire？Detection," Journal of Sensors, Vol. 2022, 2022,？pp.1-14.

상세보기
J. Balen, D. Damjanovic, P. Maric, K. Vdovjak,？M. Arlovic, and G. Martinovic, "FireBot - An？Autonomous Surveillance Robot for Fire？Prevention, Early Detection and Extinguishing,"？presented at the 2023 15th International？Conference on Computer and Automation？Engineering (ICCAE), 2023.
S. Li, L. Qiao, Y. Zhang, and J. Yan, "An Early？Forest Fire Detection System Based on DJI M300？Drone and H20T Camera," presented at the 2022？International Conference on Unmanned Aircraft？Systems (ICUAS), 2022.
K. L. B. L. Xavier and V. K. Nanayakkara,？"Development of an Early Fire Detection？Technique Using a Passive Infrared Sensor and？Deep Neural Networks," Fire Technology,？Vol.58, No.6, pp. 3529-3552, 2022, doi:？10.1007/s10694-022-01319-x.

상세보기
김윤지.조현종, "딥러닝을 이용한 영상 기반의 화재 위치 감지," (in English), 전기학회논문지, 제69권, 제3호, 2020, pp.474-479.
A. Abdusalomov, N. Baratov, A. Kutlimuratov,？and T. K. Whangbo, "An Improvement of the？Fire Detection and Classification Method Using？YOLOv3 for Surveillance Systems," Sensors, vol.？21, no. 19, p. 6519, 2021. [Online]. Available:？https://www.mdpi.com/1424-8220/21/19/6519.

상세보기
이평화.송주환, "딥러닝 기반 알고리즘을 활용한？산불 객체 탐지," (in English), 한국디지털콘텐츠학회논문지, 제23권, 제9호, 2022, pp.1869-1877.
K. Avazov, A. E. Hyun, A. A. Sami S, A.？Khaitov, A. B. Abdusalomov, and Y. I. Cho,？"Forest Fire Detection and Notification Method？Based on AI and IoT Approaches," Future？Internet, Vol.15, No.2, 2023, doi:？10.3390/fi15020061.

상세보기
박소민.이상훈.이영학, "컬러 정보와 YOLOv4를？이용한 불꽃 검출 연구," 한국정보기술학회,？Proceedings of KIIT Conference, 제 2022권, 제12호, 2022, pp. 404-407.
김치용.이현수.이광엽, "데이터 증강 학습 이용한？딥러닝 기반 실시간 화재경보시스템 구현," 전기전자학회논문지, 제26권, 제3호, 2022, doi:？10.7471/ikeee.2022.26.3.468.

원문보기 상세보기
Y. Ahn, H. Choi, and B. S. Kim, "Development？of early fire detection model for buildings using？computer vision-based CCTV," Journal of？Building Engineering, vol. 65, 2023, doi:？10.1016/j.jobe.2022.105647.

상세보기
J. Pincott, P. W. Tien, S. Wei, and J. K. Calautit,？"Indoor fire detection utilizing computer？vision-based strategies," Journal of Building？Engineering, vol. 61, 2022, doi:？10.1016/j.jobe.2022.105154.

상세보기
J. Redmon, S. Divvala, R. Girshick, and A.？Farhadi, "You only look once: Unified, real-time？object detection," in Proceedings of the IEEE？conference on computer vision and pattern？recognition, 2016, pp.779-788.
GitHub - ultralytics/ultralytics: NEW - YOLOv8? in PyTorch > ONNX > OpenVINO > CoreML？> TFLite.https://github.com/ultralytics/ultralytics
J. Solawetz. "What is YOLOv8? The Ultimate？Guide." roboflow. https://blog.roboflow.com/whats-new-in-yolov8/, 2023.01.11.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증