본 연구는 화재진압 및 피난활동을 지원하는 딥러닝 기반의 알고리즘 개발에 관한 기초 연구로 선박 화재 시 연기감지기가 작동하기 전에 검출된 연기 데이터를 분석 및 활용하여 원격지까지 연기가 확산 되기 전에 연기 확산거리를 예측하는 것이 목적이다. 다음과 같은 절차에 따라 제안 알고리즘을 검토하였다. 첫 번째 단계로, 딥러닝 기반 객체 검출 알고리즘인 YOLO(You Only Look Once)모델에 화재시뮬레이션을 통하여 얻은 연기 영상을 적용하여 학습을 진행하였다. 학습된 YOLO모델의 mAP(mean Average Precision)은 98.71%로 측정되었으며, 9 FPS(Frames Per Second)의 처리 속도로 연기를 검출하였다. 두 번째 단계로 YOLO로부터 연기 형상이 추출된 경계 상자의 좌표값을 통해 연기 확산거리를 추정하였으며 이를 시계열 예측 알고리즘인 LSTM(Long Short-Term Memory)에 적용하여 학습을 진행하였다. 그 결과, 화재시뮬레이션으로부터 얻은 Fast 화재의 연기영상에서 경계 상자의 좌표값으로부터 추정한 화재발생~30초까지의 연기 확산거리 데이터를 LSTM 학습모델에 입력하여 31초~90초까지의 연기 확산거리 데이터를 예측하였다. 그리고 추정한 연기 확산거리와 예측한 연기 확산거리의 평균제곱근 오차는 2.74로 나타났다.
본 연구는 화재진압 및 피난활동을 지원하는 딥러닝 기반의 알고리즘 개발에 관한 기초 연구로 선박 화재 시 연기감지기가 작동하기 전에 검출된 연기 데이터를 분석 및 활용하여 원격지까지 연기가 확산 되기 전에 연기 확산거리를 예측하는 것이 목적이다. 다음과 같은 절차에 따라 제안 알고리즘을 검토하였다. 첫 번째 단계로, 딥러닝 기반 객체 검출 알고리즘인 YOLO(You Only Look Once)모델에 화재시뮬레이션을 통하여 얻은 연기 영상을 적용하여 학습을 진행하였다. 학습된 YOLO모델의 mAP(mean Average Precision)은 98.71%로 측정되었으며, 9 FPS(Frames Per Second)의 처리 속도로 연기를 검출하였다. 두 번째 단계로 YOLO로부터 연기 형상이 추출된 경계 상자의 좌표값을 통해 연기 확산거리를 추정하였으며 이를 시계열 예측 알고리즘인 LSTM(Long Short-Term Memory)에 적용하여 학습을 진행하였다. 그 결과, 화재시뮬레이션으로부터 얻은 Fast 화재의 연기영상에서 경계 상자의 좌표값으로부터 추정한 화재발생~30초까지의 연기 확산거리 데이터를 LSTM 학습모델에 입력하여 31초~90초까지의 연기 확산거리 데이터를 예측하였다. 그리고 추정한 연기 확산거리와 예측한 연기 확산거리의 평균제곱근 오차는 2.74로 나타났다.
This is a basic study on the development of deep learning-based algorithms to detect smoke before the smoke detector operates in the event of a ship fire, analyze and utilize the detected data, and support fire suppression and evacuation activities by predicting the spread of smoke before it spreads...
This is a basic study on the development of deep learning-based algorithms to detect smoke before the smoke detector operates in the event of a ship fire, analyze and utilize the detected data, and support fire suppression and evacuation activities by predicting the spread of smoke before it spreads to remote areas. Proposed algorithms were reviewed in accordance with the following procedures. As a first step, smoke images obtained through fire simulation were applied to the YOLO (You Only Look Once) model, which is a deep learning-based object detection algorithm. The mean average precision (mAP) of the trained YOLO model was measured to be 98.71%, and smoke was detected at a processing speed of 9 frames per second (FPS). The second step was to estimate the spread of smoke using the coordinates of the boundary box, from which was utilized to extract the smoke geometry from YOLO. This smoke geometry was then applied to the time series prediction algorithm, long short-term memory (LSTM). As a result, smoke spread data obtained from the coordinates of the boundary box between the estimated fire occurrence and 30 s were entered into the LSTM learning model to predict smoke spread data from 31 s to 90 s in the smoke image of a fast fire obtained from fire simulation. The average square root error between the estimated spread of smoke and its predicted value was 2.74.
This is a basic study on the development of deep learning-based algorithms to detect smoke before the smoke detector operates in the event of a ship fire, analyze and utilize the detected data, and support fire suppression and evacuation activities by predicting the spread of smoke before it spreads to remote areas. Proposed algorithms were reviewed in accordance with the following procedures. As a first step, smoke images obtained through fire simulation were applied to the YOLO (You Only Look Once) model, which is a deep learning-based object detection algorithm. The mean average precision (mAP) of the trained YOLO model was measured to be 98.71%, and smoke was detected at a processing speed of 9 frames per second (FPS). The second step was to estimate the spread of smoke using the coordinates of the boundary box, from which was utilized to extract the smoke geometry from YOLO. This smoke geometry was then applied to the time series prediction algorithm, long short-term memory (LSTM). As a result, smoke spread data obtained from the coordinates of the boundary box between the estimated fire occurrence and 30 s were entered into the LSTM learning model to predict smoke spread data from 31 s to 90 s in the smoke image of a fast fire obtained from fire simulation. The average square root error between the estimated spread of smoke and its predicted value was 2.74.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 딥러닝 기반의 객체 탐지 및 시계열 예측 알고리즘을 통해 선박 화재 시 연기감지기 작동 전에 검출된 연기 데이터를 분석 및 활용하여 연기 확산 전에, 연기 확산 거리 예측을 통한 화재진압 및 피난활동 지원 알고리즘 개발을 위한 기초연구로 주요 연구 성과는 다음과 같다.
본 연구에서는 경제성 및 안전상의 이유로 선박에 실제 화재를 재현하기에 어려움이 있어, 본 연구에서 제안한 연기 확산거리 예측 모델의 학습 데이터를 확보하기 위하여 화재 시뮬레이션을 수행하였다.
이에 본 연구에서는 선내 화재 발생 시 연기감지기 작동 및 공간 전체에 연기가 확산되기 전에 확산거리를 예측하여 실제 화재 상황에서 활용 가능한 알고리즘을 제안하고자 한다. 이를 위해, 딥러닝 기반 객체 검출 알고리즘에 화재 시뮬레이션을 통한 연기 영상을 학습데이터로 적용 및 학습하여 검출된 연기 데이터로부터 연기 확산거리를 추정하였다.
가설 설정
둘째, 화원의 크기는 가로, 세로 모두 0.5[m]로 설정하고, 선실화재 실험 데이터로부터 얻은 1, 680[kW]를 최대 열방출율로 적용하였고, Propane이 연소하는 것으로 가정하였다 (Arvidson et al., 2008). 또한 Fig.
화재시뮬레이션은 FDS(Fire Dynamic Simulator, Ver. 6.5.3)를사용하였고, FDS에 의해 연산된 결과를 3차원으로 시각화하는 툴인 Smokeview를 통해 복도 끝에 CCTV가 위치한다고 가정하여 화재로 인한 연기 영상을 획득하였다(McGrattan et al., 2014). 수치해석 공간과 조건은 Fig.
제안 방법
Table 4에 나타난 것과 같이 시퀀스의 길이를 90초로 고정하고, 연기 확산거리 데이터의 입력시간 범위를 20, 25, 30 초에 대해 출력시간 범위를 각각 70, 65, 60초로 설정하여 학습을 진행하였다. Case3를 예를 들어 설명하면, 학습모델에 t+1~t+30초의 연기 확산거리를 입력 데이터로 넣으면 t+30~t+90초의 연기 확산거리를 예측하여 출력하도록 모델링을 하였으며, 이를 Fig.
둘째, 연기 확산거리 데이터의 시계열 예측 모델인 LSTM에 적용하고, 학습을 위하여 입력 데이터의 시간 범위는 Fast 화재 시에, 첫 번째 연기감지기가 작동하는 시간인 40초보다 작은 20, 25, 30초로 설정하였다. 그 결과, 학습모델에 발화 시작부터 30초까지의 연기 확산거리를 입력값으로 넣었을 때 31초부터 90초까지의 연기 확산거리 예측이 가장 정확했다.
공간을 구성하였다. 또한 복도의 길이는 주 수 직구 역의 개념을 적용하여 40[m]을 적용하고, SOLAS 규정에 따라 폭은 1[m], 천장의 높이는 2[m]로 적용하였다(SOLAS, 2015a; 2015b).
71%로 나타났으며, 9 FPS(Frames Per Second)의 처리 속도로 연기를 검출하였다. 또한, YOLO-v3 모델로부터 연기 형상이 추출된 경계 박스의 좌표값을 통해 연기확산 거리를 추정하였다.
이를 위해, 딥러닝 기반 객체 검출 알고리즘에 화재 시뮬레이션을 통한 연기 영상을 학습데이터로 적용 및 학습하여 검출된 연기 데이터로부터 연기 확산거리를 추정하였다. 또한, 딥러닝 기반 시계열 예측 알고리즘에 연기 확산거리 데이터를 적용 및 학습하여 연기 확산거리를 예측하였다.
그 다음, YOLO-v3로부터 검출된 경계 상자(Bounding box)의 y좌표 값으로부터 연기가 확산된 거리를 추정한다. 마지막으로 시계열 예측 알고리즘인 LSTM(Long Short-Term Meomory)에 일정 시간 동안의 추정된 연기 확산거리를 입력값으로 넣고 예측된 일정시간 뒤의 연기 확산거리를 출력값으로 얻는다. 이 결과를 이용하여 화재·피난 안전 담당자는 화재로 인해 실제 연기가 확산되기 전에, 연기 확산이 예측된 장소에서의 화재진압과 피난경로를 승선자에게 제공함으로써 재산·인명피해를 최소화 할 수 있다.
먼저, 예측 모델의 학습을 위한 데이터 셋을 구성하기 위하여 화재시뮬레이션을 통해 계산된 연기감지기 작동 시간을 고려하였다. Table 3에서 볼 수 있듯이, Fast 화재 시 발화 위치에서 가장 인접한 감지기가 40초에 작동하며, 복도 끝에 위치한 연기감지기는 90초에 작동한다.
셋째, 연기감지기 작동시간을 파악하기 위하여, FSS Code 에 따라 Fig. 3에서 보는 것과 같이 연기감지기를 배치하여 감지 시간을 파악하였다(IMO, 2000).
연기 확산거리 예측 모델의 매개변수(Hyper-parameter)는 Fast화재의 연기영상에서 YOLO-v3로 검출된 경계 상자의 y 좌표 값으로부터 추정한 연기확산 거리값(Target)과 예측모델의 연기 확산거리 예측값(Predict)의 차이가 최소화 되도록 조절하였으며 은닉노드(Hidden node), 학습횟수(Epoch), 학습율(Learning rate), 활성화 함수(Activation)는 각각 200, 1500, 0.01, ReLU로 설정하였다.
연기 확산거리는 화재가 발생한 지점으로부터 얼마큼 연기가 확산되었는지 나타내는 지표로서 본 논문에서는 YOLO-v3로부터 검출된 연기 경계 상자의 y좌표 값과 그에 상응하는 시뮬레이션 공간상의 연기감지기 위치 값을 비교하여 y좌표 값을 실제 거리 값으로 변환하였다. 이 과정을 Fig.
Table 3에서 볼 수 있듯이, Fast 화재 시 발화 위치에서 가장 인접한 감지기가 40초에 작동하며, 복도 끝에 위치한 연기감지기는 90초에 작동한다. 이 결과로부터 예측모델에 적용하기 위한 입력 데이터의 시간 범위를 최초 연기감지기가 작동하기 전으로 설정하고, 출력 데이터의 시간 범위는 90초까지만 예측하도록 설정하였다.
이를 위해, 딥러닝 기반 객체 검출 알고리즘에 화재 시뮬레이션을 통한 연기 영상을 학습데이터로 적용 및 학습하여 검출된 연기 데이터로부터 연기 확산거리를 추정하였다. 또한, 딥러닝 기반 시계열 예측 알고리즘에 연기 확산거리 데이터를 적용 및 학습하여 연기 확산거리를 예측하였다.
첫째, 선박 거주구역이 주로 선실과 복도로 구성되며, 복도를 통해 피난한다는 점을 고려하여, 복도 모양으로 수치해석 공간을 구성하였다. 또한 복도의 길이는 주 수 직구 역의 개념을 적용하여 40[m]을 적용하고, SOLAS 규정에 따라 폭은 1[m], 천장의 높이는 2[m]로 적용하였다(SOLAS, 2015a; 2015b).
화재성장속도 별 화재시뮬레이션을 통하여 얻은 가상의 연기 영상으로부터 1, 155장의 연기 이미지를 획득한 후 무작위 추출법(Random sampling)으로 825장의 학습이미지와 330 장의 테스트 이미지로 나누었다.
대상 데이터
2.3절에서 구한 Slow, Experiment, Medium 그리고 Ultrafast 화재의 연기 확산거리를 학습 데이터로 사용하였고, Fast 화재의 연기 확산거리 데이터를 검증 데이터로 활용하였다.
본 연구에서 제안한 연기 확산거리 예측 모델을 학습하기 위하여 Python 3.6 기반의 Keras 라이브러리를 사용하였다.
데이터처리
Fast화재의 연기영상으로부터 추정한 연기 확산거리 값 (Target)과 시퀀스 모델링에 따른 모델 예측값(Predict)을 비교하여 Fig. 10에 나타내었으며, 연기 확산거리 예측 모델을 평가하기 위하여 평균제곱근 오차(RMSE)를 확인하였다. 평균 제곱근 오차는 표준편차를 일반화한 척도로 추정값과 실제값의 차이가 어느 정도인지를 나타내며 값이 낮을수록 예측 정확도가 높으며 식(4)을 통해 구할 수 있다.
이론/모형
, 2008). 또한 Fig. 4에 표시한 것과 같이 화재 실험값(Experiment)과 화재성장속도(Fire growth model) 별로 설계 화재 곡선을 생성하고, 화재시뮬레이션에 적용하였다 (NFPA, 2005).
본 연구에서는 연기 발생 유무를 판별하는 것이 아니라, 화재 발생 상황을 전제조건으로 화재 발생 이후부터 연기를 검출하고자 객체 검출 알고리즘인 YOLO를 사용하였다. YOLO는 하나의 합성곱 신경망이 동시에 여러 개의 경계 상자를 예측하고 각 경계 상자에 대하여 분류 확률(Class probability)을 예측한다.
선박 화재 발생 시 선내 화재감지기가 작동하기 전, 선내설치된 CCTV 영상을 수집하고 딥러닝 기반의 객체 검출 알고리즘인 YOLO-v3을 이용하여 연기를 검출한다. 그 다음, YOLO-v3로부터 검출된 경계 상자(Bounding box)의 y좌표 값으로부터 연기가 확산된 거리를 추정한다.
연기 영상의 연기 검출 성능 평가 지표는 YOLO 알고리즘을 활용하여 객체검출 연구를 수행한 선행연구를 참고하여 검출 정확도(mAP: mean Average Precision) 개념을 적용하였다. 연기 영상에서 검출 정확도는 연기가 올바르게 검출된 비율을 의미하여 본 연구에서는 98.
연기 확산거리를 예측하기 위해 시계열 데이터 학습에 적합한 LSTM(Long-Short-Term Memory)를 사용하였다. LSTMe 과거의 데이터와 현재의 데이터의 연관성분석을 통해 미래의 값을 예측하며 LSTM 기반 예측 모델의 구조는 Fig.
성능/효과
불꽃과 연기검출을 하였다. 검출률과 정확도로 성능을 평가한 결과 불꽃은 0.994, 0.998이고, 연기는 0.978, 0.978로 화재 검출 모델의 우수성을 확인하였다. 또한 Kim and Cho(2020)는 YOLO-v3모델을 적용하여 화염의 발생 여부와 위치 검출이 가능한 화염 감지시스템을 제안하였으며, 화염탐지 결과 정확도는 0.
40초보다 작은 20, 25, 30초로 설정하였다. 그 결과, 학습모델에 발화 시작부터 30초까지의 연기 확산거리를 입력값으로 넣었을 때 31초부터 90초까지의 연기 확산거리 예측이 가장 정확했다. 이는 화재시뮬레이션에 의한 연기 확산 거리 값(Target)과 본 연구에서 제안 알고리즘에 의한 예측 연기 확산거리 값(Predict)의 평균제곱근 오차가 2.
연기 영상에서 검출 정확도는 연기가 올바르게 검출된 비율을 의미하여 본 연구에서는 98.71%로 측정되었다. 이는 YOLO 알고리즘을 사용하여 mAP 72.
위 결과로부터 본 연구에서 제안한 연기 확산거리 예측알고리즘 적용 시, 화재 발생 후 연기감지기가 작동하기 전에 검출된 연기데이터로 확산거리 예측이 가능함을 확인하였다.
74로 계산되었다. 즉, 입력 시간 범위가 30초이고, 출력시간 범위가 60초인 경우의 예측 정확도가 가장 높음을 알 수 있다.
첫째, 화재시뮬레이션으로부터 얻은 연기 영상을 YOLO-v3 모델에 적용하여 학습한 결과 검출 정확도 즉, mAP(mean Average Precision)는 98.71%로 나타났으며, 9 FPS(Frames Per Second)의 처리 속도로 연기를 검출하였다. 또한, YOLO-v3 모델로부터 연기 형상이 추출된 경계 박스의 좌표값을 통해 연기확산 거리를 추정하였다.
참고문헌 (17)
Arvidson, M., J. Axelsson, and T. Hertzberg(2008) Large-scale fire tests in a passenger Cabin, SP Technical Research Institute of Sweden, Report, pp. 1-100.
Hwang, K. I., I. K Cho., G. H. Yun, and B. Kim(2018), A comparison of the trainees' evacuation characteristics according to the indoor smoke-fullfill during the safety training on ship, Journal of the Kore Society of Marine Environment & Safety, Vol. 24, No. 4, pp. 422-429.
IMO(2000), International Maritime Organization, MSC.98(73), Adoption of the International Code for Fire Safety Sysem, p. 19.
Kim, B. and K. I. Hwang(2016), Smoke exhaust performance prediction according to air supply and exhaust conditions for shipboard fires from a human safety point of view, Journal of the Kore Society of Marine Environment & Safety, Vol. 22, No. 7, pp. 782-790.
Kim, B. and K. I. Hwang(2017), A Study on Crid Size and Generation Method for Fire Simulations for Ship Accommodation Areas, Journal of the Kore Society of Marine Environment & Safety, Vol. 23, No. 7, pp. 791-800.
Kim, Y. J. and H. C. Cho(2020), Detecting location of fire in video stream environment using deep learning, The transactions of the Korean Institute of Electrical Engineers, Vol. 69, No. 3, pp. 474-479.
KMST(2019), Korea Maritime Safety Tribunal, Statistics for the marine accidents (in Korean), https://www.kmst.go.kr/kmst/statistics/annualReport/selectAnnualReportList.do.
McGrattan, K., S. Hostikka, R. McDermott, J. Floyd, C. Weinschenk, and K. Overholt(2014), Fire Dynamics Simulator FDS User's Guide, 6th ed., National Institute of Standards and Technology, p. 35.
Nazilly, M. L., B. Rahmat, and E. Y. Puspaningrum(2020), Implementation of YOLO Algorithm for Fire Detection, Jurnal Informatika dan Sistem Informasi, Vol. 1, No. 1, pp. 81-91.
NFPA(2005), National Fire Protection Association, Standard for smoke management systems in malls, atria and large area, NFPA 92B.
Park, K. M. and C. O. Bae(2019), A study on fire detection in ship engine rooms using convolutional neural network, Journal of the Kore Society of Marine Environment & Safety, Vol. 25, No. 4, pp. 476-481.
Redmon, J., S. Divvala, R. Girshick, and A. Farhadi(2016), You Only Look Onece: Unified, Real-Time Object Detection, In: CVPR.
Shim, S. B. and S. I. Choi(2019), Development on Identification Algorithm of Risk Situation around Construction Vechicle using YOLO-v3, Journal of Korea AcademiaIndustrial cooperation Society, Vol. 20, No. 7, pp. 622-629.
SOLAS(2015a), Regulation 3 Definitions, Chapter II-2 Construction-Fire Detection and Fire Extinction.
SOLAS(2015b), Regulation 13 Means of Escape, Chapter II-2 Construction-Fire Detection and Fire Extinction.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.