[논문]재난 현장 물리적 보안을 위한 딥러닝 기반 요구조자 탐지 알고리즘

김다현; 박만복; 안준호

doi:10.7472/jksii.2022.23.4.57

재난 현장 물리적 보안을 위한 딥러닝 기반 요구조자 탐지 알고리즘
Deep Learning Based Rescue Requesters Detection Algorithm for Physical Security in Disaster Sites 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.23 no.4, 2022년, pp.57 - 64

김다현 (Dept. of Software, Korea National University of Transportation) , 박만복 (Dept. of Electronic Engineering, Korea National University of Transportation) , 안준호 (Dept. of Software, Korea National University of Transportation)

초록
AI-Helper

화재, 붕괴, 자연재해 등의 재난 발생으로 건물 내부가 붕괴하는 경우, 기존의 건물 내부의 물리적 보안이 무력해질 확률이 높다. 이때, 붕괴 건물 내의 인명피해와 물적 피해를 최소화하기 위한 물리적 보안이 필요하다. 따라서 본 논문은 기존 연구되었던 장애물을 탐지하고 건물 내 붕괴된 지역을 탐지하는 연구와 인명피해를 최소화하기 위한 딥러닝 기반 객체 탐지 알고리즘을 융합하여 재난 상황의 피해를 최소화하기 위한 알고리즘을 제안한다. 기존 연구에서 단일 카메라만을 활용하여 현재 로봇이 있는 복도 환경의 붕괴 여부를 판단하고 구조 및 수색 작업에 방해가 되는 장애물을 탐지했다. 이때, 붕괴 건물 내 물체는 건물의 잔해나 붕괴로 인해 비정형의 형태를 가지며 이를 장애물로 분류하여 탐지하였다. 또한, 재난 상황에서 자원 중 가장 중요한 요구조자를 탐지하고 인적 피해를 최소화하기 위한 방법을 제안하고 있다. 이를 위해, 본 연구는 공개된 재난 영상과 재난 상황의 이미지 데이터를 수집하여 다양한 딥러닝 기반 객체 탐지 알고리즘을 통해 재난 상황에서 요구조자를 탐지하는 정확도를 구했다. 본 연구에서 재난 상황에 요구조자를 탐지하는 알고리즘을 분석한 결과 YOLOv4 알고리즘의 정확도가 0.94로 실제 재난 상황에서 활용하기 가장 적합하다는 것을 증명하였다. 본 논문을 통해 재난 상황의 효율적인 수색과 구조에 도움을 주며 붕괴된 건물 내에서도 높은 수준의 물리적 보안을 이룰 수 있을 것이다.

Abstract ▼ AI-Helper

If the inside of a building collapses due to a disaster such as fire, collapse, or natural disaster, the physical security inside the building is likely to become ineffective. Here, physical security is needed to minimize the human casualties and physical damages in the collapsed building. Therefore, this paper proposes an algorithm to minimize the damage in a disaster situation by fusing existing research that detects obstacles and collapsed areas in the building and a deep learning-based object detection algorithm that minimizes human casualties. The existing research uses a single camera to determine whether the corridor environment in which the robot is currently located has collapsed and detects obstacles that interfere with the search and rescue operation. Here, objects inside the collapsed building have irregular shapes due to the debris or collapse of the building, and they are classified and detected as obstacles. We also propose a method to detect rescue requesters-the most important resource in the disaster situation-and minimize human casualties. To this end, we collected open-source disaster images and image data of disaster situations and calculated the accuracy of detecting rescue requesters in disaster situations through various deep learning-based object detection algorithms. In this study, as a result of analyzing the algorithms that detect rescue requesters in disaster situations, we have found that the YOLOv4 algorithm has an accuracy of 0.94, proving that it is most suitable for use in actual disaster situations. This paper will be helpful for performing efficient search and rescue in disaster situations and achieving a high level of physical security, even in collapsed buildings.

주제어

표/그림 (9)

그림 (그림 1) 재난현장 효율적인 수색을 위한 전체 시스템 구성도 (Figure 1) Complete system configuration diagram for efficient search of disaster sites
그림 (그림 2) 실험에 사용된 보급형 로봇 (Figure 2) The low-cost robot used in the experiment
그림 (그림 3) 이전 연구 알고리즘 흐름도 (Figure 3) Flowchart of previous research algorithms
그림 (그림 4) 정상, 비정상 바닥 면 세분화 결과: a는 정상 바닥 면 세분화 결과, b는 비정상 바닥면 세분화 결과 (Figure 4) Normal, abnormal floor segmentation result: (a) is the normal floor segmentation result, (b) is the abnormal floor segmentation result
그림 (그림 5) 기존 연구와 신규 연구를 융합한 알고리즘 구성도 (Figure 5) An algorithmic diagram that combines previous and new research
그림 (그림 6) 수집한 재난현장 데이터 예시 (Figure 6) Examples of disaster site data collected
표 (표 1) 기존 연구 알고리즘 성능 (Table 1) Performance of existing research algorithms
그림 (그림 7) 재난현장 내 사람 탐지 결과(Figure 7) The results of the detection of people at the disaster site
표 (표 2) 재난 상황의 요구조자 탐지를 위한 알고리즘 비교 (Table 2) Comparison of algorithms for detection of rescue requesterss in disaster situations

AI 본문요약
AI-Helper

문제 정의

본 논문은 2장 재난 상황에서 로봇 등을 활용하여 수색하기 위한 연구, 물리 보안을 통해 재난 상황을 대비하고 재난 상황에서 활용되는 것과 관련된 연구들을 소개한다. 또한, 본 연구에서 효율적인 수색을 위해 활용된 객체탐지 알고리즘에 관해 서술한다.
본 연구는 재난 상황의 물리적 자원을 최대한 보호하기 위해 재난현장의 실내를 탐색하고 요구조자를 찾는 알고리즘을 제안한다. 기존 연구는 실내의 장애물을 탐지하고 재난 건물의 진입 가능 및 불가능한 장소를 판단하여 효율적인 수색이 가능하다.
이때, 기존 연구 알고리즘의 성능은 표 1과 같다. 하지만 기존 연구의 경우 요구조자를 찾는 것보다 재난 상황을 탐색하고 분석하여 재난 상황이 나타난 재난 지도를 만드는 것을 목적으로 하였다. 본 연구는 기존 연구에서 재난 지도를 생성하는 과정에서 요구조자를 파악하여 재난 상황의 물리적 보안 중 가장 중요한 요구조자를 탐지한다.

제안 방법

하지만 기존 연구의 경우 요구조자를 찾는 것보다 재난 상황을 탐색하고 분석하여 재난 상황이 나타난 재난 지도를 만드는 것을 목적으로 하였다. 본 연구는 기존 연구에서 재난 지도를 생성하는 과정에서 요구조자를 파악하여 재난 상황의 물리적 보안 중 가장 중요한 요구조자를 탐지한다. 기존 연구와 본 연구를 융합한 알고리즘은 그림 5와 같다.
재난 상황에서는 다양한 물체가 정상적이지 않은 형태를 지니고 있다. 이에 따라 모든 물체를 학습시키는 것은 불가능하고 우리는 학습되지 않은 물체를 장애물이라 정의하여 장애물을 탐지 가능한 알고리즘을 설계하였다. 이때, 기존 연구의 알고리즘의 흐름도는 그림 3과 같다.
기존 연구는 재난현장 내 장애물과 진입 가능여부를 판단하여 소방대원의 수색과 구조작업을 도울 수 있다. 하지만 재난현장에서 가장 중요한 물리적 자원인 요구조자를 탐지하기 위해 다양한 딥러닝 알고리즘을 비교 분석하였다. 재난현장 영상 및 이미지 데이터를 수집하여 딥러닝 알고리즘에서 사람를 탐지했으며 이때, YOLOv4의 성능이 가장 좋았다.

대상 데이터

이때, F1-Score 값은 Precision과 Recall의 조화평균 값으로 분류 클래스 간의 불균형이 심할 때 사용한다. 현재 수집되어 실험에 사용된 데이터 세트도 사람이 없는 재난 이미지는 997장이며 사람이 있는 재난 이미지는 511장으로 클래스 간의 불균형이 존재한다. 본 연구에서는 재난현장에서 사람을 탐지하는 다양한 딥러닝 모델 중 YOLOv4의 F1-Score가 91%로 가장 좋은 성능을 가진다.

성능/효과

재난현장에서 사람을 탐지한 YOLOv4 모델의 결과는 그림 7과 같다. YOLOv4와 기존 연구를 제안하는 알고리즘을 융합한 알고리즘은 재난 상황에서 요구조자를 탐지 가능하며 장애물과 붕괴된 곳을 판단하여 효율적이고 빠른 수색에 도움을 준다. 이는 재난 상황의 물리 보안인 피해 최소화에 큰 영향을 줄 수 있다.
현재 수집되어 실험에 사용된 데이터 세트도 사람이 없는 재난 이미지는 997장이며 사람이 있는 재난 이미지는 511장으로 클래스 간의 불균형이 존재한다. 본 연구에서는 재난현장에서 사람을 탐지하는 다양한 딥러닝 모델 중 YOLOv4의 F1-Score가 91%로 가장 좋은 성능을 가진다. 재난현장에서 사람을 탐지한 YOLOv4 모델의 결과는 그림 7과 같다.
하지만 재난현장에서 가장 중요한 물리적 자원인 요구조자를 탐지하기 위해 다양한 딥러닝 알고리즘을 비교 분석하였다. 재난현장 영상 및 이미지 데이터를 수집하여 딥러닝 알고리즘에서 사람를 탐지했으며 이때, YOLOv4의 성능이 가장 좋았다. 본 연구를 통해 재난 상황에서 신속하고 효율적인 수색과 구조작업을 가능하게 한다.

후속연구

본 연구를 통해 재난 상황에서 신속하고 효율적인 수색과 구조작업을 가능하게 한다. 우리는 추후 다른 센서 값과의 연동을 통해 더욱 정밀한 재난 상황 분석을 연구할 예정이다.

참고문헌 (24)

Pubulic data portal, "Ministry of Public Administration and Security Accident Status," 2021. https://www.data.go.kr/data/15014225/fileData.do
Ministry of the Interior and Safety, "2020 Disaster Yearbook (Social Disaster)," 2021. https://www.mois.go.kr/frt/bbs/type001/commonSelect BoardArticle.do;jsessionidS6OLepLuc-2k5BZUsGkjYiqS.node30?bbsIdBBSMSTR_000000000014&nttId89259
National Fire Protection Association, "Standard for the Organization and Deployment of Fire Suppression Operations, Emergency Medical Operations, and Special Operations to the Public by Career Fire Departments," 2020. https://www.nfpa.org/codes-and-standards/all-codesand-standards/list-of-codes-and-standards/detail?code1710
FEMA USAR Structural Collapse Technician Student Manual - rule of 3's in survival https://www.fema.gov/pdf/emergency/usr/module1c2.pdf
Telecommunications Technology Association, "physical security," 2022 http://terms.tta.or.kr/dictionary/dictionaryView.do?subject %EB%AC%BC%EB%A6%AC%EC%A0%81%%EB%B3%B4%EC%95%88
The Science Times, "A 'swarm drone' capable of searching a disaster site," 2019. https://www.sciencetimes.co.kr/news/%EB%AF%B8%EC%A7%80%EC%9D%98-%ED%99%98%EA%B2%BD%EC%9D%84-%ED%83%90%ED%97%98%ED%95%98%EB%8A%94-%EA%B5%B0%EC%A7%91-%EB%93%9C%EB%A1%A0/
H. S. Moon and W. S. Lee, "Development and Verification of A Module for Positioning Buried Persons in Collapsed Area," Journal of the Korea Academia-Industrial cooperation Society, Vol. 17, No. 12 pp. 427-436, 2016. http://dx.doi.org/10.5762/KAIS.2016.17.12.427

원문보기 상세보기
Y. W Shin and J. H Park, "Analysis of the Effectiveness of Fire Drone Missions at Disaster Sites: An Empirical Approach," Fire Science and Engineering, Vol. 34, No. 5, pp. 112-119, 2020. https://doi.org/10.7731/KIFSE.cba54f4c

상세보기
N. H. Park, Y. C. Ahn and Y. J. Hwang, "A Study on the Development of a Remote Control Drone for Disaster Response," The Korean Society of Disaster Information, Vol. 15, No. 4, pp. 578-589, 2019. https://doi.org/10.15683/kosdi.2019.12.31.578

원문보기 상세보기
IEEE Spectrum, "Paris Firefighters Used This Remote-Controlled Robot to Extinguish the Notre Dame Blaze," 2019. https://spectrum.ieee.org/colossus-the-firefighting-robotthat-helped-save-notre-dame
S. J. Kim, D. G. Shin, J. H. Pyo, J. S. Shin, M. L. Jin and J. H Suh, "A Multi-Sensor Module of Snake Robot for Searching Survivors in Narrow Space," Journal of Korea Robotics Society, Vol. 16, No. 4, pp. 291-298, 2021. https://doi.org/10.7746/jkros.2021.16.4.291

원문보기 상세보기
S. S. Kim and D. Y. Shin, "Current Status of Technology Development and Policy Recommendations of Disaster Robot for Inaccessible Disaster Site," Journal of the Korea Academia-Industrial cooperation Society, Vol. 22, No. 11 pp. 270-276, 2021. https://doi.org/10.5762/KAIS.2021.22.11.270

상세보기
J. H. Cho, Y. I. Chung and H. H. Park, "A Study on the Improvement of Physical and Personnel Security System in Industry Field," Korea police studies review, Vol.17 No.2, pp.269-290, 2018. https://doi.org/10.38084/2018.17.2.11

상세보기
Y. Y. Woo and J. L. Lee, "Utilization of Drone Technology in Physical Security and Its Limitations," Police Science Institute, Vol. 32, No.3, pp. 255-284. 2018. https://doi.org/10.35147/knpsi.2018.32.3.255

상세보기
A. Bochkovskiy, C. Y. Wang and H. Y. M. Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection," arXiv, 2020. https://arxiv.org/abs/2004.10934
T. Y. Lin, P. Dollar, R. Girshick, K. He, B. Hariharan and S. Belongie, "Feature Pyramid Networks for Object Detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2117-2125, 2017. http://arxiv.org/abs/1612.03144v2
M. Tan, R. Pang and Q. V. Le, "EfficientDet: Scalable and Efficient Object Detection," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10781-10790, 2020. http://arxiv.org/abs/1911.09070
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu and A. C. Berg, "SSD: Single Shot MultiBox Detector," European Conference on Computer Vision (ECCV), pp. 21-37, 2016. http://arxiv.org/abs/1512.02325
S. Ren, K. He, R. Girshick and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149, 2017. https://doi.org/10.1109/TPAMI.2016.2577031

상세보기
T. Y. Lin, P. Goyal, R. Girshick, K. He and P. Dollar, "Focal Loss for Dense Object Detection," Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 2980-2988, 2017. http://arxiv.org/abs/1708.02002v2
D. Kim, C. Kim, and J. Ahn, "Vision-based Recognition Algorithm for Up-To-Date Indoor Digital Map Generations at Damaged Buildings," Computers Materials Continua, Vol. 72, No. 2, pp. 2765-2781, 2022. https://doi.org/10.32604/cmc.2022.025116

상세보기
OMOROBOT, "OMO R1," 2021. https://omorobot.com/docs/omo-r1/
Jeonju MBC, "[rescue site] Fire scene and emergency situation (Jeonju Wansan Fire Station)," 2019. https://youtu.be/0_QU9Pz0phA
COCO, "COCO-2017". 2017. https://cocodataset.org/#home

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증