[논문]딥러닝 기반 지하공동구 제어반 문열림 인식

김경환; 김지은; 정우석

doi:10.15683/kosdi.2023.9.30.665

딥러닝 기반 지하공동구 제어반 문열림 인식
Deep Learning-based Object Detection of Panels Door Open in Underground Utility Tunnel 원문보기

한국재난정보학회논문집 = Journal of the Society of Disaster Information, v.19 no.3, 2023년, pp.665 - 672

김경환 (Electronics and Telecommunications Research Institute) , 김지은 (Electronics and Telecommunications Research Institute) , 정우석 (Disaster & Safety AI Convergence Center, Electronics and Telecommunications Research Institute)

초록
AI-Helper

연구목적: 지하공동구는 도시 지하에 전기, 수도, 가스 등의 인프라를 공동 수용하는 시설로 공기 흐름이 부족하여 계절에 상관없이 결로가 자주 발생한다. 결로는 전기 설비의 누전 화재를 일으키는 원인이 되므로 지하공동구 내의 조명 등 각종 시설물 관리를 위해 필요한 제어반은 결로에 노출되지 않도록 문이 닫힌 상태로 관리되어야 한다. 본 논문에서는 딥러닝 객체인식 기술을 활용하여 수km 거리에 반복 배치된 공동구 제어반의 문 열림 여부를 이동 카메라 조건과 조명이 꺼진 조건에서도 인식하고자 한다. 연구방법: 지하공동구를 순찰하는 로봇이 촬영한 영상데이터를 이용하여 딥러닝 객체인식 모델인 YOLO를 모자이크 이미지 증강기법으로 학습시켜 제어반 문 열림과 문 닫힘을 인식한다. 연구결과: 모자이크 이미지 증강기법으로 학습시킨 모델과 사용하지 않은 모델의 성능을 비교한 결과, 모자이크 학습 모델이 더 우수한 성능(모든 클래스에 대한 mAP가 0.994 이상임)을 보이는 것을 확인하였다. 결론: 지하공동구의 조명이 꺼진 상태에서도, 공동구 내부 시설물이 복잡한 환경에서도 제어반의 문열림 여부를 우수한 성능으로 인식하여 지하공동구 재난안전관리에 도움이 될 것으로 기대된다.

Abstract ▼ AI-Helper

Purpose: Underground utility tunnel is facility that is jointly house infrastructure such as electricity, water and gas in city, causing condensation problems due to lack of airflow. This paper aims to prevent electricity leakage fires caused by condensation by detecting whether the control panel door in the underground utility tunnel is open using a deep learning model. Method: YOLO, a deep learning object recognition model, is trained to recognize the opening and closing of the control panel door using video data taken by a robot patrolling the underground utility tunnel. To improve the recognition rate, image augmentation is used. Result: Among the image enhancement techniques, we compared the performance of the YOLO model trained using mosaic with that of the YOLO model without mosaic, and found that the mosaic technique performed better. The mAP for all classes were 0.994, which is high evaluation result. Conclusion: It was able to detect the control panel even when there were lights off or other objects in the underground cavity. This allows you to effectively manage the underground utility tunnel and prevent disasters.

주제어

표/그림 (10)

그림 Fig. 1. Condensation in underground utility tunnel
그림 Fig. 2. Inside the light control panel
그림 Fig. 3. Underground Monorail Robot
그림 Fig. 4. Contextual control panel image
그림 Fig. 5. Transformation of training images
그림 Fig. 6. Training Precision, Recall and mAP
표 Table 1. Hyperparameters in YOLOv5
그림 Fig. 7. Comparison of mosaic use
표 Table 2. Test results
표 Table 3. Contextual test results

AI 본문요약
AI-Helper

제안 방법

제어반 문 열림 이미지 900여장, 문 닫힘 이미지 2200여장을 수집하여 총 3100여장의 이미지 데이터를 수집하였다. YOLO 학습을 위해 수집한 이미지에서 클래스 정보와 객체 좌표를 입력하는 라벨링 작업을 진행했다.
본 논문에서는 모자이크를 사용하고, 사용하지 않았을 때로 나누어 학습을 진행하였다. 모자이크를 사용하여 학습 시 모델을 Table 1과 같이 설정했다.
지하공동구의 특성상 습도가 높아 결로 현상이 발생하여 제어반의 문이 열려 있으면 외부환경에 의한 누전피해가 발생할 수 있다. 본 논문에서는 이를 방지하기 위해 객체 인식 알고리즘인 YOLOv5를 적용하여 지하공동구를 순찰하는 로봇의 영상에서 제어반의 상태를 탐지했다. 학습을 위해 4가지 상황의 로봇의 영상에서 직접 데이터를 수집하였으며, 모자이크 기법을 사용해 모델의 성능을 향상시켰다.
이렇게 확보한 영상들을 프레임 단위로 짤라 이미지를 수집하였다. 수집한 이미지를 제어반 문 열림, 문 닫힘 두 가지 클래스로 나누어서 데이터를 구축했다. 제어반 문 열림 이미지 900여장, 문 닫힘 이미지 2200여장을 수집하여 총 3100여장의 이미지 데이터를 수집하였다.

대상 데이터

지하공동구의 불이 꺼진 상태에서는 비상등과 로봇의 조명에 의해 시야를 확보할 수 있다. 두 가지 지하공동구 상태에서 제어반의 문 닫힘, 문 열림에 대한 영상을 찍어 총 4가지 케이스의 영상을 확보하였다(Fig. 4).
4). 문 열림 상태의 영상을 찍을 때는 데이터의 다양성을 확보하기 위해 제어반 문의 열린 각도를 다양하게 하여 데이터를 수집하였다. 이렇게 확보한 영상들을 프레임 단위로 짤라 이미지를 수집하였다.
본 논문에서는 제어반 문 열림 예측 모델의 성능을 평가하기 위해 136개의 테스트 데이터를 활용하였다. 이 중 82개의 데이터는 제어반 문이 열려 있는 상태이고, 나머지 54개의 데이터는 문이 닫혀 있는 상태를 나타낸다.
수집한 이미지를 제어반 문 열림, 문 닫힘 두 가지 클래스로 나누어서 데이터를 구축했다. 제어반 문 열림 이미지 900여장, 문 닫힘 이미지 2200여장을 수집하여 총 3100여장의 이미지 데이터를 수집하였다. YOLO 학습을 위해 수집한 이미지에서 클래스 정보와 객체 좌표를 입력하는 라벨링 작업을 진행했다.
YOLO를 학습시키기 위해 데이터 수집 및 전처리를 진행한다. 지하공동구에 설치된 로봇의 순찰 영상에서 이미지를 추출해 학습 데이터를 구축하였다. 로봇의 순찰 영상에는 두 가지의 종류가 있는데 지하공동구의 불이 꺼진 상태와 불이 켜진 상태가 있다.
따라서 처리 속도가 빠르며 인식률도 좋은 One-stage Detectot 방식을 사용하는 YOLO 모델중 YOLOv5로 학습을 진행하였다. 학습데이터는 3159장의 이미지 중 2344개의 이미지를 학습데이터로 사용하고 679개 이미지를 검증데이터, 시험데이터는 136개로 학습을 진행했다.
본 논문에서는 이를 방지하기 위해 객체 인식 알고리즘인 YOLOv5를 적용하여 지하공동구를 순찰하는 로봇의 영상에서 제어반의 상태를 탐지했다. 학습을 위해 4가지 상황의 로봇의 영상에서 직접 데이터를 수집하였으며, 모자이크 기법을 사용해 모델의 성능을 향상시켰다. 지하공동구의 저조도 환경의 영상에서 모든 객체의 mAP 지표가 0.

이론/모형

본 논문에서는 순찰 로봇의 영상에서 실시간으로 제어반 문 열림 여부를 검출해야한다. 따라서 처리 속도가 빠르며 인식률도 좋은 One-stage Detectot 방식을 사용하는 YOLO 모델중 YOLOv5로 학습을 진행하였다. 학습데이터는 3159장의 이미지 중 2344개의 이미지를 학습데이터로 사용하고 679개 이미지를 검증데이터, 시험데이터는 136개로 학습을 진행했다.
영상인식 알고리즘의 성능 평가 방법은 mAP(mean Average Precision)를 사용한다. mAP는 모든 클래스의 AP(Average Precision)를 평균한 값이다.

성능/효과

Table 2는 모자이크를 이용해 학습한 모델의 평가와 이용하지 않았을 때의 모델의 평가를 표로 나타낸 것이다. 모자이크를 사용하여 학습을 진행했을때 제어반 열림에 대한 mAP가 0.009 증가하였으며, 전체 클래스에 대한 mAP가 0.003 증가하여 향상된 탐지성능을 보였다.

후속연구

993 이상의 높은 성능으로 감지하였다. 이를 통해 지하공동구를 효과적으로 관리하여 재난을 예방할 수 있을 것으로 기대된다. 향후 지하공동구 데이터를 추가 확보하여 제어반뿐만 아니라 다양한 객체를 탐지함으로써 지하공동구의 안정성을 향상시킬 계획이다.
이를 통해 지하공동구를 효과적으로 관리하여 재난을 예방할 수 있을 것으로 기대된다. 향후 지하공동구 데이터를 추가 확보하여 제어반뿐만 아니라 다양한 객체를 탐지함으로써 지하공동구의 안정성을 향상시킬 계획이다.

참고문헌 (9)

Jo, Y.-H., Lee, M.-H., Kim, D.-H., Lee, J.-K. (2020). "Recognizing transportation vulnerable using deep neural？network based object detection." Proceedings of Symposium of the Korean Institute of communications and？Information Sciences, Republic of Korea, pp.1402-1403.
Kim, H.-Y., Park, T.-Y.(2021). "Detection of wearing a protective gear and entering hazardous areas of worker in？construction site using YOLO." Conference on Information and Control Systems 2021, Republic of Korea, pp.？458-459.
Kim, J.-S., Lee, C.-W., Park, S.-H., Lee, J.-H., Hong, C.-H. (2020). "Development of fire detection model for？underground utility facilities using deep learning: Training data supplement and bias optimization." Journal of the？Korea Academia-Industrial cooperation Society, Vol. 21, No. 12, pp. 320-330.
Lee, M.-S., Jung, W.-S., Kim, E.-S.(2021). "A study on the disaster safety management method of underground？lifelines based on digital twin technology." Communications of the Korean Institute of Information Scientists and？Engineers, Vol. 39, No. 2, pp. 16-24.
Lee, Y.-J. (2020). A Study on the Disaster Management System Considering the Risk Characteristics of Fire in Utility？Tunnel. The Korean Society of Disaster Information, Republic of Korea, pp.71-72.
Nam, C.-H., Nam, E.-J., Jang, K.-S. (2021). "Mask wearing detection system using deep learning." Journal of the？Korea Institute of Information and Communication Engineering, Vol. 25, No. 1, pp. 44-49.
Park, S.-M., Hong, C.-H., Park, S.-H., Lee, J.-W., Kim, J.-S. (2022). "Development of a deep learning-based fire？extinguisher object detection model in underground utility tunnels." Journal of the Society of Disaster Information,？Vol. 18, No. 4, pp. 922-929.
YOLOv5, https://github.com/ultralytics/yolov5
Yoon, D.-W., Seong, N.-C., Shin, D.-C.(2014). "A study on determining dew condensation at the underground utility？tunnel as measurement thermal condition." Journal of The Korean Society of Living Environmental System, Vol. 21,？No. 6, pp. 1014-1022.？

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증