[논문]딥러닝 기반 달 표면 모사 환경 실시간 객체 인식 및 매칭 시스템 개발

나종호; 공준호; 이수득; 신휴성

doi:10.7474/tus.2023.33.4.281

딥러닝 기반 달 표면 모사 환경 실시간 객체 인식 및 매칭 시스템 개발
Development of System for Real-Time Object Recognition and Matching using Deep Learning at Simulated Lunar Surface Environment 원문보기

터널과 지하공간: 한국암반공학회지 = Tunnel and underground space, v.33 no.4, 2023년, pp.281 - 298

나종호 (한국건설기술연구원 미래스마트건설연구본부) , 공준호 (한국건설기술연구원 미래스마트건설연구본부) , 이수득 (SK에코플랜트 Eco Lab센터) , 신휴성 (한국건설기술연구원 미래스마트건설연구본부)

초록
AI-Helper

달 현지 탐사를 위해 무인 이동체에 대한 연구가 지속적으로 이루어져 있으며 달 지상 관심 지역의 정확한 위치 및 맵핑을 위한 실시간 정보화 작업이 요구되고 있다. 딥러닝 영상 처리 분석 기술을 실제 로버에 적용하기 위해 소프트웨어의 통합과 최적화에 대한 연구가 필요하며 본 연구에서는 가상의 달 기지 건설현장의 영상을 실시간 분석하여 핵심 객체의 공간 정보를 자동으로 수치화하는 방안에 대한 기초 연구가 진행되었다. 본 연구를 통해 이미 구축된 영역 분할 기반 객체 인식 알고리즘을 경계 상자 기반 객체 인식알고리즘으로 변경하여 객체 인식 정확도 및 추론 속도를 개선하는 작업이 이루어졌으며, 대용량 데이터 기반 객체 매칭 학습을 위해 Batch Hard Triplet Mining 기법을 도입하고, 학습 및 추론에 대한 최적화 연구가 수행되었다. 또한 개선된 객체 인식 및 동일 객체 매칭 소프트웨어를 통합하고, 입력 이미지 내 동일 객체 자동 매칭을 시각화하는 소프트웨어를 개발하였으며, 위성 모사 촬영 영상 내 객체를 학습 데이터로, 이동체 촬영 영상 내 객체를 추론 데이터로 사용하여 동일 객체 매칭의 학습 및 추론이 이루어졌다. 본 연구의 결과는 이동체의 연속 촬영 영상을 기반 3차원 공간 정보를 구현 및 관심 공간 내 객체 위치 설정에 활용할 수 있을 것으로 사료되며, 향후 달 기지 건설 현장에서의 영상 기반 시공 모니터링 및 제어를 위한 자동 현장 및 주요 대상물 공간 정보 구축 시스템과의 연계에 기여할 것으로 기대된다.

Abstract ▼ AI-Helper

Continuous research efforts are being devoted to unmanned mobile platforms for lunar exploration. There is an ongoing demand for real-time information processing to accurately determine the positioning and mapping of areas of interest on the lunar surface. To apply deep learning processing and analysis techniques to practical rovers, research on software integration and optimization is imperative. In this study, a foundational investigation has been conducted on real-time analysis of virtual lunar base construction site images, aimed at automatically quantifying spatial information of key objects. This study involved transitioning from an existing region-based object recognition algorithm to a boundary box-based algorithm, thus enhancing object recognition accuracy and inference speed. To facilitate extensive data-based object matching training, the Batch Hard Triplet Mining technique was introduced, and research was conducted to optimize both training and inference processes. Furthermore, an improved software system for object recognition and identical object matching was integrated, accompanied by the development of visualization software for the automatic matching of identical objects within input images. Leveraging satellite simulative captured video data for training objects and moving object-captured video data for inference, training and inference for identical object matching were successfully executed. The outcomes of this research suggest the feasibility of implementing 3D spatial information based on continuous-capture video data of mobile platforms and utilizing it for positioning objects within regions of interest. As a result, these findings are expected to contribute to the integration of an automated on-site system for video-based construction monitoring and control of significant target objects within future lunar base construction sites.

주제어

표/그림 (29)

그림 Fig. 1. Example of object labeling : Bounding Box (left), Segmentation (right) (Wu et al., 2020)
그림 Fig. 2. Performance comparison of object detection by (a) segmentation and (b) object detection model (Bolya et al., 2020)
그림 Fig. 3. Boundary box based object detection method (Pacha et al., 2018)
그림 Fig. 4. Conceptual flow of YOLOv3 network
그림 Fig. 5. Data labeling results: day image (left), night image (right)
표 Table 1. Quantities of the datasets in terms of condition
표 Table 2. Train and validation split of dataset
그림 Fig. 6. Train/Validation loss curve
그림 Fig. 7. mAP(mean Average Precision) by classes
표 Table 3. Hyper parameter settings of object recognition model
그림 Fig. 8. Initial triplet loss curve
그림 Fig. 9. Sample of drone image
그림 Fig. 10. Object distribution histogram
표 Table 4. Rover-Satellite image object matching trainning dataset
그림 Fig. 11. Rover-Drone object matching training result : Loss trend (left), Accuracy trend (right)
표 Table 5. Hyper parameter settings of rover-satellite object matching model
그림 Fig. 12. Drone-Rover object matching training process
그림 Fig. 13. Example of object in drone image (50 m)
그림 Fig. 14. Object distribution histogram after SSIM filtering process (30 m drone image)
표 Table 6. The number of object detected from 50 m drone image
그림 Fig. 15. Example of object in drone image (30 m)
그림 Fig. 16. Trend of loss values in drone image training results : (a) 50 m and (b) 30 m drone image
표 Table 7. The number of object detected from 30 m drone image
그림 Fig. 17. Conceptual diagram of inter-class detection accuracy measurement process
그림 Fig. 18. Conceptual diagram of categorical detection accuracy measurement process
그림 Fig. 19. Object inference result (50 m drone image)
표 Table 8. Drone image object inference accuracy rate result between class
표 Table 9. Drone image object inference accuracy rate result between category
그림 Fig. 20. Object inference result (30 m drone image)

참고문헌 (10)

Bolya, D., Zhou, C., Xiao F., and Lee, Y.J., 2020, YOLACT++ Better Real-Time Instance Segmentation, IEEE Transactions on？Pattern Analysis and Machine Intelligence, 44(2), 1108-1121.
Choi, J., Chun, D., Kim, H., and Lee, H.J., 2019, Gaussian yolov3: An accurate and fast object detector using localization？uncertainty for autonomous driving, Proceedings of the IEEE International Conference on Computer Vision, 502-511.
Pacha, A., Jan, H.J., and Jorge, C.Z., 2018, A Baseline for General Music Object Detection with Deep Learning, Applied Sciences,？8(9), 1488.
Redmon, J. and Farhadi, A., 2017, YOLO9000: better, faster, stronger, Proceedings of the IEEE Conference on Computer Vision？and Pattern Recognition, 7263-7271.
Redmon, J. and Farhadi, A., 2018, Yolov3: An incremental improvement, Proceedings of the IEEE Conference on Computer Vision？and Pattern Recognition, 1804, 1-6.
Redmon, J., Divvala, S., Girshick, R., and Farhadi, A., 2016, You only look once: Unified, real-time object detection, Proceedings？of the IEEE Conference on Computer Vision and Pattern Recognition, 779-788.
Ren, S., He, K., Girshick, R., and Sun, J., 2016, Faster r-cnn: Towards real-time object detection with region proposal networks,？IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, 1137-1149.
Schroff, F., Dmitry, K., and Philbin, J., 2015, Facenet: A unified embedding for face recognition and clustering, Proceedings of the？IEEE Conference On Computer Vision And Pattern Recognition, 815-823.
Tan, M. and Quoc, V.L., 2019, Efficientnet: Rethinking model scaling for convolutional neural networks, International Conference？on Machine Learning, 6105-6114.
Wu, X., Sahoo, D., and Steven Hoi, C.H., 2020, Recent advances in deep learning for object detection, Neurocomputing, 396, 39-64.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증