[논문]관심 영역 추출과 영상 분할 지도를 이용한 딥러닝 기반의 이미지 검색 기술

유민정; 조은혜; 김병준; 김선옥

doi:10.5909/jbe.2023.28.2.230

관심 영역 추출과 영상 분할 지도를 이용한 딥러닝 기반의 이미지 검색 기술
Deep Image Retrieval using Attention and Semantic Segmentation Map 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.28 no.2, 2023년, pp.230 - 237

유민정 (한국항공대학교) , 조은혜 (한국항공대학교) , 김병준 (한국항공대학교) , 김선옥 (한국항공대학교)

초록
AI-Helper

자율주행은 4차 산업의 핵심 기술로 차, 드론, 자동차, 로봇 등 다양한 곳에 응용 가능하다. 그 중 위치 추정 기술은 GPS, 센서, 지도 등을 활용하여, 객체나 사용자의 위치를 파악하는 기술로 자율주행을 구현하기 위한 핵심적인 기술 중 하나이다. GPS나 LIDAR 등의 센서를 이용하여 위치 추정이 가능하지만, 이는 매우 고가이고 무거운 장비를 탑재해야 하며 지하 혹은 터널 등 전파 방해가 있는 곳의 경우 정밀한 위치 추정이 어렵다는 단점이 있다. 본 논문에서는 이를 보완하기 위해 저가의 비전 카메라로 획득한 컬러 영상을 입력으로 하여 관심 영역 추출 네트워크와 영상 분할 지도를 이용한 영상 검색 기술을 제안한다.

Abstract ▼ AI-Helper

Self-driving is a key technology of the fourth industry and can be applied to various places such as cars, drones, cars, and robots. Among them, localiztion is one of the key technologies for implementing autonomous driving as a technology that identifies the location of objects or users using GPS, sensors, and maps. Locilization can be made using GPS or LIDAR, but it is very expensive and heavy equipment must be mounted, and precise location estimation is difficult for places with radio interference such as underground or tunnels. In this paper, to compensate for this, we proposes an image retrieval using attention module and image segmentation maps using color images acquired with low-cost vision cameras as an input.

주제어

표/그림 (10)

그림 그림 1. Patch-NetVLAD[1]에 Mobiltech 데이터를 적용한 결과. (좌) 검색 이미지, (우) 결과 이미지 Fig. 1. Results of applying Mobiltech data to Patch-NetVLAD[1]. (Left) query image, (Right) result image
그림 그림 2. 본 논문에서 제안하는 프레임워크 Fig. 2. The network architecture of the proposed framework
그림 그림 3. AU-GAN[4]을 이용하여 얻은 이미지. (좌) 원본 이미지, (우) 변환된 밤 이미지 Fig. 3. Images obtained with AU-GAN[4]. (Left) original image, (Right) converted night image
그림 그림 4. (좌) Panoptic-DeepLab[5]에 입력된 원본 이미지, (우) 최종적으로 얻은 영상 분할 정보 이미지 Fig. 4. (Left) Original image for Panoptic-DeepLab[5], (Right) finally obtained segmentation image
그림 그림 5. 관심 영역 모듈 Fig 5. Attention module
그림 그림 6. (좌) 입력 이미지로 밤 이미지(위), 영상 분할 이미지(아래), (우) 각 이미지에 대한 관심 영역 이미지 Fig. 6. (Left) Night image(top), segmentation image(bottom) as input image, (Right) Attention image for each image
표 표 1. 학습용 데이터셋과 테스트 데이터셋에 대한 정보 Table 1. Training/testing dataset configuration
그림 그림 7. 제안한 네트워크를 통해 얻은 결과. (좌) 검색 이미지, (우) 결과 이미지 Fig. 7. Results from the proposed network. (Left) query image, (Right) result image
표 표 2. 검색 이미지에 대한 검색 오차 (단위:m) Table 2. Search error for query image (in m)
표 표 3. 테스트 이미지 110개의 결과 Table 3. Results of 110 test images

참고문헌 (9)

Hausler, S., Garg, S., Xu. M., Milford, M., & Fischer, T, "Patch-netvlad: Multi-scale fusion of locally-global descriptors for place recognition," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2021. doi: https://doi.org/10.1109/CVPR46437.2021.01392？
G. Tolias, S. Ronan, and J. Herve, "Particular object retrieval with integral max-pooling of CNN activations," arXiv preprint, 2015. doi: https://doi.org/10.48550/arXiv.1511.05879？
A. Gordo, J. Almazan, J. Revaud, & D. Larlus, "End-to-end learning of deep visual representations for image retrieval," International Journal of Computer Vision, Vol. 124, No. 2, pp. 237-254, 2017. doi: https://doi.org/10.1007/s11263-017-1016-8？

상세보기
J. G. Kwak, Y. Jin, Y. Li, D. Yoon, D. Kim, and H. Ko, "Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN," arXiv preprint, 2021. doi: https://doi.org/10.48550/arXiv.2112.04283？
B. Cheng, D. C. Maxwell, Z. Yukun, L. Ting, S. H. Thomas, A. Hartwig, C. Liang, "Panoptic-deeplab: A simple, strong, and fast baseline for bottom-up panoptic segmentation," Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR), 2020. https://doi.org/10.1109/CVPR42600.2020.01249？
M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, B. Schiele, "The cityscapes dataset for semantic urban scene understanding," Proceedings of the IEEE conference on computer vision and pattern recognition(CVPR), 2016. https://doi.org/10.1109/CVPR.2016.350？
S. Xie, R. Girshick, P. Dollar, Z. Tu, and K. He, "Aggregated residual transformations for deep neural networks," Proceedings of the IEEE conference on computer vision and pattern recognition(CVPR), 2017. doi: https://doi.org/10.1109/CVPR.2017.634？
S. Kim, S. Kim, D. Min, K. Sohn, "Laf-net: Locally adaptive fusion networks for stereo confidence estimation," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. doi: https://doi.org/10.1109/CVPR.2019.00029？
S. Woo, J. Park, JY. Lee, I.S. Kwoen, "Cbam: Convolutional block attention module," Proceedings of the European conference on computer vision (ECCV), 2018. doi: https://doi.org/10.1007/978-3-030-01234-2_1

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증