[논문]머신 비전을 위한 열 적외선 영상의 객체 기반 압축 기법

이예지; 김신; 임한신; 추현곤; 정원식; 서정일; 윤경로

doi:10.5909/jbe.2021.26.6.738

[국내논문] 머신 비전을 위한 열 적외선 영상의 객체 기반 압축 기법
Object-based Compression of Thermal Infrared Images for Machine Vision 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.6, 2021년, pp.738 - 747

이예지 (건국대학교 컴퓨터공학부) , 김신 (건국대학교 컴퓨터공학부) , 임한신 (한국전자통신연구원) , 추현곤 (한국전자통신연구원) , 정원식 (한국전자통신연구원) , 서정일 (한국전자통신연구원) , 윤경로 (건국대학교 컴퓨터공학부)

초록
AI-Helper

오늘날 딥러닝 기술의 향상으로 영상 분류, 객체 탐지, 객체 분할, 객체 추적 등 컴퓨터 비전 분야 또한 큰 발전을 이루고 있다. 지능적 감시, 로봇, 사물 인터넷, 자율주행 자동차 등 딥러닝 기술이 결합된 다양한 응용 기술들은 실제 산업에 적용되고 있으며, 이에 따라 사람의 소비를 위한 영상 데이터 뿐만 아니라 머신 비전을 위한 영상 데이터의 효율적인 압축 방식에 대한 필요성이 대두되고 있다. 본 논문에서는 머신 비전을 위한 열 적외선 영상의 객체 기반 압축 기법을 제안한다. 효율적인 영상 압축과 신경망의 좋은 성능을 유지하기 위해 본 논문에서는 신경망의 객체 탐지 결과와 객체 크기에 따라 입력 영상을 객체 부분과 배경 부분으로 나누어 서로 다른 압축률로 부호화를 수행하는 방법을 제안한다. 제안하는 방법은 VVC로 영상 전체를 압축하는 방식보다 BD-rate 값이 최대 -19.83%로 압축 효율이 뛰어나다는 것을 확인할 수 있다.

Abstract ▼ AI-Helper

Today, with the improvement of deep learning technology, computer vision areas such as image classification, object detection, object segmentation, and object tracking have shown remarkable improvements. Various applications such as intelligent surveillance, robots, Internet of Things, and autonomous vehicles in combination with deep learning technology are being applied to actual industries. Accordingly, the requirement of an efficient compression method for video data is necessary for machine consumption as well as for human consumption. In this paper, we propose an object-based compression of thermal infrared images for machine vision. The input image is divided into object and background parts based on the object detection results to achieve efficient image compression and high neural network performance. The separated images are encoded in different compression ratios. The experimental result shows that the proposed method has superior compression efficiency with a maximum BD-rate value of -19.83% to the whole image compression done with VVC.

Keyword

표/그림 (11)

그림 그림 1. 객체 기반 부호화 및 복호화 과정 Fig. 1. Pipeline of Object based Compression Method
그림 그림 2. 이진 맵 생성 알고리즘 Fig. 2. Binary Map Generation Algorithm
그림 그림 3. 마진에 따른 객체 영상 샘플 Fig. 3. Object Image Sample according to Margin
표 표 1. 마진 따른 객체 탐지 수행 결과 Table 1. Object Detection Results according to Margin
표 표 2. 실험 환경 Table 2. Experimental Environment
표 표 3. FLIR Anchor 결과 Table 3. FLIR Anchor Results
표 표 4. 객체 기반 압축 수행 결과 Table 4. Result of Object Detection based Compression
그림 그림 4. Pareto-Front Curve 결과 Fig. 4. Pareto-Front Curve Result
그림 그림 5. 영상 복호화 후 객체 탐지 수행 결과 (a: 해상도: 100%, QP: 22, b: FG 해상도: 100%, BG 해상도:100%, FG QP 22, BG QP: 47) Table 5. Object detection result after decoding (a: resolution: 100%, QP: 22, b: FG resolution: 100%, BG resolution: 100%, FG QP 22, BG QP: 47)
표 표 5. FLIR Anchor와 객체 기반 압축 기법 결과 비교 Table 5. Comparison of FLIR Anchor and Object-Based Compression Results
표 표 6. BD-rate 결과 Table 6. BD-rate result

참고문헌 (24)

E. Ke, S. Wang, C. Lin, C. Lin, Y. Nien, T. Li, D. Liu, "[VCM] Feature map compression for VCM", the 130th MPEG meeting, Alpbach, April, 2020.
Y.k Yoon, D. Park, S. Chun, J. Kim, "[VCM] Results of feature map coding for object segmentation on Cityscapes datasets", the 132nd MPEG meeting, Online, October, 2020.
S. Kim, M. Jeong, H. Jin, H. Lee, H. Choo, H. Lim, J. Seo, "[VCM] A report on intermediate feature coding for object detection and segmentation", the 132nd MPEG meeting, Online, October, 2020.
H. Han, H. Choi, S. Kwak, J. Yun, W. Cheong, J. Seo, "[VCM] Investigation on feature map channel reordering and compression for object detection", the 134th MPEG meeting, Online, April, 2021.
H. Wang, H. Wang, L. Wang, Y. Zhang, "[VCM] Feature prediction using Levene Test, KL-Divergence, and linear correlation and A Pipeline for Feature Coding", the 135th MPEG meeting, Online, July, 2021.
Y. Yoon, D. Kim, J. Kim, "[VCM] Compression of reordered feature sequences based on channel means for object detection", the 135th MPEG meeting, Online, July, 2021.
H. Wang, H. Wang, L. Wang, Y. Zhang, D. Yan, "[VCM] A Method of Intra-Frame Channel Prediction for Feature Coding", the 134th MPEG meeting, Online, April, 2021.
H. Choi, M. Lee, J. Kim, K. Kim, Y. Lee, D. Sim, S. Oh, J. Do, H. Kwon, S. Jeong, "[VCM] A result of feature data reduction using PCA for object detection", the 132nd MPEG meeting, Online, October, 2020.
S. Wang, Z. Wang, Y. Ye, S. Wang, "[VCM] Image or video format of feature map compression for object detection", the 133rd MPEG meeting, Online, January, 2021.
S. Wang, Z. Wang, Y. Ye, S. Wang, "[VCM] Investigation on feature map quantization for object detection and compression", the 133rd MPEG meeting, Online, January, 2021.
Y. Yoon, J. Kim, "[VCM] Evaluation results of object segmentation with deep learning-based image compression", the 133rd MPEG meeting, Online, January, 2021.
B. Zhu, L. Yu, D. Li, "[VCM] Deep learning-based compression for machine vision", the 135th MPEG meeting, Online, July, 2021.
S. Wang, C. Lin, C. Lin, T. Li, Y. Nie, "[VCM] Video codec optimization for VCM", the 135th MPEG meeting, Online, July, 2021.
C. Hollmann, J. Strom, M. Damghanian, L. Litwic, "[VCM] VCM-based rate-distortion optimization for VVC", the 135th MPEG meeting, Online, July, 2021.
W. Gao, X. Xu, S. Liu, "[VCM] Response to CfE: Investigation of VVC Codec for Video Coding for Machine", the 134th MPEG meeting, Online, April, 2021.
Y. Lee, S. Kim, K. Yoon, H. Lim, H. Choo, W. Cheong, Je. Seo, "[VCM] Updated Evidence of object detection in FLIR using VTM 12.0", the 135th MPEG meeting, Online, July, 2021.
WG 02 MPEG Technical requirements, "Evaluation Framework for Video Coding for Machines", the 135th MPEG meeting, Online, July, 2021.
C. Hollmann, J. Strom, M. Damghanian, L. Litwic, "[VCM] VCM-based rate-distortion optimization for VVC", the 135th MPEG meeting, Online, July, 2021.
D. Minnen, J. Balle, and G. Toderici, "Joint Autoregressive and Hierarchical Priors for Learned Image Compression", arXiv:1809.02736, Sep. 2018, http://arxiv.org/abs/1809.02736(accessed Aug. 30, 2021).
Z. Cheng, H. Sun, M. Takeuchi, and J. Katto, "Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules", arXiv:2001.01568, Jan. 2020, http://arxiv.org/abs/2001.01568 (accessed Aug. 30, 2021).
Free FLIR Thermal dataset, https://www.flir.com/oem/adas/dataset/ (accessed Aug. 30, 2021).
Detectron2, https://github.com/facebookresearch/detectron2 (accessed Aug. 30, 2021).
T Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C. Zitnick, "Microsoft coco: Common objects in context", in European conference on computer vision. Springer, 2014, pp. 740-755.
WG 05 MPEG Joint Video Coding Team(s) with ITU-T SG 16, "Test Model 12 for Versatile Video Coding (VTM 12)", the 133rd MPEG meeting, Online, January, 2021.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증