[논문]Hellinger 거리 IoU와 Objectron 적용을 기반으로 하는 객체 감지

김용길; 문경일

doi:10.7236/jiibc.2022.22.2.63

초록
AI-Helper

2D 객체 감지 시스템은 최근 몇 년 동안 심층 신경망과 대규모 이미지 데이터세트의 사용으로 크게 개선되었지만, 아직도 범주 내에서 데이터 부족, 다양한 외관 및 객체 형상 때문에 자율 탐색 등과 같은 로봇 공학과 관련된 응용에서 2D 물체 감지 시스템은 적절하지 않다. 최근에 소개되고 있는 구글 Objectron 또한 증강 현실 세션 데이터를 사용하는 새로운 데이터 파이프라인이라는 점에서 도약이라 할 수 있지만, 3D 공간에서 2D 객체 이해라는 측면에서 마찬가지로 한계가 있다. 이에 본 연구에서는 더 성숙한 2D 물체 감지 방법을 Objectron에 도입하는 3D 물체 감지 시스템을 나타낸다. 대부분의 객체 감지 방법은 경계 상자를 사용하여 객체 모양과 위치를 인코딩한다. 본 작업에서는 가우스 분포를 사용하여 객체 영역의 확률적 표현을 탐색하는데, 일종의 확률적 IoU라 할 수 있는 Hellinger 거리를 기반으로 하는 가우스 분포에 대한 유사성 측도를 제시한다. 이러한 2D 표현은 모든 객체 감지기에 원활하게 통합할 수 있으며, 실험 결과 데이터 집합에서 주석이 달린 분할 영역에 더 가까워서 Objectron의 단점이라 할 수 있는 3D 감지 정확도를 높일 수 있다.

Abstract ▼ AI-Helper

Although 2D Object detection has been largely improved in the past years with the advance of deep learning methods and the use of large labeled image datasets, 3D object detection from 2D imagery is a challenging problem in a variety of applications such as robotics, due to the lack of data and dive...

Although 2D Object detection has been largely improved in the past years with the advance of deep learning methods and the use of large labeled image datasets, 3D object detection from 2D imagery is a challenging problem in a variety of applications such as robotics, due to the lack of data and diversity of appearances and shapes of objects within a category. Google has just announced the launch of Objectron that has a novel data pipeline using mobile augmented reality session data. However, it also is corresponding to 2D-driven 3D object detection technique. This study explores more mature 2D object detection method, and applies its 2D projection to Objectron 3D lifting system. Most object detection methods use bounding boxes to encode and represent the object shape and location. In this work, we explore a stochastic representation of object regions using Gaussian distributions. We also present a similarity measure for the Gaussian distributions based on the Hellinger Distance, which can be viewed as a stochastic Intersection-over-Union. Our experimental results show that the proposed Gaussian representations are closer to annotated segmentation masks in available datasets. Thus, less accuracy problem that is one of several limitations of Objectron can be relaxed.

주제어

표/그림 (5)

그림 그림 1. 2단계 파이프라인 Fig. 1. two-stage pipeline
그림 그림 2. polygon 절단 알고리즘에 의한 교차 계산 Fig. 2. Intersection calculation by polygon cutting algorithm
그림 그림 3. Objectron 파이프라인을 사용한 감지 Fig. 3. Detection using the Objectron pipeline
그림 그림 4. 개선된 IoU를 적용한 신발 감지 Fig. 4. Shoe detection with improved IoU
그림 그림 5. 처리 파이프라인 Fig. 5. processing pipeline

AI 본문요약
AI-Helper

문제 정의

경계 상자와 관련해서는 기본적으로 HBB (Horizontal Bounding Box) 방식이 사용되고, HBB 방식의 보완과 관련해서 OBB(Oriented Bounding Box)가 HBB와 분할 영역 사이의 대안으로 사용된다. 본 연구에서는 OBB와 관련해서 가우스 분포 모델이 참조되며, 주요 목표는 OBB의 방향 매개변수를 처리하고 Gaussian Wasserstein 거리와 같은 비선형 대응이 지역적 손실 함수로 사용될 수 있도록 IoU 관련 해석학적인 관계를 나타낸다. 이와 관련해서는 두 분포 사이의 확률적 IoU에 해당하는 유사성 함수로 Hellinger 거리를 사용하며, 특정 가우스의 경우에 단순하고 미분 가능한 손실 함수의 정의를 사용한다.
본 연구의 OBB와 관련해서 Yang 등에 의한 가우스분포 모델이 참조되며, Hellinger 거리를 기반으로 미분 가능한 손실 함수가 사용된다. 주요 목표는 OBB의 방향 매개변수를 처리하고 Hellinger 거리를 중간 표현으로 탐구하는 것에 해당한다. 추가적인 초매개변수를 갖는 경험적인 비선형 대응이 지역적 손실 함수로 사용되기 위해서는 Hellinger 거리에 적용되어야 하며, IoU 관련 해석학적인 관계가 제시될 필요가 있다.

제안 방법

OBB를 취급하는 검출기 적응과 관련하여 매개변수를 사용한 가우스 BB 표현(예를 들어, 중심, 차원 및 방향의 회귀) 및 가우스 BB의 직접적인 회귀 적용을 위한 평균 벡터와 공분산 행렬 또한 나타낸다. 본 연구에서 제안된 객체 범위 감지 및 인스턴스 분할 방식은 구글 Objectron에서 수행된다.
Fast-R-CNN은 객체 감지를 위한 빠른 영역 기반 컨볼루션 네트워크이다. 신경망에 후보 이미지를 제공하는 대신 전체 이미지를 네트워크에 제공하여 CFM(Convolutional Feature Map)을 생성한다. CFM 은 RoI 풀링층을 통해 고정 크기 정사각형 이미지로 다시 형식화된 후보 영역을 검색하는 데 사용된다.

데이터처리

Objectron의 기본 파이프라인에서 모델 백본은 MobileNetv2로 내장된 인코더-디코더 아키텍처를 가진다. 다중 작업 학습 접근 방식을 사용하여 탐지 및 회귀를 통해 물체의 모양을 예측한다. 모양 작업은 사용 가능한 기본 정보 주석에 따라 물체의 모양 신호를 예측한다.
훈련 데이터에 모양 주석이 없는 경우에는 선택 사항에 해당한다. 탐지 작업에서는 주석이 달린 경계 상자를 사용하고, 상자 중심을 평균으로 하고, 표준 편차는 상자 크기에 비례하는 가우스 분포를 사용한다. 물체의 중앙위치를 나타내는 peak로 분포를 예측한다.

이론/모형

3D 물체 감지 작업과 관련해서 3D 지향 상자에 대한 정확한 3D IoU 값을 계산하기 위한 알고리즘은 세 부분으로 구성된다. 먼저 Sutherland-Hodgman Polygon 절단 알고리즘을 사용하여 두 상자의 면 사이의 교차점을 계산한다. 교차의 볼륨은 잘린 모든 다각형의 볼록 껍질에 의해 계산된다.
본 연구의 OBB와 관련해서 Yang 등에 의한 가우스분포 모델이 참조되며, Hellinger 거리를 기반으로 미분 가능한 손실 함수가 사용된다. 주요 목표는 OBB의 방향 매개변수를 처리하고 Hellinger 거리를 중간 표현으로 탐구하는 것에 해당한다.
탐지 하위 그래프는 계산 부하를 줄이기 위해 몇 프레임마다 한 번만 ML 추론을 수행하고 출력 텐서를 9개의 키 점들이(3D 경계 상자 중심과 8개 정점) 포함된 FrameAnnotation으로 디코딩된다. 추적 하위 그래프는 Box Tracking의 상자 추적기를 사용하여 모든 프레임을 실행하여 3D 경계 상자의 투영을 단단히 둘러싸는 2D 상자를 추적하고 추적된 2D 키 점들에 관해 EPnP 알고리즘을 사용하여 3D로 생성한다. 탐지 하위 그래프에서 새로운 탐지를 사용할 수 있게 되면 추적 하위 그래프는 중첩 영역을 기반으로 탐지와 추적 결과 간의 통합도 담당한다.

성능/효과

추가적인 초매개변수를 갖는 경험적인 비선형 대응이 지역적 손실 함수로 사용되기 위해서는 Hellinger 거리에 적용되어야 하며, IoU 관련 해석학적인 관계가 제시될 필요가 있다. Yang 등의 작업과 마찬가지로 객체 표현 인코딩과 관련해서 가우스 BB 를 탐색하지만, 가우스 BB를 얻기 위해 기본 표현을 HBB 또는 OBB로 가정하지 않으므로 일반 분할 마스크에도 적용할 수 있다. 특정 가우스 경계 상자와 관련해서는 단순하고 미분 가능한 손실 함수로 나타낼 수 있다.
회귀 작업은 8개의 경계 상자 정점의 2D 투영을 추정한다. 본 연구에서 제안된 IoU 개념의 적용 실험 결과는 SOTA IoU 기반 회귀 손실과 비교할 때 경쟁력이 있는 것으로 평가되었다. 회전된 객체의 검출과 관련해서는 최근 제안된 SOTA 손실 함수인 GWD와 유사한 결과를 나타냈다.
특정 가우스 경계 상자와 관련해서는 단순하고 미분 가능한 손실 함수로 나타낼 수 있다. 본 연구에서 제안된 IoU 개념의 적용 실험 결과는 SOTA IoU 기반 회귀 손실과 비교할 때 경쟁력이 있다. 이에 3D 객체 검출 관련 현재 우수한 파이프라인으로 소개되고 있는 구글 Objectron에 적용한 결과 Objectron의 단점이라 할 수 있는 정확도가 높아지는 것으로 나타났다.
본 연구에서 제안된 IoU 개념의 적용 실험 결과는 SOTA IoU 기반 회귀 손실과 비교할 때 경쟁력이 있다. 이에 3D 객체 검출 관련 현재 우수한 파이프라인으로 소개되고 있는 구글 Objectron에 적용한 결과 Objectron의 단점이라 할 수 있는 정확도가 높아지는 것으로 나타났다.
Yang 등의 작업과 마찬가지로 객체 표현 인코딩과 관련해서 가우스 BB 를 탐색하지만, 가우스 BB를 얻기 위해 기본 표현을 HBB 또는 OBB로 가정하지 않으므로 일반 분할 마스크에도 적용할 수 있다. 특정 가우스 경계 상자와 관련해서는 단순하고 미분 가능한 손실 함수로 나타낼 수 있다. 본 연구에서 제안된 IoU 개념의 적용 실험 결과는 SOTA IoU 기반 회귀 손실과 비교할 때 경쟁력이 있다.

후속연구

주요 목표는 OBB의 방향 매개변수를 처리하고 Hellinger 거리를 중간 표현으로 탐구하는 것에 해당한다. 추가적인 초매개변수를 갖는 경험적인 비선형 대응이 지역적 손실 함수로 사용되기 위해서는 Hellinger 거리에 적용되어야 하며, IoU 관련 해석학적인 관계가 제시될 필요가 있다. Yang 등의 작업과 마찬가지로 객체 표현 인코딩과 관련해서 가우스 BB 를 탐색하지만, 가우스 BB를 얻기 위해 기본 표현을 HBB 또는 OBB로 가정하지 않으므로 일반 분할 마스크에도 적용할 수 있다.

참고문헌 (14)

Kirillov, Alexander, He, Kaiming, Girshick, Ross, Rother, Carsten, & Dollar, Piotr. "Panoptic segmentation", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9404-9413, 2019. DOI: https://doi.org/10.1109/CVPR.2019.00963
Chen Zhiming, Chen Kean, Lin Weiyao, See John, Yu Hui, Ke Yan, & Yang Cong. "PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments", Computer Vision - ECCV, 195-211, 2020. DOI: https://doi.org/10.1007/978-3-030-58558-7_12
Yang, Xue, Yan, Junchi, Qi, Ming, Wang, Wentao, Xiaopeng, Zhang, & Qi, Tian. "Rethinking Rotated Object Detection with Gaussian Wasserstein Distance Loss", International Conference on Machine Learning (ICML), 2021.
Girshick, R., Donahue, J., Darrell, T., & Malik, J. "Region-Based Convolutional Networks for Accurate Object Detection and Segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(1), 142-158, 2016. DOI: https://doi.org/10.1109/tpami.2015.2437384

상세보기
Yu, Jiahui, Jiang, Yuning, Wang, Zhangyang, Cao, Zhimin, & Huang, Thomas. UnitBox: "An Advanced Object Detection Network. Proceedings of the 24th ACM International Conference on Multimedia", MM '16. New York, NY, USA: Association for Computing Machinery, 516-520, 2016. DOI: https://doi.org/10.1145/2964284.2967274
Tychsen-Smith, L., & Petersson, L. 2018. "Improving Object Localization with Fitness NMS and Bounded IoU Loss", IEEE/CVF Conference on Computer Vision and Pattern Recognition, 6877-6885, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00719
Rezatofighi Hamid, Tsoi Nathan, Gwak JunYoung, Sadeghian Amir, Reid Ian & Savarese Silvio. "Generalized intersection over union: A metric and a loss for bounding box regression", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 658-666, 2019. DOI: https://doi.org/10.1109/CVPR.2019.00075
Zheng Zhaohui, Wang Ping, Liu Wei, Li Jinze, Ye Rongguang & Ren Dongwei. "DistanceIoU loss: Faster and better learning for bounding box regression", Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, 12993-13000, 2020. DOI: https://doi.org/10.1609/aaai.v34i07.6999

상세보기
Sun, D., Yang, Y., Li, M., Yang, J., Meng, B., Bai, R., Li, L., & Ren, J. "A Scale Balanced Loss for Bounding Box Regression", IEEE Access, 8, 108438-108448, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.3001234

상세보기
Zhang, Yi-Fan, Ren, Weiqiang, Zhang, Zhang, Jia, Zhen, Wang, Liang, & Tan, Tieniu. "Focal and Efficient IOU Loss for Accurate Bounding Box Regression", 2021.
Ding, J., Xue, N., Long, Y., Xia, G., & Lu, Q. "Learning RoI Transformer for Oriented Object Detection in Aerial Images", 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2844-2853, 2019. DOI: https://doi.org/10.1109/CVPR.2019.00296
Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M. G., & Lee, J. Mediapipe: "A framework for building perception pipelines", 2019.
Pieter Van Molle, Tim Verbelen, Bert Vankeirsbilck, Jonas De Vylder, Bart Diricx, Tom Kimpe, Pieter Simoens & Bart Dhoedt. "Leveraging the Bhattacharyya coefficient for uncertainty quantification in deep neural networks", Neural Computing and Applications volume 33, 10259-10275, 2021. DOI: https://doi.org/10.1007/s00521-021-05789-y

상세보기
Vincent Lepetit, Francesc Moreno-Noguer & Pascal Fua. EPnP: "An Accurate O(n) Solution to the PnP Problem", International Journal of Computer Vision volume 81, Article number: 155, 2009. DOI: https://doi.org/10.1007/s11263-008-0152-6

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Hellinger 거리 IoU와 Objectron 적용을 기반으로 하는 객체 감지
Object Detection Based on Hellinger Distance IoU and Objectron Application 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Hellinger 거리 IoU와 Objectron 적용을 기반으로 하는 객체 감지 Object Detection Based on Hellinger Distance IoU and Objectron Application 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5) 모든 표/그림 보기

표/그림 (5) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

김용길 (13) 문경일 (18)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Hellinger 거리 IoU와 Objectron 적용을 기반으로 하는 객체 감지
Object Detection Based on Hellinger Distance IoU and Objectron Application 원문보기

초록
AI-Helper

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper