[논문]구면 파노라마 영상에서의 딥러닝 기반 객체 인식

정민석; 박종승

doi:10.7583/jkgs.2018.18.5.5

초록
AI-Helper

영상 인식 기술은 평면 영상에 대해서 많이 연구되고 그 성능 또한 발전하고 있다. 그러나 평면 영상이 아닌 구면 파노라마 영상과 다양한 환경에서 주어지는 특수한 형태의 영상에 대한 인식은 평면과 다르게 기하학적인 왜곡으로 인해서 많은 어려움이 따른다. 본 논문에서는 평면 영상의 인식 기술에서 최근 각광받는 훈련을 통한 신경망 인식 기법이 구면 파노라마 영상의 인식에서도 쓰일 수 있음을 보인다. 또한 구면 영상에 대한 기존 신경망 모델의 인식률을 높이기 위해서 큐브맵 변환을 활용하는 방법을 제시한다.

Abstract ▼ AI-Helper

A lot of research has been done on image recognition technique for planar images and the performance has also been improved. However, it is difficult to recognize objects in spherical panoramic images or images in special form which are given in various environments because of the spherical distorti...

A lot of research has been done on image recognition technique for planar images and the performance has also been improved. However, it is difficult to recognize objects in spherical panoramic images or images in special form which are given in various environments because of the spherical distortion given in different form from the planar case. In this paper, we show that the neural network recognition approach can be used for object recognition in spherical image and suggest a method of using cubemap transform in order to increase recognition accuracy in spherical image.

주제어

표/그림 (18)

그림 [Fig. 1] Example of spherical image
그림 [Fig. 4] Exploded view of a cubemap (up) and corresponding spherical panorama (down)
그림 [Fig. 2] Ceil detection algorithm
그림 [Fig. 3] Training set conversion algorithm
그림 [Fig. 5] Spherical coordinate conversion algorithm
표 [Table 1] Rotation angle for transformation of cubemap
그림 [Fig. 6] Training set: (a) top patches, (b) side patches, (c) bottom patches
그림 [Fig. 7] Part of test set for ceiling detection
그림 [Fig. 8] Test sets for experiments
그림 [Fig. 9] Test result of rotation
그림 [Fig. 10] Recognition result for test set #1
그림 [Fig. 11] Recognition result for test set #2
표 [Table 2] Accuracy of test set #1
표 [Table 3] Accuracy of test set #2
그림 [Fig. 12] Recognition result for test set #3
그림 [Fig. 13] Recognition result for test set #4
표 [Table 4] Accuracy of test set #3
표 [Table 5] Accuracy of test set #4

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 구면 파노라마 영상에서의 객체 인식률을 높이기 위해서 분류 학습과 큐브맵 변환을 활용하는 방법을 제안한다. 제안 방법은 기존의 평면 영상용으로 훈련되어서 우수한 성능을 보여주는 딥러닝 모델을 구면 파노라마 영상에 적용할 수 있도록 한다.

가설 설정

본 논문에서 사용된 큐브맵은 각 정사각면의 너비가 2로 정규화되어 있고 좌표축에 정렬된 상태를 가정한다. 큐브맵의 중심은 좌표계 원점인 (0, 0, 0)이고 큐브맵의 윗면은 +z, 앞면은 +x, 오른면은 +y 좌표값이 1인 평면에 위치한다.

제안 방법

본 논문에서는 구면 영상의 분류와 객체 식별을 위해서 실내 구면 영상의 대략적인 천정의 위치를 파악한 후 영상을 올바른 방향으로 회전시킨 후 물체 인식을 하는 방식을 제안한다. 이 과정에서 큐브맵 변환은 분류와 물체 인식 과정에서 왜곡을 없애기 위해서 사용된다.
앞서 올바른 방향으로 정렬시킨 큐브맵 영상을 영상 인식용 신경망에게 제공해 그 결과를 비교한다. 결과는 큐브맵 변환 전의 원본 영상과 회전 처리가 없는 큐브맵, 회전 처리한 큐브맵이 올바르게 인식한 객체의 개수와 잘못 인식한 영상의 개수를 비교하는 방식으로 성능을 측정한다.
생성한 큐브맵의 각 패치에 대해서 물체를 인식한 후 그 위치를 회전변환을 고려하여 다시 원본 구면 파노라마의 영상으로 바꾼다. 큐브맵 패치 내부의 텍스쳐 좌표로 주어지는 인식 좌표를 큐브맵 좌표로 변환한 후, 앞선 단계에서 적용한 회전에 대한 역회전 변환을 적용하여 원본 구면 파노라마 내부의 좌표로 변환해준다. 역회전 변환은 [Table 1]에서 제시한 회전을 축은 그대로 유지하고 회전각만 반대로 하는 과정이다.

대상 데이터

실험은 분류기의 정확성 실험, 회전 변환의 유효성 확인 실험, 회전 변환과 큐브맵 변환절차를 사용한 인식과 구면 파노라마 영상을 직접 사용한 인식의 결과 비교로 진행되었다. 모든 이미지는 사무실, 실외, 주차장 등의 환경에서 직접 촬영했으며, 촬영에는 Ricoh Theta 카메라가 사용되었다.
테스트 영상은 분류 실험에 사용될 원시 구면 파노라마 영상이다. 분류기의 훈련을 위해서 촬영 과정에서 천정과 측면, 바닥면의 구도가 일정하도록 사무실과 실외 환경, 주차장 등을 배경으로 직접 촬영한 잘 구성된 학습 세트를 사용한다. 훈련 세트에 사용된 원본 구면 파노라마 영상은 동일한 좌표계 변환 규칙으로 변환했을 때 큐브맵의 상단 패치에 천정의 영상이, 측면 패치 4개에 측면 영상이, 하단 패치에 바닥의 영상이 있도록 구성되어 있다.

데이터처리

실험은 분류기의 정확성 실험, 회전 변환의 유효성 확인 실험, 회전 변환과 큐브맵 변환절차를 사용한 인식과 구면 파노라마 영상을 직접 사용한 인식의 결과 비교로 진행되었다. 모든 이미지는 사무실, 실외, 주차장 등의 환경에서 직접 촬영했으며, 촬영에는 Ricoh Theta 카메라가 사용되었다.

이론/모형

인식에는 RCNN네트워크 모델이 사용되었다. RCNN 신경망이 개발된 후 보다 빠르게 실행되는 RCNN 신경망의 연구가 지속적으로 이루어지고 있으며[8,9], 이 모델은 속도가 느린 편이지만 정확도가 높기에 기존의 구면 영상에 사용해도 다른 모델에 비해 결과를 보여주었기에 실험에 사용했다.
이 과정에서 큐브맵 변환은 분류와 물체 인식 과정에서 왜곡을 없애기 위해서 사용된다. 또한 영상의 천정면을 검출하기 위해서 딥러닝 기법을 사용한다.
천정면 탐지를 위한 분류기의 학습을 위해서 본 논문에서는 InceptionV3를 사용했다[4,7]. 이것은 구글이 개발한 TensorFlow에서 작동하는 CNN 학습모델이다[5].

성능/효과

본 논문에서는 평면 영상용으로 훈련된 영상 인식 신경망을 구면 영상에 활용할 때 인식률을 올리는 방안으로써 구면 파노라마 영상의 큐브맵 변환 기법과 신경망 분류 학습을 활용하는 절차을 제시하고 제시한 절차의 각 단계가 실제 인식률 증가에 기여함을 보였다. 실험 결과, 구면 영상을 직접 인식할 때 매우 적은 개수의 물체를 인식하지만 그마저도 오류가 많고, 천정 영역을 탐지해서 회전한 큐브맵 영상을 사용할 경우 인식 개수와 인식의 오류 비율이 큰 폭으로 줄어든 것을 확인할 수 있었다. 본 연구를 통해 기존의 우수한 평면 영상용 신경망을 보다 효율적으로 구면 영상에 활용할 수 있을 것이다.

후속연구

실험 결과, 구면 영상을 직접 인식할 때 매우 적은 개수의 물체를 인식하지만 그마저도 오류가 많고, 천정 영역을 탐지해서 회전한 큐브맵 영상을 사용할 경우 인식 개수와 인식의 오류 비율이 큰 폭으로 줄어든 것을 확인할 수 있었다. 본 연구를 통해 기존의 우수한 평면 영상용 신경망을 보다 효율적으로 구면 영상에 활용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	신경망 인식 방식이 가지는 중요한 특징은 무엇인가?	신경망 인식 방식이 가지는 중요한 특징은 신경망의 내부 가중치가 훈련을 통해서 자동적으로 결정된다는 것이다. 신경망이 내부적으로 어떤 특징을 어떤 방식으로 추출해서 사용하는가에 대해서는 대략적인 분석이 가능할 뿐, 기존의 특징점 검출과 같이 그 작동법을 수동으로 지정하는 것이 아니다.
	영상인식을 위해서 개발된 다양한 기술들은 어떻게 분류할 수 있는가?	영상인식을 위해서 개발된 다양한 기술들은 크게 히스토그램, 특징점, 기계학습 기반으로 분류할 수 있다. 히스토그램 기반은 영상의 색분포를 영상인식의 근거로 삼는다.
	합성곱 신경망의 인식률이 높은 이유는 무엇인가?	특히 다양한 신경망 구조 중 입력값으로 사용되는 영상의 각 화소로부터 추출하는 위치 정보가 신경망 계층에서 내부적으로 유지되는 합성곱 신경망(convolution neural network; CNN)모델이 주목받고 있다. 이 신경망은 그 특성상 내부에서 특징점들의 상대적인 위치를 조합해서 영상에 찾고자 하는 객체가 있는지를 검색하게 되어 인식률이 대단히 높다. 이것은 CNN 모델이 찾고자 하는 목표객체의 이동 불변성(translation invariance)을 검출하기에 가능하다.

참고문헌 (9)

Bo-sung Kim, Jong-Seung Park, "Matching between spherical panorama and planar image", Journal of the Korean Institute of Information Scientists and Engineers, Vol. 42, No.10, pp. 1322-1324, 2014.
Javier Cruz-Mota, et al., "Scale invariant feature transform on the sphere: theory and applications", International Journal of Computer Vision, Vol. 98, No. 2, pp. 217-241, 2012.

상세보기
Jeong-Hyeon Park, Jong-Seung Park, "Planar texture replacement in spherical images using cubemap", Journal of Korea Game Society, Vol. 17, No. 6, pp. 153-164, 2017.
Christian Szegedy, et al., "Rethinking the inception architecture for computer vision", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.
Martin Abadi, et al., "TensorFlow: a system for large-scale machine learning", 12th USENIX Symposium on Operating Systems Design and Implementation, Vol. 16, pp. 265-283, 2016.
Christian, Szegedy, et al. "Going deeper with convolutions", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-9, 2015.
Christian Szegedy, et al., "Inception-v4, Inception-ResNet and the impact of residual connections on learning", AAAI, Vol. 4, pp. 4278-4284, 2017.
Ross Girshick, et al., "Region-based convolutional networks for accurate object detection and segmentation", IEEE transactions on pattern analysis and machine intelligence, Vol. 38, No. 1, pp. 142-158, 2016.

상세보기
Ross Girshick, "Fast R-CNN", Proceedings of the IEEE International Conference on Computer Vision, pp. 1440-1448, 2015.

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

구면 파노라마 영상에서의 딥러닝 기반 객체 인식
Deep Learning Based Object Recognition in Spherical Panoramic Image 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

구면 파노라마 영상에서의 딥러닝 기반 객체 인식 Deep Learning Based Object Recognition in Spherical Panoramic Image 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (18) 모든 표/그림 보기

표/그림 (18) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

박종승 (27)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

구면 파노라마 영상에서의 딥러닝 기반 객체 인식
Deep Learning Based Object Recognition in Spherical Panoramic Image 원문보기

초록
AI-Helper

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper