[논문]딥러닝 기반 사물 검출을 활용한 우선순위 사물 중심의 영상 스티칭

이성배; 강전호; 김규헌

doi:10.5909/jbe.2020.25.6.882

딥러닝 기반 사물 검출을 활용한 우선순위 사물 중심의 영상 스티칭
Image Stitching focused on Priority Object using Deep Learning based Object Detection 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.6, 2020년, pp.882 - 897

이성배 (경희대학교 전자공학과) , 강전호 (경희대학교 전자공학과) , 김규헌 (경희대학교 전자공학과)

초록
AI-Helper

최근 Panorama와 360° 영상이 대표되는 몰입형 미디어 콘텐츠의 활용이 증가하고 있다. 일반적인 카메라 한 대를 통해서 해당 콘텐츠를 생성하기에는 시야각이 제한되기 때문에, 다수의 카메라로 촬영한 영상을 넓은 시야각을 갖는 하나의 영상으로 합성하는 영상 스티칭이 주로 사용되고 있다. 그러나 촬영하는 카메라 간의 시차(Parallax)가 크다면 스티칭 영상에서 시차 왜곡이 발생할 수 있고, 이는 사용자의 콘텐츠 몰입을 제한하기 때문에 시차 왜곡을 극복할 수 있는 영상 스티칭 기술이 필요하다. 시차 왜곡을 극복하기 위한 기존의 Seam Optimization 기반 영상 스티칭 방법은 사물의 위치 정보를 반영하기 위하여 에너지 함수나 객체 세그먼트 정보를 활용하고 있지만, 초기 Seam 생성 위치, 배경 정보, 사물 검출기의 성능 그리고 사물의 배치 등의 제한 사항으로 인해 기술의 적용이 제한될 수 있다. 이에 본 논문에서는 딥러닝 기반 사물 검출을 활용하여 사물의 종류에 따라 다르게 설정한 가중치 값을 시각적 인지 에너지 값에 더함으로써, 기존 기술의 제한 사항을 극복할 수 있는 영상 스티칭 방법을 제안하고자 한다.

Abstract ▼ AI-Helper

Recently, the use of immersive media contents representing Panorama and 360° video is increasing. Since the viewing angle is limited to generate the content through a general camera, image stitching is mainly used to combine images taken with multiple cameras into one image having a wide field of view. However, if the parallax between the cameras is large, parallax distortion may occur in the stitched image, which disturbs the user's content immersion, thus an image stitching overcoming parallax distortion is required. The existing Seam Optimization based image stitching method to overcome parallax distortion uses energy function or object segment information to reflect the location information of objects, but the initial seam generation location, background information, performance of the object detector, and placement of objects may limit application. Therefore, in this paper, we propose an image stitching method that can overcome the limitations of the existing method by adding a weight value set differently according to the type of object to the energy value using object detection based on deep learning.

주제어

표/그림 (18)

그림 그림 1. Seam optimization 기반 영상 스티칭 과정 Fig. 1. Process of seam optimization based image stitching
그림 그림 2. 에너지 함수 예시 Fig. 2. Example of energy function
그림 그림 3. 객체 세그먼트 예시 Fig. 3. Example of object segmentation
그림 그림 4. 객체 세그먼트의 오검출 Fig. 4. Misdetection of object segment
그림 그림 5. Seam 생성 예시 Fig. 5. Example of seam generation
그림 그림 6. 에너지 함수 (a)와 객체 세그먼트(b)에서 Seam 생성 제한 예시 Fig. 6. Example of seam generation restriction in energy function (a) and object segment (b)
그림 그림 7. Instance segmentation 예시 Fig. 7. Example of instance segmentation
그림 그림 8. 세그먼트 영역 확장 예시 Fig. 8. Example of expanding the segment region
그림 그림 9. 우선순위 사물 중심의 Seam Matrix 생성 예시 Fig. 9. Example of priority object based seam matrix generation
그림 그림 10. 시차가 있는 테스트 영상 Fig. 10. Test images with parallax
그림 그림 11. 특징점 추출 및 매칭 Fig. 11. Feature extraction and matching
그림 그림 12. Instance segmentation 적용 예시 Fig. 12. Example of applying instance segmentation
그림 그림 13. 기존 기술과 제안 기술 비교 Fig. 13. Comparison of conventional method and proposed method
그림 그림 14. 제안 기술 적용 예시 Fig. 14. Example of applying the proposed method
그림 그림 15. 영상 스티칭 비교 실험의 입력 데이터 Fig. 15. Input data of image stitching comparison experiment
그림 그림 16. 영상 스티칭 기술 비교 Fig. 16. Comparison of image stitching
그림 그림 17. 비교 방법 [9]의 제한 사항 Fig. 17. Limitation of the comparison method [9]
그림 그림 18. 제안 기술의 제한 사항 Fig. 18. Limitation of the proposed method

참고문헌 (15)

Im, Jiheon, et al. "Images Grouping Technology based on Camera Sensors for Efficient Stitching of Multiple Images." Journal of Broadcast Engineering, Vol.22, No.6, pp.713-723, 2017.

원문보기 상세보기
R. Szeliski, "Image Alignment and Stitching: A Tutorial." Foundations and Trends in Computer Graphics and Computer Vision, Vol. 2, No.1, 2006.
Rhee, Seongbae, Jeonho Kang, and Kyuheon Kim. "Local Differential Pixel Assessment Method for Image Stitching." Journal of Broadcast Engineering, Vol.24, No.5, pp.775-784, 2019

원문보기 상세보기
Wei, L. Y. U., et al. "A survey on image and video stitching." Virtual Reality & Intelligent Hardware Vol. 1, No.1 pp.55-83, 2019.

상세보기
Zhang, Guofeng, et al. "Multi-viewpoint panorama construction with wide-baseline images." IEEE Transactions on Image Processing, Vol.25, No.7, pp.3099-3111, 2016.

상세보기
Lin, Kaimo, et al. "Seagull: Seam-guided local alignment for parallax-tolerant image stitching." European conference on computer vision. Springer, Cham, 2016.
Avidan, Shai, and Ariel Shamir. "Seam carving for content-aware image resizing." ACM SIGGRAPH 2007 papers. pp.10-es, 2007.
TANG, Yu; JIANG, Huiyan. "Highly efficient image stitching based on energy map". In: 2009 2nd International Congress on Image and Signal Processing IEEE, pp.1-5, 2009.
TANG, Yu; SHIN, Jungpil. "Image stitching with efficient brightness fusion and automatic content awareness.". International Conference on Signal Processing and Multimedia Applications (SIGMAP), pp.60-66, 2014.
Abdukholikov, Murodjon, and Taegkeun Whangbo. "Fast image stitching method for handling dynamic object problems in Panoramic Images." KSII Transactions on Internet & Information Systems, Vol.11, No.11, 2017.
Kang, Jeonho, et al. "Minimum Error Seam-Based Efficient Panorama Video Stitching Method Robust to Parallax." IEEE Access 7, pp. 167127-167140, 2019.

상세보기
Rhee, Seongbae, Jeonho Kang, and Kyuheon Kim. "Parallax Distortion Detection and Correction Method for Video Stitching by using LDPM Image Assessment." Journal of Broadcast Engineering, Vol.25, No.5, pp.685-697, 2020.

원문보기 상세보기
He, Kaiming, et al. "Mask r-cnn." Proceedings of the IEEE international conference on computer vision, pp.2961-2969, 2017.
Bolya, Daniel, et al. "Yolact: Real-time instance segmentation." Proceedings of the IEEE international conference on computer vision., pp.9157-9166, 2019.
Rublee, Ethan, et al. "ORB: An efficient alternative to SIFT or SURF." 2011 International conference on computer vision. IEEE, pp.2564-2571, 2011.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증