[논문]360 VR 기반 파노라마 영상 구성을 위한 칼라 및 밝기 보상 알고리즘

남다윤; 한종기

doi:10.5909/jbe.2019.24.1.3

360 VR 기반 파노라마 영상 구성을 위한 칼라 및 밝기 보상 알고리즘
Color and Illumination Compensation Algorithm for 360 VR Panorama Image 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.1, 2019년, pp.3 - 24

남다윤 (세종대학교 전자정보통신공학과) , 한종기 (세종대학교 전자정보통신공학과)

초록
AI-Helper

360 VR 기반 파노라마 영상을 제작하는 과정에서 인접한 장면을 촬영한 영상들일 지라도 촬영 각도 및 조명의 위치에 따라 영상들 간에 밝기 변화가 크고 색상값에서도 큰 차이가 발생한다. 이런 영상들을 스티칭하여 360 VR 영상을 만들면, 제작된 파노라마 영상의 품질이 저하되기 때문에 밝기 보상 기법을 전처리 과정으로 사용해야 한다. 기존의 밝기 보상 기법들은 밝기 차이가 적은 경우 또는 적은 장수의 영상들을 스티칭하는 경우에 적용되도록 설계되었기 때문에, 360 VR 서비스용 스티칭 기법에서처럼 스티칭되는 영상의 개수가 많고, 영상들 간의 밝기 차이가 클 경우에는 성능 저하가 발생하는 것으로 알려졌다. 본 논문에서는 기존의 밝기 보상 기법이 급격한 밝기 차이가 발생하는 360 VR 서비스에서도 효과적으로 이용될 수 있도록 추가의 '색상 보정' 및 '밝기 보정' 단계를 전처리 과정으로 사용함으로써, 복잡도 증가는 최소화하면서 360 VR 영상 합성의 성능을 향상시키는 것을 목표로 한다. 본 논문에서는 다양한 환경에서 촬영된 실험 영상들을 이용해서, 제안하는 기술이 기존 기술들의 성능을 향상시킬 수 있음을 보이고 있다.

Abstract ▼ AI-Helper

Techniques related to 360 VR service have been developed to improve the quality of the stitched image and video, where illumination compensation scheme is one of the important tools. Among the conventional illumination compensation algorithms, Gain-based compensation and Block Gain-based compensation algorithms have shown the outstanding performances in the process of making panorama picture. However, those are ineffective in the 360 VR service, because the disparity between illuminations of the multiple pictures in 360 VR is much more than that in making the panorama picture. In addition, the number of the pictures to be stitched in 360 VR system is more than that in the conventional panorama image system. Thus, we propose a preprocessing tool to enhance the illumination compensation algorithm so that the method reduces the degradation in the stitched picture of 360 VR systems. The proposed algorithm consists of 'color compensation' and 'illumination compensation'. The simulation results show that the proposed technique improve the conventional techniques without additional complexity.

주제어

표/그림 (20)

그림 그림 1. 360 VR 영상 합성 개념도 Fig. 1. Concept of the 360 VR image composition system
그림 그림 2. 360 VR 영상 합성 과정 Fig. 2. Flowchart of the 360 VR image composition algorithm
그림 그림 3. Gain-based 노출 보상 Fig. 3. Gain-based illuminance compensation
그림 그림 4. Block gain-based 노출 보상 Fig. 4. Block gain-based illuminance compensation
그림 그림 5. Gain-based 노출보상과 Block Gain-based 노출보상의 성능 비교 Fig. 5. Comparison between Gain-based compensation and Block Gain-based compensation algorithms. (a) Stitching without illumination compensation, (b) Stitched image with Gain-based illumination compensation algorithm, (c) Stitched image with Block Gain-based illumination compensation algorithm
그림 그림 6. 장애물(손)의 유무에 따른 밝기 변화 Fig. 6. Change of brightness according to obstacle (hand)
그림 그림 7. 카메라 촬영 방향에 따른 영상들 비교 Fig. 7. Pictures according to the direction of the camera
표 표 1. 비슷한 사진들의 평균 밝기값 및 삼원색 구성 비율 비교 Table 1. Comparison of the averaged brightness and three primary colors in similar pictures
그림 그림 8. 제안하는 알고리즘의 구성도 Fig. 8. The flowchart of the proposed algorithm
그림 그림 9. 다양한 노출보상 알고리즘들을 이용한 스티칭 영상 Fig. 9. The stitched images resulted from the various compensation algorithms
그림 그림 10. 그림 11의 입력 영상 Fig. 10. Input images for Fig 11
그림 그림 11. 다른 색상의 입력 이미지들을 이용해서 스티칭한 영상들 Fig. 11. The stitched images resulted from the various compensation algorithms with input images having the different colors, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed
그림 그림 12. 다른 색상의 입력 이미지들을 이용해서 스티칭한 영상들 (복도) Fig. 12. The stitched images (hallway) resulted from the various compensation algorithms with input images having the different colors, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed compensatoin algorithm
그림 그림 13. 그림 14의 입력 영상 Fig. 13. Input images for Fig 14
그림 그림 14. 급격하게 밝기가 변하는 입력 영상을 스티칭한 결과 Fig. 14. The stitched images resulted from the various compensation algorithms with input images having the different brightness, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed compensatoin algorithm
그림 그림 15. 밝기와 색상 보정이 모두 필요한 영상의 스티칭 결과 Fig. 15. The stitched images resulted from the various compensation algorithms with input images having the different brightness and color, (a) The image stitched by no compensation, (b) The image stitched by only color compensation, (c) The image stitched by only brightness compensation, (d)The image stitched by the proposed compensatoin algorithm
그림 그림 16. 수평의 360도 파노라마 Fig. 16. Horizontality 360 degree panorama
그림 그림 17. 밝기와 색상이 유사한 영상들의 스티칭 영상들 Fig. 17. The stitched images resulted from the various compensation algorithms with input images having the similar colors and brightness
표 표 2. 기존 노출보상 기법들과 제안하는 노출보상 기법의 실행시간 비교 Table 2. Comparison between run times of Gain-based compensation, Block Gain-based compensation, and the proposed compensation al-gorithms
표 표 3. Fig 11의 0번째 영상과 4번째 영상의 오버랩 영역의 평균 밝기와 색상 비율 비교 Table 3. Comparison of the averaged brightness and three primary colors in the overlap region between image0 and image4 of Fig 11

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 노출보상 알고리즘 Gain-based와 Block Gain-based의 차이점은 무엇인가?	두 알고리즘의 기본원리는 공통적 포개지는 영상의 평균 밝기를 비교하여 가중치(gain)을 계산하고, 가중치를 적용하여 인접한 영상 간 밝기차이를 줄이는 과정이다. 두 알고리즘의 한 가지 차이는 Gain-based 노출보상은 영상단위로 가중치를 계산하고, Block Gain-based 은 영상보다 작은 블록 단위로 가중 치를 계산하는 것이다. Gain-based 알고리즘과 Block Gainbased 알고리즘 모두 수직, 수평으로 인접한 5~10장의 영상으로만 현재 영상의 밝기가 조절되기 때문에, 360도 파노라마 영상과 같이 훨씬 많은 사진으로 영상을 연결하는 경우, 전체적인 밝기의 균형을 맞출 필요가 있다.
	파노라마 영상은 무엇인가?	파노라마 영상은 복수개의 영상들을 포개어지도록 촬영해서 얻은 여러 장의 사진들을 '스티칭'(stitching)[1]과정을 통해 하나로 이어 붙여 만든 영상이다. 최근 신기술로 주목 받고 있는 360°VR 영상은 360도 회전시켜 촬영한 여러 장의 평면 사진을 '스티칭'하여, 구면의 가상현실에서 볼 수 있도록 전방향으로 이어 붙인 파노라마 영상이다[2,3].
	Block Gain-based 노출 보상과 Gain-based 노출 보상의 차이점은 무엇인가?	Block Gain-based 노출보상은 Gain-based 노출 보상을 영상 안의 블록단위로 수행하는 것이다[7]. Gain-based 노출 보상은 한 영상마다 하나의 gain 값으로 밝기를 조절했지만, Block Gain-based 노출 보상은 영상 구성하는 블록마다 개별적으로 gain 값을 얻기 때문에 영상 안의 밝기 변화가 제각각 다르게 나타날 수 있다. 즉, 다른 영상과 오버랩 되지 않는 영역의 이득은 1에 가깝고, 오버랩 영역에서 영상 간 평균 밝기강도의 차이가 클수록 1보다 작거나 큰 이득을 얻게 된다.

참고문헌 (10)

Wei Xu, "Panoramic Video Stitching," Computer Science Graduate Theses & Dissertations. 47, 2012.
Jinwoong Jung, Joon-Young Lee, Byungmoon Kim, and Seungyong Lee, "Upright adjustment of 360 spherical panoramas," 2017 IEEE Virtual Reality, pp 251-252, 2017.
Myeongah Cho , Junsik Kim, and Kyuheon Kim, "Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method," Journal of Broadcast Engineering, Vol. 23, No. 2, pp 235-245, March 2018.
David G. Lowe, "Distinctive Image Features from Scale-Invariant Key points," International Journal of Computer Vision, Vol 60, No 2, pp 91-110, November 2004.

상세보기
Kaili Chen and Meiling Wang, "Image stitching algorithm research based on OpenCV," Proceedings of the 33rd Chinese Control Conference, pp. 7292-7297, 2014.
Matthew Brown and David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007.

상세보기
Wei Xu and Jane Mulligan, "Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching," 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 263-270, 2010.
Meer Sadeq Billah and Ahn Heejune, "Stitching Method of Videos Recorded by Multiple Handheld Cameras," Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 3, pp.27-38, June 2017.

원문보기 상세보기
Heung-Yeung Shum and Richard Szeliski, Panoramic vision, Springer-Verlag New York, Secaucus NJ USA, pp.227-268, 2001.
Benoit Payette, "Color Space Converter: R'G'B' to Y'CrCb", XAPP 637(v1.0), September 2002.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증