본 논문에서는 360 VR 멀티미디어 시스템에서 복수개의 카메라들이 촬영한 영상 신호들 간의 밝기 차이가 발생하여 360 VR 영상 품질을 저하시키는 것을 막기 위해, 360 VR 시스템에 적합한 밝기 보상 기법을 제안한다. 복수개의 카메라가 촬영한 영상들 간의 특징점들을 분석하고, 이 특징점들을 대상으로 누적 히스토그램을 계산한다. 그리고 이 누적 히스토그램을 기반으로 우선적으로 밝기 보상이 필요한 영상들을 선별한다. 선별된 영상들에 대해서 내부 특징점들의 누적 히스토그램과 외부 특징점들의 히스토그램들을 일치시키기 위한 룩업테이블을 제작하여, 선별된 영상 내부의 모든 화소들의 밝기값을 보상한다. 본 논문의 실험결과에서는 제안하는 알고리즘의 우수성을 히스토그램 보상 측면, 밝기보상 영상의 시각적인 평가, ERP 영상의 화질 평가, Viewport 영상의 화질 평가 등의 측면에서 보였으며, 다양한 기준들에서 제안한 방법이 기존 기술들보다 우수함을 보였다.
본 논문에서는 360 VR 멀티미디어 시스템에서 복수개의 카메라들이 촬영한 영상 신호들 간의 밝기 차이가 발생하여 360 VR 영상 품질을 저하시키는 것을 막기 위해, 360 VR 시스템에 적합한 밝기 보상 기법을 제안한다. 복수개의 카메라가 촬영한 영상들 간의 특징점들을 분석하고, 이 특징점들을 대상으로 누적 히스토그램을 계산한다. 그리고 이 누적 히스토그램을 기반으로 우선적으로 밝기 보상이 필요한 영상들을 선별한다. 선별된 영상들에 대해서 내부 특징점들의 누적 히스토그램과 외부 특징점들의 히스토그램들을 일치시키기 위한 룩업테이블을 제작하여, 선별된 영상 내부의 모든 화소들의 밝기값을 보상한다. 본 논문의 실험결과에서는 제안하는 알고리즘의 우수성을 히스토그램 보상 측면, 밝기보상 영상의 시각적인 평가, ERP 영상의 화질 평가, Viewport 영상의 화질 평가 등의 측면에서 보였으며, 다양한 기준들에서 제안한 방법이 기존 기술들보다 우수함을 보였다.
360 VR video systems has become important to provide immersive effect for viewers. The system consists of stitching, projection, compression, inverse projection, viewport extraction. In this paper, an efficient luminance compensation technique for 360 VR video sequences, where feature extraction and...
360 VR video systems has become important to provide immersive effect for viewers. The system consists of stitching, projection, compression, inverse projection, viewport extraction. In this paper, an efficient luminance compensation technique for 360 VR video sequences, where feature extraction and histogram equalization algorithms are utilized. The proposed luminance compensation algorithm enhance the performance of stitching in 360 VR system. The simulation results showed that the proposed technique is useful to increase the quality of the displayed image.
360 VR video systems has become important to provide immersive effect for viewers. The system consists of stitching, projection, compression, inverse projection, viewport extraction. In this paper, an efficient luminance compensation technique for 360 VR video sequences, where feature extraction and histogram equalization algorithms are utilized. The proposed luminance compensation algorithm enhance the performance of stitching in 360 VR system. The simulation results showed that the proposed technique is useful to increase the quality of the displayed image.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 밝기값 보상은 R, G, B 신호 값을 Y, Cb, Cr로 변환한 후, Y 값에 대해서 적용하는 기술이다. Y 신호 값 뿐만 아니라 다른 칼라 신호 값에 대한 알고리즘은 후속 연구에서 다룰 예정이다.
VR 시스템에서 각 카메라로 촬영한 영상들은 서로 공통적인 부분을 촬영한 정보들을 가지고 있다. 본 논문에서 제안하는 기술에서는 이러한 복수개 영상들 간의 공통적인 화상정보들을 활용하여 밝기값을 보상하는 방법을 제안한다. 이렇게 함으로써, VR 카메라로 촬영한 각 영상의 밝기를 일치시켜 스티칭 에러를 줄이고 밝기가 자연스러운 VR 영상을 얻을 수 있다.
본 논문에서는 VR 멀티미디어 시스템에 적합한 밝기 보상 기법에 대해서 효율적인 방법을 제안하였다. 이를 위해서 특징점 분석, 히스토그램 분석, 누적 히스토그램 분석 등을 수행하였고, 이런 과정을 통해 제작된 록업테이블을 사용해서 밝기 보상을 수행했다.
본 논문에서는 VR 시스템의 복수개의 카메라들이 촬영한 영상들의 밝기를 보상하여 시각적으로 화질 개선된 VR 컨텐츠를 제작하는 기술을 제안한다. 이 기술은 단지 시각적인 화질 개선뿐만 아니라, stitching의 완성도를 높이고, 압축 효율을 증가시키며, viewport 추출 과정에서 왜곡을 감소시킨다.
제안 방법
그림 6은 앞서 설명한 기존의 단일영상에서의 히스토그램 평활화 기법인 BBHE와 BPDHE 그리고 본 논문에서 제안하는 기술을 히스토그램으로 비교한 것이다. 보상 전 원본 영상의 히스토그램을 표시하여 가시적으로 비교하였다. 히스토그램 분석에 사용한 영상은 “충무관”영상 그룹의 3번 영상이다.
본 논문에서 제안하는 기법의 성능을 검증하기 위하여 기존 2D영상에서 밝기 보상을 하는 기법인 Bi-Histogram Equalization(BBHE)[2]과 Brightness Preserving Dynamic Histogram Equalization(BPDHE)[3]을 대조군으로 선정하여 실험을 진행하였다.
본 논문에서 제안하는 기술의 성능을 분석하기 위해 다양한 실험을 수행하였다. 본 연구에서는 Kolor Autopano Video 소프트웨어를 사용하여 영상 그룹을 스티칭 하였다.
본 논문에서 제안하는 기술이 좀 더 효용성을 갖고 있다는 것을 증명하기 위하여 viewport영상에서 비교를 하였다. viewport를 추출한 영역은 스티칭 과정에서 두 영상이 겹치는 영역으로 선택하였다.
영상 그룹의 개별 화면을 하나의 VR영상으로 스티칭 하여 화질을 평가한다. 스티칭은 ERP 포맷으로 하였다.
본 논문에서는 VR 멀티미디어 시스템에 적합한 밝기 보상 기법에 대해서 효율적인 방법을 제안하였다. 이를 위해서 특징점 분석, 히스토그램 분석, 누적 히스토그램 분석 등을 수행하였고, 이런 과정을 통해 제작된 록업테이블을 사용해서 밝기 보상을 수행했다. 본 논문에서는 다양한 실험 결과를 통해 제안한 알고리즘의 효용성을 증명하였다.
대상 데이터
실험에 사용한 영상 그룹은 각각 “충무관”과 “주차타워”이다. 각 영상 그룹은 6개의 영상으로 구성되어 있다.
실험용 영상은 GoPro Omni 카메라를 사용하여 촬영하였고, 6개의 개별 카메라에서 촬영된 영상의 해상도는 2,704×2,028이다. 밝기 보상이 필요한 테스트 영상은 야외에서 Omni 카메라로 촬영했으며, 이 과정을 통해 밝기 보상의 필요성이 있는 실험 영상들을 확보하였다. 실험에 사용한 영상 그룹은 각각 “충무관”과 “주차타워”이다.
실험에 사용한 영상 그룹은 각각 “충무관”과 “주차타워”이다.
실험용 영상은 GoPro Omni 카메라를 사용하여 촬영하였고, 6개의 개별 카메라에서 촬영된 영상의 해상도는 2,704×2,028이다.
인텔® 코어 i7-2600 프로세서와 16GB RAM이 장착된 컴퓨터를 사용하여 실험을 실시하였다.
히스토그램 분석에 사용한 영상은 “충무관”영상 그룹의 3번 영상이다.
데이터처리
영상 내부의 특징점들의 밝기를 보상하여 이웃하는 화면 내에 있는 특징점 들의 히스토그램과 일치하게 된 것을 알 수 있다. 그림 7의 실험 결과에서 히스토그램의 평활화 관점의 성능을 객관적인 수치로 설명하기 위하여, distorted 신호의 히스토그램과 제안한 방법으로 밝기 보상한 신호들의 히스토그램 각각이 reference(red)를 기준으로 얼마나 차이가 있는지를 계산하기 위해 평균제곱에러(MSE)를 계산하였다. 이를 계산한 후, 이를 이용해서 아래 식을 이용해서 PSNR을 계산하였다.
이론/모형
본 논문에서 제안하는 기술의 성능을 분석하기 위해 다양한 실험을 수행하였다. 본 연구에서는 Kolor Autopano Video 소프트웨어를 사용하여 영상 그룹을 스티칭 하였다. 인텔® 코어 i7-2600 프로세서와 16GB RAM이 장착된 컴퓨터를 사용하여 실험을 실시하였다.
영상 그룹의 개별 화면을 하나의 VR영상으로 스티칭 하여 화질을 평가한다. 스티칭은 ERP 포맷으로 하였다.
첫 단계에서는 그림 4의 각 카메라가 촬영한 영상이 경계면을 공유하는 이웃 화면들과 어떻게 연관성이 있는지를 조사하는 단계로써, 이웃하는 영상들 간의 특징점 쌍(pair)들을 추출하는 과정이다. 이 특징점 쌍을 추출하기 위해서는 Harris corner[4], SIFT[5], FAST[6]기술 등이 사용되는데, 본 연구에서는 시점, 조명, 스케일 등의 환경변화에 불변하는 특징점을 찾는 SURF[7] 알고리즘을 사용하였다. 이 과정을 통해서 얻어진 특징점들은 (xim→n, yim→n, lim→n)로 표현되는데, 여기서 xim→n, yim→n, lim→n는 m번째 화면과 n번째 화면 사이에서 추출된 복수개의 특정점 쌍들 중에서 m번째 화면 내에 존재하는 i번째 특징점의 x 좌표, y 좌표, 밝기값(luminance)를 의미한다.
성능/효과
(b) 시각적인 문제: 밝기 보상을 하지 않으면 VR영상 군데군데 밝기가 달라 영상 시청 시 영역 간 이질감이 느껴지고 시각적으로 불편하다. (c) 압축효율 감소: 압축하려는 영상 신호의 국지적인 밝기 차이는 비디오 코덱을 사용한 압축 과정에서 압축 효율을 감소시킨다.
(d), (h)에 해당하는 본 논문에 제안하는 방법을 이용하여 밝기 보상 후 스티칭한 영상은 국부적인 밝기 차이 문제를 해결하여 전체적으로 밝기가 균일해졌다.
또한 본 논문에서 제안하는 기술이 특징점 매칭에 기반하고 있어서, 특징점이 잘 찾아지지 않는 저주파수 성분이 많은 영상에서는 성능 저하가 발생할 수 있다. 이 점을 보완하는 연구를 후속 연구에서 다룰 예정이다.
본 논문에서 제안하는 기술을 사용하여 밝기 보상한 결과를 보면 영상 그룹 내 특정 영상만을 선택적으로 보상했음을 알 수 있다. 그림8의 영상 그룹 (h)의 경우에는 좌측부터 영상의 순서를 매긴다 하였을 때 1, 3, 4번 영상이 보상된 영상이다.
이를 위해서 특징점 분석, 히스토그램 분석, 누적 히스토그램 분석 등을 수행하였고, 이런 과정을 통해 제작된 록업테이블을 사용해서 밝기 보상을 수행했다. 본 논문에서는 다양한 실험 결과를 통해 제안한 알고리즘의 효용성을 증명하였다.
53 dB이었다. 이 PSNR 값들을 기준으로 판단할 때, 제안한 기술을 사용함으로써 VR 영상 신호에 존재 하는 밝기 차이 왜곡이 상당히 제거되었음을 확인할 수 있었다.
위 식에서 분자가 1인 이유는 PDF의 최대값은 1이기 때문이다. 이렇게 계산한 distorted(blue)의 PSNR은 49.91 dB 이고, 제안한 방법을 사용한 신호인 proposed(black)의 PSNR은 55.53 dB이었다. 이 PSNR 값들을 기준으로 판단할 때, 제안한 기술을 사용함으로써 VR 영상 신호에 존재 하는 밝기 차이 왜곡이 상당히 제거되었음을 확인할 수 있었다.
후속연구
본 논문에서 밝기값 보상은 R, G, B 신호 값을 Y, Cb, Cr로 변환한 후, Y 값에 대해서 적용하는 기술이다. Y 신호 값 뿐만 아니라 다른 칼라 신호 값에 대한 알고리즘은 후속 연구에서 다룰 예정이다.
본 논문에서는 촬영된 영상의 밝기값만을 보상하였으나, 다음 후속 연구에서는 R, G, B 칼라 또는 Y, Cb, Cr 칼라좌표에서 칼라 신호값 전부를 보상하는 기법을 연구할 예정이다. 또한, 후속 연구에서는 밝기 보상 기법이 VR 비디오 신호의 압축에 끼치는 영향에 대해서도 다룰 예정이다.
본 논문에서는 촬영된 영상의 밝기값만을 보상하였으나, 다음 후속 연구에서는 R, G, B 칼라 또는 Y, Cb, Cr 칼라좌표에서 칼라 신호값 전부를 보상하는 기법을 연구할 예정이다. 또한, 후속 연구에서는 밝기 보상 기법이 VR 비디오 신호의 압축에 끼치는 영향에 대해서도 다룰 예정이다.
또한 본 논문에서 제안하는 기술이 특징점 매칭에 기반하고 있어서, 특징점이 잘 찾아지지 않는 저주파수 성분이 많은 영상에서는 성능 저하가 발생할 수 있다. 이 점을 보완하는 연구를 후속 연구에서 다룰 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
VR 시스템 구성의 완성도를 갖추는데 필요한 추가적인 기술들은 무엇인가?
VR 시스템은 입체 영상 및 음향 촬영, 스티칭(stitching), Projection, Formating, 압축 및 전송, Viewport Generation 등 기본적이고 핵심적인 세부기술로 구성되어 있다. 그렇지만 이러한 기술들만으로는 VR 시스템 구성의 완성도를 갖추는데 한계가 있으며, ‘카메라 흔들림 보상’, ‘카메라들 간의 밝기 보상’, ‘VR 영상의 해상도 변환’ 등의 추가적인 기술들이 보완적으로 사용되어야 한다. 특히, VR 서비스 컨텐츠들이 스튜디오 촬영에서 벗어나 야외 VR 컨텐츠 제작의 필요성이 증가하는 시점에서 이러한 추가 기술들의 중요성이 더욱 강조되고 있다.
VR 시스템은 무엇으로 구성되어 있나?
VR 시스템은 입체 영상 및 음향 촬영, 스티칭(stitching), Projection, Formating, 압축 및 전송, Viewport Generation 등 기본적이고 핵심적인 세부기술로 구성되어 있다. 그렇지만 이러한 기술들만으로는 VR 시스템 구성의 완성도를 갖추는데 한계가 있으며, ‘카메라 흔들림 보상’, ‘카메라들 간의 밝기 보상’, ‘VR 영상의 해상도 변환’ 등의 추가적인 기술들이 보완적으로 사용되어야 한다.
시각적으로 화질 개선된 VR 컨텐츠들의 사용된 기술은 단순히 시각적인 화질 개선뿐만 아니라 어떤 부분들을 향상시켰는가?
본 논문에서는 VR 시스템의 복수개의 카메라들이 촬영한 영상들의 밝기를 보상하여 시각적으로 화질 개선된 VR 컨텐츠를 제작하는 기술을 제안한다. 이 기술은 단지 시각적인 화질 개선뿐만 아니라, stitching의 완성도를 높이고, 압축 효율을 증가시키며, viewport 추출 과정에서 왜곡을 감소시킨다. 기존에도 다양한 연구자들에 의해서 밝기 보상 기법들이 연구되어 왔으나, 이 기존 연구들은 2D 비디오 신호 또는 정지 영상들에 적용된 기술들[2][3]로써, VR 비디오 신호에 그대로 적용할 수 없는 기술들이 대부분이다.
참고문헌 (7)
C. Kim, "A Comparative Study for Virtual Reality $360^{\circ}$ Contents Shooting Equipments Based on Real World," Journal of Broadcast Engineering, 21(5), pp 714-725, Sept., 2016.
Y. T. Kim, "Contrast Enhancement using Brightness Preserving Bi-Histogram Equalization," IEEE Trans. on Consumer Electronics, Vol. 43, No. 1, pp. 1-8, February 1997.
H. Ibrahim and N. S. P. Kong, "Brightness Preserving Dynamic Histogram Equalization for Image Contrast Enhancement," IEEE Trans. Consum.Electron., Vol. 53, No. 4, pp. 1752-1758, Nov., 2007.
C. Harris and M. Stephens, "A Combined Corner and Edge Detector," Proceedings of the Alvey Vision Conference, pp. 147-151, 1988.
D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol. 60, Issue 2, pp 91-110, November 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.