3D 동영상에서 두 동영상 - 스테레오스코픽 3D 동영상에서 왼쪽 눈에 보여 줄 동영상과 오른쪽 눈에 보여줄 동영상, 깊이정보 기반 3D 동영상에서 컬러 동영상과 깊이지도 동영상 - 사이의 시간적 동기 오류는 다양한 원인으로 발생할 수 있으며, 편안한 3D 동영상 시청을 위해서는 이 3D 동영상의 시간적 동기화 문제를 해결할 수 있는 방법에 대한 연구가 필요하다. 본 논문에서는 스테레오스코픽 3D 동영상의 시간적 동기화 문제를 해결하기 위해 ...
3D 동영상에서 두 동영상 - 스테레오스코픽 3D 동영상에서 왼쪽 눈에 보여 줄 동영상과 오른쪽 눈에 보여줄 동영상, 깊이정보 기반 3D 동영상에서 컬러 동영상과 깊이지도 동영상 - 사이의 시간적 동기 오류는 다양한 원인으로 발생할 수 있으며, 편안한 3D 동영상 시청을 위해서는 이 3D 동영상의 시간적 동기화 문제를 해결할 수 있는 방법에 대한 연구가 필요하다. 본 논문에서는 스테레오스코픽 3D 동영상의 시간적 동기화 문제를 해결하기 위해 광류 (optical flow) 추정에 따른 움직임 유사성을 이용한 방법을 제안하였다. 먼저 스테레오 조정 (rectification) 과정을 통해 두 동영상 사이의 수직 시차를 보정한 다음, 각각의 프레임 영상에서 시·공간 기울기를 이용하여 광류를 계산하였다. 다음 단계에서 수직 좌표 값이 같은 화소들의 광류 속도 벡터들을 그룹화 하여 그룹 안의 광류 속도 벡터의 방향 성분에 따른 크기 성분의 합에 대한 도수분포를 얻고, 왼쪽 눈에 보여 줄 동영상의 프레임 영상과 오른쪽 눈에 보여 줄 동영상의 프레임 영상에서 같은 수직 좌표 값들을 갖고 있는 그룹의 도수분포들에 대한 상호상관계수를 계산한 다음, 전체 영상의 적용을 위해 상호상관계수들의 평균값을 구하였다. 마지막으로 이 상호상관계수들의 평균값을 통해 두 동영상의 프레임 조합 사이의 움직임 유사성을 계산하고, 가장 움직임 유사성이 높은 프레임 조합을 찾아 이 프레임 조합이 두 동영상 사이에서 시간적 동기가 맞는 프레임 조합이라고 판단하여 스테레오스코픽 3D 동영상에 대한 시간적 동기화를 수행하였다. 또한 본 논문에서는 깊이 정보 기반 3D 동영상의 시간적 동기화 문제를 풀기 위해서 두 동영상에서의 에지의 일치 정도를 이용한 방법을 제안하였다. 제안 방법의 적용을 위해, 시간적 차 영상으로 설정한 관심 영역에 양방향 필터를 적용하고, 이 관심 영역 안에서 컬러 동영상과 깊이지도 동영상의 프레임 영상 사이의 중첩 에지 화소 수를 계산하여 에지 일치의 정도를 측정하였다. 그리고 측정된 에지 일치의 정도가 가장 높은 두 동영상의 프레임 조합이 시간적 동기가 맞는 프레임 조합이라 판단하여 깊이 정보 기반 3D 동영상의 시간적 동기를 맞추는 방법을 사용하였다. 실험 결과에 따르면 스테레오스코픽 3D 동영상의 시간적 동기화를 위해 제안한 방법은 순차 주사방식과 비월 주사방식의 실험 동영상에서 정확한 시간적 동기화 프레임 조합을 찾는데 높은 검출률을 기록하였으며, H.264/AVC 압축 방법에 의한 동영상 압축 환경에서도 강인함을 갖고 있음을 알 수 있었다. 또한 깊이 정보 기반 3D 동영상의 시간적 동기화를 위해 제안한 방법의 검증 실험을 통해 제안 방법이 깊이 정보 기반 3D 동영상의 시간적 동기를 맞추는데 적용이 가능하며, 가우시안 잡음이 첨가된 환경과 H.264/AVC 압축 방법에 의한 동영상 압축 환경에서도 강인성을 갖추고 있음을 알 수 있었다.
3D 동영상에서 두 동영상 - 스테레오스코픽 3D 동영상에서 왼쪽 눈에 보여 줄 동영상과 오른쪽 눈에 보여줄 동영상, 깊이정보 기반 3D 동영상에서 컬러 동영상과 깊이지도 동영상 - 사이의 시간적 동기 오류는 다양한 원인으로 발생할 수 있으며, 편안한 3D 동영상 시청을 위해서는 이 3D 동영상의 시간적 동기화 문제를 해결할 수 있는 방법에 대한 연구가 필요하다. 본 논문에서는 스테레오스코픽 3D 동영상의 시간적 동기화 문제를 해결하기 위해 광류 (optical flow) 추정에 따른 움직임 유사성을 이용한 방법을 제안하였다. 먼저 스테레오 조정 (rectification) 과정을 통해 두 동영상 사이의 수직 시차를 보정한 다음, 각각의 프레임 영상에서 시·공간 기울기를 이용하여 광류를 계산하였다. 다음 단계에서 수직 좌표 값이 같은 화소들의 광류 속도 벡터들을 그룹화 하여 그룹 안의 광류 속도 벡터의 방향 성분에 따른 크기 성분의 합에 대한 도수분포를 얻고, 왼쪽 눈에 보여 줄 동영상의 프레임 영상과 오른쪽 눈에 보여 줄 동영상의 프레임 영상에서 같은 수직 좌표 값들을 갖고 있는 그룹의 도수분포들에 대한 상호상관계수를 계산한 다음, 전체 영상의 적용을 위해 상호상관계수들의 평균값을 구하였다. 마지막으로 이 상호상관계수들의 평균값을 통해 두 동영상의 프레임 조합 사이의 움직임 유사성을 계산하고, 가장 움직임 유사성이 높은 프레임 조합을 찾아 이 프레임 조합이 두 동영상 사이에서 시간적 동기가 맞는 프레임 조합이라고 판단하여 스테레오스코픽 3D 동영상에 대한 시간적 동기화를 수행하였다. 또한 본 논문에서는 깊이 정보 기반 3D 동영상의 시간적 동기화 문제를 풀기 위해서 두 동영상에서의 에지의 일치 정도를 이용한 방법을 제안하였다. 제안 방법의 적용을 위해, 시간적 차 영상으로 설정한 관심 영역에 양방향 필터를 적용하고, 이 관심 영역 안에서 컬러 동영상과 깊이지도 동영상의 프레임 영상 사이의 중첩 에지 화소 수를 계산하여 에지 일치의 정도를 측정하였다. 그리고 측정된 에지 일치의 정도가 가장 높은 두 동영상의 프레임 조합이 시간적 동기가 맞는 프레임 조합이라 판단하여 깊이 정보 기반 3D 동영상의 시간적 동기를 맞추는 방법을 사용하였다. 실험 결과에 따르면 스테레오스코픽 3D 동영상의 시간적 동기화를 위해 제안한 방법은 순차 주사방식과 비월 주사방식의 실험 동영상에서 정확한 시간적 동기화 프레임 조합을 찾는데 높은 검출률을 기록하였으며, H.264/AVC 압축 방법에 의한 동영상 압축 환경에서도 강인함을 갖고 있음을 알 수 있었다. 또한 깊이 정보 기반 3D 동영상의 시간적 동기화를 위해 제안한 방법의 검증 실험을 통해 제안 방법이 깊이 정보 기반 3D 동영상의 시간적 동기를 맞추는데 적용이 가능하며, 가우시안 잡음이 첨가된 환경과 H.264/AVC 압축 방법에 의한 동영상 압축 환경에서도 강인성을 갖추고 있음을 알 수 있었다.
Temporal synchronization errors of 3D video - between a left viewed video and a right viewed video of a stereoscopic 3D video, or between a color video and a depth-map video of a depth based 3D video - can occur in a variety of ways. For comfortable 3D video viewing, it is necessary to solve the pro...
Temporal synchronization errors of 3D video - between a left viewed video and a right viewed video of a stereoscopic 3D video, or between a color video and a depth-map video of a depth based 3D video - can occur in a variety of ways. For comfortable 3D video viewing, it is necessary to solve the problems of temporal synchronization of the 3D video. In this paper, we propose a method of temporal synchronization for stereoscopic 3D video. First, we executed rectification to correct the vertical parallax between the left eye viewed video and the right eye viewed video. Second, we computed an estimation of the optical flow using a spatio-temporal gradient method for each frame image from the two videos. Third, we grouped the velocity vectors of the optical flow according to their vertical coordinate values and computed the frequency distribution for the magnitude components summation at each direction component of the velocity vectors in a group. Fourth, we computed the cross-correlation coefficient value between two groups having the same vertical coordinate values for two frame images from the left eye viewed video and the right eye viewed video; we used this to calculate the mean value, to be used for motion similarities in the whole frame image. Finally, we found a pair of temporal synchronized frames between the left eye viewed video and the right eye viewed video. We also propose a method of temporal synchronization for depth based 3D video in this paper. For the temporal synchronization of a depth-based 3D video, we used edge coherence to find a temporal synchronized pair of frames by computing the maximum number of overlapped edge pixels between the color video and the depth-map video in regions of temporal frame difference; to these, we applied a bilateral filter. The experimental results show that the proposed method for stereoscopic 3D videos can be used for finding temporal synchronization of a stereoscopic 3D video and that the method is robust against video compression by H.264/AVC. Also, the proposed method for depth-based 3D videos can be used to perform temporal synchronization of depth-based 3D videos and is robust against Gaussian noise and video compression by H.264/AVC.
Temporal synchronization errors of 3D video - between a left viewed video and a right viewed video of a stereoscopic 3D video, or between a color video and a depth-map video of a depth based 3D video - can occur in a variety of ways. For comfortable 3D video viewing, it is necessary to solve the problems of temporal synchronization of the 3D video. In this paper, we propose a method of temporal synchronization for stereoscopic 3D video. First, we executed rectification to correct the vertical parallax between the left eye viewed video and the right eye viewed video. Second, we computed an estimation of the optical flow using a spatio-temporal gradient method for each frame image from the two videos. Third, we grouped the velocity vectors of the optical flow according to their vertical coordinate values and computed the frequency distribution for the magnitude components summation at each direction component of the velocity vectors in a group. Fourth, we computed the cross-correlation coefficient value between two groups having the same vertical coordinate values for two frame images from the left eye viewed video and the right eye viewed video; we used this to calculate the mean value, to be used for motion similarities in the whole frame image. Finally, we found a pair of temporal synchronized frames between the left eye viewed video and the right eye viewed video. We also propose a method of temporal synchronization for depth based 3D video in this paper. For the temporal synchronization of a depth-based 3D video, we used edge coherence to find a temporal synchronized pair of frames by computing the maximum number of overlapped edge pixels between the color video and the depth-map video in regions of temporal frame difference; to these, we applied a bilateral filter. The experimental results show that the proposed method for stereoscopic 3D videos can be used for finding temporal synchronization of a stereoscopic 3D video and that the method is robust against video compression by H.264/AVC. Also, the proposed method for depth-based 3D videos can be used to perform temporal synchronization of depth-based 3D videos and is robust against Gaussian noise and video compression by H.264/AVC.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.