스티칭 기법은 여러 카메라에서 얻은 영상을 하나의 영상으로 합성해 사용자에게 더 넓은 화각과 해상도를 가진 영상을 제공하는 기법이다. 스티칭 기법은 스포츠 중계 시스템, 360도 VR 시스템, around view ...
스티칭 기법은 여러 카메라에서 얻은 영상을 하나의 영상으로 합성해 사용자에게 더 넓은 화각과 해상도를 가진 영상을 제공하는 기법이다. 스티칭 기법은 스포츠 중계 시스템, 360도 VR 시스템, around view monitor (AVM) 시스템, 드론 촬영 등 다양한 분야에서 응용될 수 있기에 현재 활발히 연구되고 있는 분야다. 스티칭 연구는 크게 두 가지 분야로 나누어 질 수 있는데, 시차에 의해 생기는 고스트 현상 제거와 처리 시간 단축으로 나누어 질 수 있다. 이를 위해 연구자들은 심을 이용한 스티칭, 와핑을 이용한 스티칭 기법 등 다양한 방법으로 연구를 진행하고 있다. 이에 본 논문도 고스트 현상 제거와 처리 시간 단축을 위한 영상분할을 이용한 다중 호모그래피이미지 스티칭 방법과 호모그래피 보정을 이용한 실시간 비디오 스티칭 기법을 제시한다. 먼저, 영상분할을 이용한 다중 호모그래피 이미지 스티칭은 영상 내 전경과 배경 사이 시차로 생기는 고스트 현상을 줄이기 위해 영상 내 전경과 배경을 나눈 뒤, 각각 해당되는 호모그래피를 적용해 이미지를 합성하는 기법이다. 이 기법은 크게 전경 후보자 추출, 후보자 검증, 와핑 및 블렌딩으로 나누어 지며, 전경 후보자를 추출하기 위해서 민시프트 영상분할과 적합점 비율을 이용해 전경 후보를 선택하고 후보 영역 내 특징점의 개수, 영역의 넓이, 특징점 분포를 고려해 전경 후보를 검증해 최종적으로 전경과 배경에 해당되는 호모그래피를 구해 하나로 합성한다. 이 때, 영상 분할로 생성되는 잡음과 구멍을 보완하기 위해 형태학적 기법을 이용한다. 두 번째, 호모그래피 보정을 이용한 비디오 스티칭 기법은 실시간으로 움직이는 모바일 디바이스에서 얻은 영상을 하나로 합성하는 기법으로, 광류 추적 기법과 그리드를 이용해 빠르게 두 프레임 간 호모그래피의 곱인 카메라 패쓰를 추정하고 블록 매칭을 이용해 앞 써 구한 카메라 패쓰의 오류를 보정하여 두 비디오 영상을 하나로 합성한다. 본 논문에서는 다양한 샘플 이미지와 비디오를 수집하여 실험을 진행했으며, 실험을 통해 영상분할을 이용한 다중 호모그래피 이미지 스티칭는 다른 방법과 비교해 고스트 현상이 많이 제거되는 것을 확인할 수 있었고 호모그래피 보정을 이용한 비디오 스티칭 기법은 초당 13 프레임을 처리해 실시간 비디오 스티칭에 적합하다는 것을 확인 할 수 있었다.
스티칭 기법은 여러 카메라에서 얻은 영상을 하나의 영상으로 합성해 사용자에게 더 넓은 화각과 해상도를 가진 영상을 제공하는 기법이다. 스티칭 기법은 스포츠 중계 시스템, 360도 VR 시스템, around view monitor (AVM) 시스템, 드론 촬영 등 다양한 분야에서 응용될 수 있기에 현재 활발히 연구되고 있는 분야다. 스티칭 연구는 크게 두 가지 분야로 나누어 질 수 있는데, 시차에 의해 생기는 고스트 현상 제거와 처리 시간 단축으로 나누어 질 수 있다. 이를 위해 연구자들은 심을 이용한 스티칭, 와핑을 이용한 스티칭 기법 등 다양한 방법으로 연구를 진행하고 있다. 이에 본 논문도 고스트 현상 제거와 처리 시간 단축을 위한 영상분할을 이용한 다중 호모그래피 이미지 스티칭 방법과 호모그래피 보정을 이용한 실시간 비디오 스티칭 기법을 제시한다. 먼저, 영상분할을 이용한 다중 호모그래피 이미지 스티칭은 영상 내 전경과 배경 사이 시차로 생기는 고스트 현상을 줄이기 위해 영상 내 전경과 배경을 나눈 뒤, 각각 해당되는 호모그래피를 적용해 이미지를 합성하는 기법이다. 이 기법은 크게 전경 후보자 추출, 후보자 검증, 와핑 및 블렌딩으로 나누어 지며, 전경 후보자를 추출하기 위해서 민시프트 영상분할과 적합점 비율을 이용해 전경 후보를 선택하고 후보 영역 내 특징점의 개수, 영역의 넓이, 특징점 분포를 고려해 전경 후보를 검증해 최종적으로 전경과 배경에 해당되는 호모그래피를 구해 하나로 합성한다. 이 때, 영상 분할로 생성되는 잡음과 구멍을 보완하기 위해 형태학적 기법을 이용한다. 두 번째, 호모그래피 보정을 이용한 비디오 스티칭 기법은 실시간으로 움직이는 모바일 디바이스에서 얻은 영상을 하나로 합성하는 기법으로, 광류 추적 기법과 그리드를 이용해 빠르게 두 프레임 간 호모그래피의 곱인 카메라 패쓰를 추정하고 블록 매칭을 이용해 앞 써 구한 카메라 패쓰의 오류를 보정하여 두 비디오 영상을 하나로 합성한다. 본 논문에서는 다양한 샘플 이미지와 비디오를 수집하여 실험을 진행했으며, 실험을 통해 영상분할을 이용한 다중 호모그래피 이미지 스티칭는 다른 방법과 비교해 고스트 현상이 많이 제거되는 것을 확인할 수 있었고 호모그래피 보정을 이용한 비디오 스티칭 기법은 초당 13 프레임을 처리해 실시간 비디오 스티칭에 적합하다는 것을 확인 할 수 있었다.
A stitching technique combines the images acquired from multiple cameras. By generating the images with wide field of view (FOV) and high resolution, the users can be immersed in the stitched images. Recently, the stitching technique has actively been studied because it can be applied in various fie...
A stitching technique combines the images acquired from multiple cameras. By generating the images with wide field of view (FOV) and high resolution, the users can be immersed in the stitched images. Recently, the stitching technique has actively been studied because it can be applied in various fields such as sport-broadcasting system, 360 degree virtual reality (VR) system, around view monitoring (AVM), and drone monitoring. The trends in the stitching research can be divied into two things; 1) removal the ghost effects caused by the parallax, 2) reduction the processing time. For this purpose, the researchers are studying various methods such as seam-driven methods, and warping methods. In this paper, we propose a real-time video stitching using homography refinement and image stitching using multiple homographies for removal ghost effects and reduction of processing time. First, the image stitching using multiple homographies is a technique that dividing the foreground and background in the image, then applying the segments into the multiple homographies to reduce the ghost effects caused by the parallax. This method is divied into three stages; 1) foreground candidate detection, 2) foreground candidate validation, and 3) warping and blending. To detect the foreground candidate, we select the candidate in the segments using the Mean-shift segmentation and inlier rates. Then, we verify the foreground candidate considering the number of features, the area of segments, and the distribution of features. Finally, the background and foreground are combined using the homographies corresponding to the foreground and background. At that time, a morphological method is used to refine the noise and hole in the foreground. Second, the video stitching using homography refinement is a technique to combine multiple images acquired from mobile devices in the real-time. We estimate the camera paths, which is the multiplication of the homographies between the adjacent frames, using the optical flow and the gird, and the estimated camera paths are refined using the block matching. Finally, the frame are synthesized using the refined camera paths and initial between camera moions. In this paper, we experiment using the various samples. The experimental results show that the image stitching using multiple homographies is more effective than the other methods in removal of ghost effects, and the real-time video stitching using homography refinement can stably stitch two image sequences in more than about 13 fps (frames per second).
A stitching technique combines the images acquired from multiple cameras. By generating the images with wide field of view (FOV) and high resolution, the users can be immersed in the stitched images. Recently, the stitching technique has actively been studied because it can be applied in various fields such as sport-broadcasting system, 360 degree virtual reality (VR) system, around view monitoring (AVM), and drone monitoring. The trends in the stitching research can be divied into two things; 1) removal the ghost effects caused by the parallax, 2) reduction the processing time. For this purpose, the researchers are studying various methods such as seam-driven methods, and warping methods. In this paper, we propose a real-time video stitching using homography refinement and image stitching using multiple homographies for removal ghost effects and reduction of processing time. First, the image stitching using multiple homographies is a technique that dividing the foreground and background in the image, then applying the segments into the multiple homographies to reduce the ghost effects caused by the parallax. This method is divied into three stages; 1) foreground candidate detection, 2) foreground candidate validation, and 3) warping and blending. To detect the foreground candidate, we select the candidate in the segments using the Mean-shift segmentation and inlier rates. Then, we verify the foreground candidate considering the number of features, the area of segments, and the distribution of features. Finally, the background and foreground are combined using the homographies corresponding to the foreground and background. At that time, a morphological method is used to refine the noise and hole in the foreground. Second, the video stitching using homography refinement is a technique to combine multiple images acquired from mobile devices in the real-time. We estimate the camera paths, which is the multiplication of the homographies between the adjacent frames, using the optical flow and the gird, and the estimated camera paths are refined using the block matching. Finally, the frame are synthesized using the refined camera paths and initial between camera moions. In this paper, we experiment using the various samples. The experimental results show that the image stitching using multiple homographies is more effective than the other methods in removal of ghost effects, and the real-time video stitching using homography refinement can stably stitch two image sequences in more than about 13 fps (frames per second).
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.