본 논문에서는 형태 정합 및 포아송 방정식을 기반으로 객체와 배경과의 이음매가 없는 효율적인 동영상 합성 기법을 제안한다. 동영상 합성 기법은 영상 분할 과정과 영상 조합 과정으로 구성된다. 영상 분할 과정에서는 먼저 첫번째 프레임에 대해 사용자가 3 영역 지도를 설정한 후, 그랩 컷(grab cut) 알고리즘을 수행한다. 그리고 객체와 배경의 색상, 밝기, 텍스쳐 등이 유사할 경우 영상 분할의 성능이 감소될 수 있음을 감안하여, 현재 프레임과 이전 프레임 객체들 간의 형태 정합을 통해 현재 프레임에서 영상 분할된 객체를 보정한다. 영상 조합 과정에서는 포아송 방정식을 이용하여 객체와 목표 동영상의 배경이 서로 이음매 없이 조합되도록 하며, 또한 사용자가 설정한 움직임 경로에 따라 객체를 배치한다. 모의실험을 통해 제안된 방법이 합성된 동영상의 자연성 뿐만 아니라 수행 시간 면에서 우수함을 알 수 있었다.
본 논문에서는 형태 정합 및 포아송 방정식을 기반으로 객체와 배경과의 이음매가 없는 효율적인 동영상 합성 기법을 제안한다. 동영상 합성 기법은 영상 분할 과정과 영상 조합 과정으로 구성된다. 영상 분할 과정에서는 먼저 첫번째 프레임에 대해 사용자가 3 영역 지도를 설정한 후, 그랩 컷(grab cut) 알고리즘을 수행한다. 그리고 객체와 배경의 색상, 밝기, 텍스쳐 등이 유사할 경우 영상 분할의 성능이 감소될 수 있음을 감안하여, 현재 프레임과 이전 프레임 객체들 간의 형태 정합을 통해 현재 프레임에서 영상 분할된 객체를 보정한다. 영상 조합 과정에서는 포아송 방정식을 이용하여 객체와 목표 동영상의 배경이 서로 이음매 없이 조합되도록 하며, 또한 사용자가 설정한 움직임 경로에 따라 객체를 배치한다. 모의실험을 통해 제안된 방법이 합성된 동영상의 자연성 뿐만 아니라 수행 시간 면에서 우수함을 알 수 있었다.
In this paper, we propose a novel seamless video composition method based on shape matching and Poisson equation. Video composition method consists of video segmentation process and video blending process. In the video segmentation process, the user first sets a trimap for the first frame, and then ...
In this paper, we propose a novel seamless video composition method based on shape matching and Poisson equation. Video composition method consists of video segmentation process and video blending process. In the video segmentation process, the user first sets a trimap for the first frame, and then performs a grab-cut algorithm. Next, considering that the performance of video segmentation may be reduced if the color, brightness and texture of the object and the background are similar, the object region segmented in the current frame is corrected through shape matching between the objects of the current frame and the previous frame. In the video blending process, the object of source video and the background of target video are blended seamlessly using Poisson equation, and the object is located according to the movement path set by the user. Simulation results show that the proposed method has better performance not only in the naturalness of the composite video but also in computational time.
In this paper, we propose a novel seamless video composition method based on shape matching and Poisson equation. Video composition method consists of video segmentation process and video blending process. In the video segmentation process, the user first sets a trimap for the first frame, and then performs a grab-cut algorithm. Next, considering that the performance of video segmentation may be reduced if the color, brightness and texture of the object and the background are similar, the object region segmented in the current frame is corrected through shape matching between the objects of the current frame and the previous frame. In the video blending process, the object of source video and the background of target video are blended seamlessly using Poisson equation, and the object is located according to the movement path set by the user. Simulation results show that the proposed method has better performance not only in the naturalness of the composite video but also in computational time.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
슈퍼 화소는 그림 4와 같이 영상을 화소들의 색상, 밝기 정보를 이용하여 세밀하게분할하는 것을 의미한다. 본 논문에서는 객체를 포함하는 마스크 영역에 대해 슈퍼 화소들을 추출한다. 이 때 각 슈퍼 화소들의 경계 정보를 알 수 있다.
본 논문에서는 다양한 영상 콘텐츠의 제작에 활용될 수 있는 효율적인 영상 합성 기법을 제안하였다. 영상분할 과정에서는 형태 정합 기법을 도입하여 기존 그래프 기반 방식들의 성능을 보완하였다.
본 논문에서는 정지영상 합성 방식을 기반으로 새로운동영상 합성 기법을 제안한다. 동영상 합성은 소스 동영상에서 추출한 객체를 목표 동영상에 설정한 움직임 경로에 따라 조합하여 합성 동영상을 생성하는 방식으로 이루어진다.
본 논문에서는 형태 정합 및 포아송 방정식을 기반으로 합성 영상의 화질, 영상 합성에 따른 계산량 등에서 우수성을 갖는 효율적인 동영상 합성 방법을 제시한다. 객체와 배경의 색상, 밝기 등이 유사할 경우 영상 분할의 성능이 감소될 수 있음을 감안하여, 현재 프레임과 이전 프레임 객체들 간의 형태 정합(shape matching)을통해 영상 분할된 객체를 보정한다.
제안 방법
일반적으로 영상분할 영역은 소스 영상에 3 영역 지도를 도시함으로써 설정된다. 3 영역 지도는 그림 2 (a)와 같이 절대 전경, 절대 배경, 전경과 배경의 혼합 영역인 불확실 영역으로 구성되며, 사용자는 절대 전경 영역과 절대 배경 영역을 설정하고 그 외 불확실 영역에 대해 영상 분할 알고리즘을 통해 정밀한 객체 경계를 추출한다. 그림 2 (a) 는 3 영역 지도를 설정한 예이며, 그림 2 (b)는 불확실영역에 대해 grab cut 알고리즘을 적용하여 생성된 영상분할 마스크이다.
소스 동영상의 첫 번째 프레임 이후의 프레임들에서는 이전 프레임에서 설정된 객체 영역에 대한 광류를 계산한다. 그리고 생성된 광류 속도 벡터를 이용하여 현재 프레임에서의 객체 영역을 설정하고, 이 객체 영역의 인접 영역을 불확실 영역으로 설정하여 영상 분할 알고리즘을 적용함으로써 영상 분할된 객체를 추출한다. 목표 동영상에서는 초기 설정된 객체 움직임 경로에서 해당 프레임의 위치 정보를 추출한 후, 소스 동영상에서 추출된 객체를 조합함으로써 합성 동영상을 생성한다.
소스 동영상의 첫 번째 프레임에서 3 영역 지도를 설정하고, 이어서 목표 동영상의 첫 번째 프레임에서는 소스 동영상의 객체가 위치할 움직임 경로를 설정한다. 그리고 영상 분할된 객체를 목표 동영상의 경로에 배치함으로써 합성 동영상을 생성한다. 소스 동영상의 첫 번째 프레임 이후의 프레임들에서는 이전 프레임에서 설정된 객체 영역에 대한 광류를 계산한다.
이전 프레임에서 추출된 객체와 현재 프레임과의 광류를 측정하여 현재 프레임에서의 객체 위치를 추정한다. 그리고 추정된 위치를 기반으로 3 영역 지도 형성 및 영상 분할을 수행한 후 현재 프레임의 객체와 이전 프레임의 객체 간의 형태적 유사성을 검사한다. 그리고 형태적 유사성이 미리 설정한 임계값보다 낮을 경우 현재 프레임에 대한 영상 분할이 정확하지 않은 것으로 판단하고, 영상 분할의 정확도를 향상시키기 위해 형태 정합을 수행한다.
이 때 각 슈퍼 화소들의 경계 정보를 알 수 있다. 이어서 grab cut 알고리즘을 통해 영상 분할된 객체의 경계에 존재하는 각 슈퍼 화소를 하나씩 영상 분할된 영역에 삽입 및 삭제시키면서, 이 때 생성된 영상 분할 영역과 이전 프레임의 영상 분할 영역과의 유사성을 검사한다. 그리고슈퍼 화소를 삽입 또는 삭제할 경우 유사성이 임계값보다 같거나 높을 경우, 해당 슈퍼 화소를 영상 분할 영역에 삽입 또는 삭제한 후 영상 분할 과정을 종료한다.
성능/효과
Chen 등의 연구는 다소 우수한 화질의 합성 영상을 생성할 수 있으나, 소스 동영상과 목표 동영상의 특성에 관한 사용자의 사전 지식이 필요할 뿐 아니라 동영상 합성 중 사용자의 개입이 필요하며 매우 긴 수행 시간이 요구되는 특징이 있다. 이에 반해 본 논문의 연구는 형태 정합을 통해 영상 분할의 성능을 개선하며, 첫 프레임을 제외한 나머지 프레임들에서 사용자의 개입이 필요 없을 뿐 아니라 수행 시간이 짧다는 특징을 가진다.
그리고 소스 동영상에서 추출된 객체의 움직임 경로와 객체가 목표 동영상에 삽입되는 프레임 구간을 사용자가 임의로 설정할 수 있도록 하였다. 특히 본 논문에서 제안된 방식은 첫 번째 프레임을 제외한 나머지 프레임들의 영상 합성에 사용자의 개입이 요구되지 않으며, 일반 사용자도 영상 합성을 수월하게 할 수 있다는 장점을 가진다.
후속연구
향후 합성 영상의 자연성 향상을 위해, 목표 영상의 배경과 합성된 객체의 밝기(intensity), 채도, 블러링 정도 등을 일치시키고, 또한 움직임 경로 상의 객체 노출 및 폐색(occlusion) 영역을 설정하는 과정이 요구된다.
질의응답
핵심어
질문
논문에서 추출한 답변
영상 합성의 구성 요소는 무엇인가?
소스(source) 영상의 객체를 목표 영상에 조합하여 새로운 합성 영상을 생성하는 영상 합성 기술은 디지털 영상의 편집, 인터랙티브 콘텐츠의 저작, 기존 영상의 재활용을 통한 새로운 영상의 생성 등 다양한 목적으로 활용될 수 있다. 영상 합성은 영상 분할(image segmentation) 과정과 영상 조합(image blending) 과정으로 구성된다. 영상 분할은 전경(객체)과 배경을 분리하는 과정이며, 영상 조합은 소스 영상에서 영상 분할된 객체를 목표 영상의 원하는 위치에 삽입하는 과정을 의미한다.
영상 조합이란 무엇인가?
영상 합성은 영상 분할(image segmentation) 과정과 영상 조합(image blending) 과정으로 구성된다. 영상 분할은 전경(객체)과 배경을 분리하는 과정이며, 영상 조합은 소스 영상에서 영상 분할된 객체를 목표 영상의 원하는 위치에 삽입하는 과정을 의미한다. 영상분할 과정에서 객체와 배경의 특성이 유사하거나 또는 비디오 영상에서 객체 형태가 변화할 경우 객체와 배경의 완벽한 분리가 쉽지 않은 것으로 알려져 있다.
알파 블랜딩 방법의 단점은 무엇인가?
영상 조합을 위한 가장 간단한 방식은 알파 블랜딩(alpha blending) 방법이다. 이 방법은 알고리즘이 간단하다는 장점을 있으나, 소스 영상의 객체와 목표 영상이 조명 조건, 텍스쳐, 색상 등에서 차이가 많을 경우 조합된 영상의 경계에서 이음매(seam)가 발생한다는 단점이 있다. 최근 이와 같은 이음매의 발생을 억제하는 새로운 방법들이 고안되고 있다[6-12].
참고문헌 (12)
J. Wang, P. Bhat, R. A. Colburn, M. Agrawala, and M. F. Cohen, "Interactive Video Cutout," ACM SIGGRAPH 2005, pp. 585-594, July 2005.
P. F. Felzenszwalb and D. P. Huttenlocher, "Efficient Graph-Based Image Segmentation," International Journal of Computer Vision, vol. 59, no. 2, pp. 167-181, January 2004.
C. J. Armstrong, B. L. Price, and W. A. Barrett, "Interactive Segmentation of Image Volumes with Live Surface," Computer Graphics, vol. 31, no. 2, pp. 212-229, February 2007.
X. Bai, J. Wang, D. Simons, and G. Sapiro, "Video Snapcut: Robust Video Object Cutout Using Localized Classifiers," ACM Transactions on Graphics, vol. 28, no. 3, pp. 1-11, July 2009.
M. Grundmann and V. Kwatra, "Efficient Hierarchical Graph-Based Video Segmentation," [Internet]. Available: https://www.cc.gatech.edu/cpl/projects/videosegmentation/.
T. Chen, J. Y. Zhu, A. Shamir, and S.M. Hu, "Motion-Aware Gradient Domain Video Composition," IEEE Transactions on Image Processing, vol. 22, no. 7, pp. 2532-2544, July 2013.
K. F. Hussain and R. M. Kamel, "Efficient Poisson Image Editing," Electronic Letters on Computer Vision and Image Analysis, vol. 14, no. 2, pp. 45-57, December 2015.
Richard J. Radke, Computer Vision for Visual Effects, Cambridge University Press, New York, 2013.
M. Afifi, K. F. Hussain, H. M. Ibrahim, and N. M. Omar, "Video Face Replacement System Using a Modified Poisson Blending Technique," International Symposium on Intelligent Signal Processing and Communication Systems, pp.1-5, December 2014.
I. S. Sevcenco and P. Agathoklis, "Video Editing in Gradient Domain Using a Wavelet based 3-D Reconstruction Algorithm and an Iterative Poisson Solver," IEEE Pacific Rim Conference on Communications, Computers and Signal Processing, pp. 205-209, August 2015.
M. C. Jeong, S. R. Kim, and H. S. Kang, "Super-resolution Reconstruction Method for Plenoptic Images based on Reliability of Disparity," Journal of the Korea Institute of Information and Communication Engineering, vol. 22, no. 3, pp.425-433, March 2018.
N. Arora, M. Martolia, and A. Ashok, "A Comparative Study of the Image Registration Process on the Multimodal Medical Images," Asia-pacific Journal of Convergent Research Interchange, vol. 3, no. 1, pp.1-17, March 2017.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.