본 논문에서는 포아송 영상 편집을 이용한 스테레오 3차원 영상 합성 방법을 제안한다. 3차원 영상을 만들 때 객체의 깊이 값을 고려하지 않고 색상 영상을 합성하면 매우 부자연스러운 결과를 얻는다. 본 논문에서는 그랩컷 방법을 사용하여 추출한 전경 객체를 새로운 배경 영상에 포함시켜 자연스러운 2차원 영상을 만든다. 제안된 방법에서는 기하학적인 위치뿐 아니라 색상 톤도 고려하여 자연스러운 영상을 합성한 후, 합성된 영상의 경계선 주변에 블러링을 수행하여 전경과 배경이 잘 어우러지게 만든다. 이와 더불어, 임의로 주어진 객체의 깊이 값을 이용하여 추출된 객체의 변위를 구하고, 오른쪽 색상 영상과 깊이 영상을 자동으로 합성한다. 실험을 통해, 제안하는 방법이 자연스러운 스테레오 3차원 영상을 생성할 수 있음을 확인했다.
본 논문에서는 포아송 영상 편집을 이용한 스테레오 3차원 영상 합성 방법을 제안한다. 3차원 영상을 만들 때 객체의 깊이 값을 고려하지 않고 색상 영상을 합성하면 매우 부자연스러운 결과를 얻는다. 본 논문에서는 그랩컷 방법을 사용하여 추출한 전경 객체를 새로운 배경 영상에 포함시켜 자연스러운 2차원 영상을 만든다. 제안된 방법에서는 기하학적인 위치뿐 아니라 색상 톤도 고려하여 자연스러운 영상을 합성한 후, 합성된 영상의 경계선 주변에 블러링을 수행하여 전경과 배경이 잘 어우러지게 만든다. 이와 더불어, 임의로 주어진 객체의 깊이 값을 이용하여 추출된 객체의 변위를 구하고, 오른쪽 색상 영상과 깊이 영상을 자동으로 합성한다. 실험을 통해, 제안하는 방법이 자연스러운 스테레오 3차원 영상을 생성할 수 있음을 확인했다.
In this paper, we propose a stereo image composition method based on Poisson image editing. If we synthesize images without considering their depth values, it may lead to unwanted consequences. When we segment an image into its background and foreground regions using Grabcut, we take into account th...
In this paper, we propose a stereo image composition method based on Poisson image editing. If we synthesize images without considering their depth values, it may lead to unwanted consequences. When we segment an image into its background and foreground regions using Grabcut, we take into account their geometric positions to mix color tones; thus, the image is composited more naturally. After synthesizing images, we apply a blurring operation around object boundaries; then, the foreground object and background are composited more seamlessly. In addition, we can adjust the distance of the object by setting arbitrary depth values and generating right color and depth images automatically. Experimental results show that the proposed stereo image composition method provides naturally synthesized stereo images. Improved portions were subjectively confirmed as well.
In this paper, we propose a stereo image composition method based on Poisson image editing. If we synthesize images without considering their depth values, it may lead to unwanted consequences. When we segment an image into its background and foreground regions using Grabcut, we take into account their geometric positions to mix color tones; thus, the image is composited more naturally. After synthesizing images, we apply a blurring operation around object boundaries; then, the foreground object and background are composited more seamlessly. In addition, we can adjust the distance of the object by setting arbitrary depth values and generating right color and depth images automatically. Experimental results show that the proposed stereo image composition method provides naturally synthesized stereo images. Improved portions were subjectively confirmed as well.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 논문에서는 고품질의 스테레오 영상을 자연스럽게 합성하기 위한 포아송 영상 편집 기술을 설명했다. 본 논문에서 제안한 방법은 이진 세그멘테이션을 수행하여 객체를 영상에서 추출하고, 임의로 깊이 값을 정해 추출된 객체를 좌영상에서 우영상으로 옮겼다.
이 논문에서는 단일 색상영상에서 관심이 있는 전경을 추출하여 스테레오 영상에 자연스럽게 합성하는 방법을 제안했다. 배경영상은 스테레오 색상 정보와 그에 상응하는 깊이 정보를 포함한다.
가설 설정
그랩컷으로 추출된 전경영상에 임의의 깊이 값 (0~255)을 넣고 단일 색상영상과 단일 깊이영상에 합성한다. 단, 배경영상은 깊이영상이 있다는 가정 하에 합성한다.
제안 방법
스테레오 영상의 깊이 값과 사용자가 임의로 정한 깊이 값을 비교하여 영상 안에서의 전경의 위치를 예측했고, 포아송 영상 편집 방법을 적용하여 전경과 배경을 합성했다. 또한, 경계선 영역에 블러링을 수행하여 전경과 배경 주변에 발생하는 계단화 현상을 감소시켰다. 실험적으로, 제안한 방법은 기존의 스테레오 영상 합성 방법에 비해 좀더 자연스러운 결과를 얻을 수 있었다.
좌우영상에서 각각 깊이 정보를 이용한 포아송 영상 편집을 적용하여 전경과 배경을 합성한다. 보다 자연스러운 영상 합성을 위해서 후처리 과정으로 경계 영역을 흐리게 하는 블러링 방법을 추가했다.
이 논문에서는 고품질의 스테레오 영상을 자연스럽게 합성하기 위한 포아송 영상 편집 기술을 설명했다. 본 논문에서 제안한 방법은 이진 세그멘테이션을 수행하여 객체를 영상에서 추출하고, 임의로 깊이 값을 정해 추출된 객체를 좌영상에서 우영상으로 옮겼다. 스테레오 영상의 깊이 값과 사용자가 임의로 정한 깊이 값을 비교하여 영상 안에서의 전경의 위치를 예측했고, 포아송 영상 편집 방법을 적용하여 전경과 배경을 합성했다.
그림 1은 이 논문에서 제안하는 알고리즘의 전체 과정을 보여준다. 사용자는 그랩컷 알고리즘을 사용하여 단일 색상영상의 전경과 배경을 분리한 후, 추출된 전경의 영역과 깊이 값을 이용하여 배경의 깊이영상과 같이 합성한다. 단일 색상영상을 합성할 때 배경의 깊이 값을 이용하여 포아송 영상 편집을 적용하며, 합성된 영상에 전경의 경계선 영역을 얻어 후처리 작업을 수행한다.
본 논문에서 제안한 방법은 이진 세그멘테이션을 수행하여 객체를 영상에서 추출하고, 임의로 깊이 값을 정해 추출된 객체를 좌영상에서 우영상으로 옮겼다. 스테레오 영상의 깊이 값과 사용자가 임의로 정한 깊이 값을 비교하여 영상 안에서의 전경의 위치를 예측했고, 포아송 영상 편집 방법을 적용하여 전경과 배경을 합성했다. 또한, 경계선 영역에 블러링을 수행하여 전경과 배경 주변에 발생하는 계단화 현상을 감소시켰다.
배경영상은 스테레오 색상 정보와 그에 상응하는 깊이 정보를 포함한다. 이 논문에서 제안하는 방법은 그랩컷을 활용하여 객체를 추출하고, 임의로 깊이 값을 정하여 추출된 객체를 우영상으로 옮긴다. 좌우영상에서 각각 깊이 정보를 이용한 포아송 영상 편집을 적용하여 전경과 배경을 합성한다.
이 논문에서는 경계선 영역을 추출한 뒤 침식 마스크와 팽창 마스크를 사용하여 모폴로지 영상처리를 적용했다. 그림 6은 경계선 영역 블러링을 활용한 영상과 활용하지 않은 영상을 비교한 것이다.
이 논문에서는 스테레오 색상영상에 스테레오 정합 방법을 적용하여 깊이영상을 구할 때 좌영상을 기준 영상으로 삼는다. 추출된 전경영상에 임의의 깊이 값을 선택하여 좌영상에서 우영상으로 전경을 이동시킨다.
그랩컷을 적용할 때 전경 주위에 잡음이 생긴다. 전경 주위의 잡음을 제거하기 위해 마스크를 만들어 문턱치 기법과 모폴로지 처리인 침식(Erosion)과 팽창(Dilation)을 사용했다. 침식을 실행한 후 팽창의 순서로 모폴로지 기법을 영상에 적용한다.
제안하는 영상 합성 방법을 사용하기 위해서는 색상영상 뿐만 아니라 깊이영상이 필요하다. 좌우영상이 주어지면 스테레오 정합을 이용하여 깊이 정보를 구할 수 있다.
이 논문에서 제안하는 방법은 그랩컷을 활용하여 객체를 추출하고, 임의로 깊이 값을 정하여 추출된 객체를 우영상으로 옮긴다. 좌우영상에서 각각 깊이 정보를 이용한 포아송 영상 편집을 적용하여 전경과 배경을 합성한다. 보다 자연스러운 영상 합성을 위해서 후처리 과정으로 경계 영역을 흐리게 하는 블러링 방법을 추가했다.
이론/모형
그림 4는 식 (12)에 대한 기호를 보여준다. 식 (10)과 식(11), 그리고 식 (12)를 해결하기 위해 본 논문에서는 자코비 반복법(Jacobi method)을 활용해서 해의 근사값을 구한다. 자코비 반복법은 Ax=b 형태의 선형 연립 방정식을 구하는 방법 중의 하나이다.
배경영상의 각 화소에서 선택된 화소와의 변화도 값을 뺀 값과 전경영상의 변화도가 같을 때 해의 근사값을 찾아서 배경과 전경이 자연스럽게 합성되도록 한다. 입력은 2차원 영상이고 이산적인 성질을 가지고 있기 때문에 이산 포아송 방정식을 이용한다. 식 (10)은 이산 포아송 방정식이다.
합성된 영상의 경계선 영역을 얻고 경계선 영역에 모폴로지(Morphology) 영상처리 기법인 팽창(Dilatation)을 적용한다. 포아송영상 편집을 수행한 영상에서 얻어진 영역의 좌표에 평균값 필터(Mean filter)를 이용한다. 따라서 배경과 전경의 색상톤이 어우러지게 되고 계단화 현상이 제거된다.
포아송 영상 편집은 합성된 부분에서 경계선에 대한 철저한 처리를 해 주지만, 좀 더 자연스러운 영상을 합성하기 위해서 전경의 외곽과 배경이 만나는 경계선 영역에 블러링을 적용한다. 합성된 영상의 경계선 영역을 얻고 경계선 영역에 모폴로지(Morphology) 영상처리 기법인 팽창(Dilatation)을 적용한다. 포아송영상 편집을 수행한 영상에서 얻어진 영역의 좌표에 평균값 필터(Mean filter)를 이용한다.
성능/효과
또한, 경계선 영역에 블러링을 수행하여 전경과 배경 주변에 발생하는 계단화 현상을 감소시켰다. 실험적으로, 제안한 방법은 기존의 스테레오 영상 합성 방법에 비해 좀더 자연스러운 결과를 얻을 수 있었다.
질의응답
핵심어
질문
논문에서 추출한 답변
포아송 영상 편집 방법이란?
Patrick Pérez가 제안한 포아송 영상 편집 방법 (Poisson Image Editing)은 배경영상(Background image)의 관심영역(Region of Interest: ROI)으로 전경영상(Foreground image)의 일부분을 자연스럽게 붙여 넣는 영상보간 기법으로, 이차 편미분 방정식인 포아송 방정식을 사용한다[1,2]. 비록 포아송 영상 편집 방법의 성능이 우수하지만, 몇 가지 약점이 있다.
포아송 영상 편집 방법은 어떠한 단점이 있는가?
비록 포아송 영상 편집 방법의 성능이 우수하지만, 몇 가지 약점이 있다. 만약 합성하려는 배경영상의 색상이 복잡하거나 배경과 전경의 색상 차이가 크면 좋은 합성 결과를 얻을 수 없다. Rother가 제시한 그랩컷은 그래프 컷(Graph cut) 방법을 이용한 이진영상 분할 방법이다[3].
스테레오 정합 방법은 어떠한 방법으로 최적의 변위를 구하는가?
스테레오 정합 방법은 화소의 변위를 계산하기 위해 정합 에너지 함수를 정의하고, 정합 오차를 계산하면서 정합 오차가 가장 작은 값을 가질 때의 최적의 변위를 구한다. 보통 스테레오 정합 에너지 함수는 두가지 요소를 포함하는데, 첫 번째는 색상의 유사성이고, 두 번째는 주변 화소들과의 변위 변화도이다.
참고문헌 (6)
P. Perez, M. Gangnet, and A. Blake, "Poisson image editing," in Proc. ACM SIGGRAPH, vol. 22, no. 3, pp. 313-318, Jul. 2003.
X. Li, "The study on digital image composition by water-wave image," M.S. Thesis, Sungsil Univ., Korea, 2008.
C. Rother, V. Kolomogorov, and A. Blake, "Grabcut-interactive foreground extraction using iterated graph cuts," in Proc. ACM SIGGRAPH, vol. 23, no. 3, pp. 309-314, Aug. 2004.
R. Jain, R. Kasturi, and B. G. Schunck, Machine vision, NY: McGraw-Hill, 1995.
E. Baek and Y. Ho, "Image composition for object based on poisson image editing," in Proc. KSPC Conf., vol. 26, pp. 69-72, 2013.
J. Jia, J. Sun, C. Tang, and H. Shum, "Drag-and-drop pasting," in Proc. ACM Trans. Graphics (TOG), vol. 25, no. 3, pp. 631-637, Jul. 2006.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.