[논문]패치 외삽을 이용한 효과적인 예제기반 영상 인페인팅

김진주; 이시웅

doi:10.5392/jkca.2014.14.02.001

[국내논문] 패치 외삽을 이용한 효과적인 예제기반 영상 인페인팅
Effective Exemplar-Based Image Inpainting Using Patch Extrapolation 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.14 no.2, 2014년, pp.1 - 9

김진주 (한밭대학교 정보통신전문대학원) , 이시웅 (한밭대학교 정보통신전문대학원)

초록
AI-Helper

영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다. 제안 방식은 우선순위가 결정된 패치에 대해 패치 내 이미 알고 있는 영역의 화소 값을 이용하여 패치 내 비어있는 영역의 화소 값을 외삽 방식으로 예측치를 구하여 채운 후 유사 패치를 탐색한다. 실험 결과를 통해 제안방식이 기존 예제기반 인페인팅 방식에 비해 자연스러운 결과 영상을 얻을 수 있음을 보여준다.

Abstract ▼ AI-Helper

Image inpainting is the widely used technique to restore a damaged region or to fill a hole in an image. The exemplar-based technique effectively generates new texture by copying colour values of the most correlated patch in the source into the empty region of the current patch. In traditional exemplar-based synthesis, the patch correlation is computed using only the already filled pixels of the current patch. Thus, by ignoring the correlation between the hole regions of the two patches, an undesirable patch which is highly correlated with the current patch in the already filled area but considerably dissimilar in the area to be filled can be selected, which results in bad texture propagation. To avoid such problems, a new exemplar-based inpainting method using patch extrapolation is proposed. The empty part of the current patch is extrapolated beforehand, and then the complete patch is used for finding its exemplar. Experimental results show that the proposed method provides more natural synthesis results than the conventional ones.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 문제를 해결하기 위해 패치선택 문제를 개선한 방식을 제안한다. 복원될 패치의 알고 있는 영역의 화소 값으로부터 비어있는 영역의 화소 값을 예측한다.
본 논문에서는 이러한 문제점을 해결하기 위해 복원될 패치 내에 비어있는 영역의 화소 값을 외삽 방식을 이용하여 예측치를 구해 채운 후 후보 패치를 탐색하는 방식을 제안한다.
본 논문에서는 잘못된 패치의 선택 오류를 줄이기 위해 복원될 패치의 손상된 영역의 화소 값을 예측하여 외삽으로 채운 후 유사 패치를 선택하는 방식을 제안하였다. 제안 방식에서는 복원될 패치의 알고 있는 영역의 화소 값을 이용하여 비어있는 영역의 화소 값을 예측하여 채운 후 채워진 패치를 이용하여 유사 패치를 탐색하게 된다.

제안 방법

본 논문에서는 이러한 문제를 해결하기 위해 패치선택 문제를 개선한 방식을 제안한다. 복원될 패치의 알고 있는 영역의 화소 값으로부터 비어있는 영역의 화소 값을 예측한다. 예측한 화소 값을 패치의 비어있는 영역에 채워 넣은 후 유사한 패치를 탐색하게 된다.
I_q는 Ψ_q의 화소의 밝기 값으로 p와 대응되는 화소의 밝기 값이다. 즉 두 패치의 화소들 중 복원될 패치의 이미 알고 있는 영역의 화소 값을 이용하여 후보 패치와 오차를 구한다. 모든 후보 패치에 대해 오차를 구한 후 가장 작은 오차를 갖는 패치Ψ_q^{^}를 찾는다.
제안 방식에서는 복원될 패치의 비어있는 영역을 패치의 알고 있는 영역에 속한 화소 값들의 평균으로 채운다. 즉 복원될 패치의 알고 있는 영역의 평균 화소 값을 POCS 루프의 초기 값으로 설정한다.
본 실험에서는 영상에서 특정 물체를 수동으로 제거하였으며 제거한 영역의 마스크 영상을 이용하여 영상을 복원한다. [그림 6-11]은 제안 방식과 기존 방식의 결과를 보인다.
본 논문에서는 잘못된 패치의 선택 오류를 줄이기 위해 복원될 패치의 손상된 영역의 화소 값을 예측하여 외삽으로 채운 후 유사 패치를 선택하는 방식을 제안하였다. 제안 방식에서는 복원될 패치의 알고 있는 영역의 화소 값을 이용하여 비어있는 영역의 화소 값을 예측하여 채운 후 채워진 패치를 이용하여 유사 패치를 탐색하게 된다.

데이터처리

Ψp^에 속한 화소 중 알고 있는 영역에 포함된 화소와 채워진 영역에 포함된 화소들을 후보 패치 Ψq의 각각 대응되는 화소와 평균 오차합(mean squared error)을 구한다.

성능/효과

예측한 화소 값을 패치의 비어있는 영역에 채워 넣은 후 유사한 패치를 탐색하게 된다. 제안 방식은 패치의 일부가 아닌 전체의 화소 값을 비교하여 유사 패치를 탐색하게 되므로 잘못된 패치 선택의 오류를 줄일 수 있다.
복원될 패치의 알고 있는 영역의 화소 값으로 부터 상관성을 갖는 값을 예측하여 비어있는 영역을 채운 후 유사한 패치를 탐색하게 되면 패치 전체 영역의 값으로 비교하게 되므로 상관성이 없는 화소 값을 포함한 패치가 선택되는 오류가 줄어들게 된다. 제안 방식은 기존 방식에 비해 패치 선택의 오류를 줄일 수 있으며 잘못 선택된 패치들에 의해 발생하는 오차 화소 값의 확산 등의 부자연스러운 효과를 줄일 수 있다.
수레가 놓인 들판은 불규칙한 질감을 갖는다. 기존 방식을 이용한 결과 영상은 패치의 알고 있는 영역만을 이용하여 유사패치를 탐색하여 복원하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값이 포함된 패치가 선택되면서 부자연스럽게 복원되었다. 잘못된 패치가 선택되어 채워진 경우 잘못 채워진 부분 알고 있는 영역이 되므로 이를 포함한 패치로부터 유사 패치를 탐색하여 복원하게 되면 잘못 복원된 영역이 확산되게 된다.
또한 들판과 산의 연결 부분에서도 잘못된 패치가 선택되면서 자연스럽지 못하게 복원되었다. 반면 제안 방식은 산등성이의 곡선이 기존 방법에 비해 비교적 자연스럽게 복원되고 들판의 질감 또한 자연스럽게 복원되었다.
하지만 제안 방식을 이용한 결과 영상에서는 나무 사이에 건물의 질감이 포함되지 않고 자연스럽게 복원되었으며, 호수에도 나무가 번져 복원되지 않아 좀 더 자연스러운 결과 영상을 얻을 수 있음을 확인하였다
기존 예제기반 인페인팅의 경우 곡선의 구조는 완전히 복원하지 못한다. 기존 방식으로 복원한 결과 들판의 질감이 호수 부분으로 번져나가면서 호수 경계 영역이 자연스럽지 못하게 복원되었다. 제안 방식의 결과 영상은 호수의 경계 부분이 비교적 자연스럽게 복원되었다.
기존 방식으로 복원한 결과 들판의 질감이 호수 부분으로 번져나가면서 호수 경계 영역이 자연스럽지 못하게 복원되었다. 제안 방식의 결과 영상은 호수의 경계 부분이 비교적 자연스럽게 복원되었다.
[그림 11]은 산과 들판 배경의 일부를 제거한 후 복원한 영상이다. 산과 들판의 경계 부분에서 제안방식이 기존방식보다 좀 더 자연스럽게 복원되었음을 알 수 있다. [표 1]은 [그림 10]과 [그림 11]의 객관적 화질평가 척도를 나타낸 것으로 PSNR을 이용하여 계산하였다.
[표 1]은 [그림 10]과 [그림 11]의 객관적 화질평가 척도를 나타낸 것으로 PSNR을 이용하여 계산하였다. 제안 방식이 기존 방식보다 좀 더 유사하게 복원됨을 확인할 수 있다.
다양한 영상에 대해 실험한 결과 제안 방식이 기존 예제기반 인페인팅 방식에 비해 훨씬 자연스러운 결과 영상을 얻을 수 있음을 확인하였다.

후속연구

하지만 두 개 이상의 교차하는 선형 구조를 갖거나 비선형 구조를 갖는 영상에 대해 복원될 경우 구조의 연결성이 자연스럽지 않은 문제점이 발생하게 된다. 두 개 이상의 교차하는 선형구조 혹은, 비선형 구조를 갖거나 질감이 다양한 영상에서 부자연스럽게 복원되는 문제점을 개선하기 위한 연구가 필요하다고 판단되어 추후 과제로 남긴다.

질의응답

핵심어	질문	논문에서 추출한 답변
	예제기반 인페인팅은 어떠한 부분으로 구성되어 있는가?	영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다.
	영상 인페인팅이란?	영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다.
	기존 예제기반 인페인팅의 문제점은 무엇인가?	기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다.

참고문헌 (13)

Lin Liang, Ce Liu, Ying-Qing Xu, and Baining Guo, "Real-Time Texture Synthesis by Patch-Based Sampling," ACM Transaction on Graphics, Vol.20, No.3, pp.127-150, 2001.

상세보기
Jiri Grim, Petr Somol, Pavel Pudil, IrenaMikova, and Miroslav Malec, "Texture Oriented Image Inpainting based on Local Statistical Model," Signal and Image Processing, 2008.
M. Bertalmio, L. Vese, G. Sapiro, and S. Osher. "Simultaneous Structure and Texture Image Inpainting," IEEE Trans. Image Processing, Vol.12, No.8, pp.882-889, 2003.

상세보기
M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, "Image Inpainting," Proceedings of SIGGRAPH, pp.417-424, 2000.
A. Telea, "An Image Inpainting Technique Based on the Fast Marching Method," Journal of Graphics Tool, Vol.9, No.1, pp.25-36, 2003.
M. Bertalmio, A. L. Bertozzi, and G. Sapiro, "Navier-stokes, Fluid Dynamics and Image and Video Inpainting," Intl., Proc. Conf. Comp. Vision Pattern Rec., pp.355-362, 2001.
A. Criminisi, P. Perez, and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting," IEEE Trans. Image Processing, Vol.13, No.9, pp.1200-1212, 2004.

상세보기
Ji-Ying Wu and Qiu-Qi Ruan, "A Novel Exemplar-based Image Completion Model," Journal of Information Science and Engineering, Vol.25, pp.481-497, 2009.

상세보기
Q. Chen, Y. Zhang, and Y. Liu, "Image inpainting with improved exemplar-based approach," Multimedia Content Analysis and Mining 2007, Lecture Notes in Computer Science, Vol.4577, pp.242-251, 2007.
Alexander Wong and Jeff Orchard, "A Nonlocal-Means Approach to Exemplar-based Inpainting," IEEE Intl. Conf. on Image Processing, pp.2600-2603, 2008.
M. Kim, S. W. Lee, and S. D. Kim, "Spatial error concealment method based on POCS with a correlation-based initial block," IET Image Processing, Vol.1, No.2, pp.134-140, 2007.

상세보기
J. H. Choi and C. H. Hahm, "An Exemplar-based Image Inpainting Method with Search Region Prior," IEEE 2nd Global Conference on Consumer Electronics, pp.68-71, 2013.
D. K. Lee and R. H. Park, "Robust exemplar-based inpainting algorithm using region segmentation," IEEE Transactions on Consumer Electronics, Vol.58, pp.553-561, 2012.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증