선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 세 번째 방식으로 특정 물체를 제거하여 배경을 자연스럽게 복원한 후 원래 물체와 유사한 다른 물체를 해당 위치에 배치하게 되면 시각적으로도 자연스러운 유사 영상을 생성할 수 있다. 따라서 본 논문에서는 세 번째 방식으로 특정 물체를 제거하는 기법에 주목한다. 특정 물체를 제거하여 틀림그림찾기 영상의 생성을 자동화하는데 표본 기반 영상 인페인팅기법을 적용한다.
- 영상 인페인팅 기법 중 본 논문에서 목표로 하는 물체 제거에 가장 널리 쓰이는 기법은 표본 기반 영상 인페인팅 기술이다. 본 기반 영상 인페인팅 기술은 영상에 큰 손상이 발생했을 때 주변의 반복되는 패턴을 자연스럽게 복원하거나 손상 영역에 걸쳐있는 물체의 윤곽선을 우선적으로 복원하여 영상 내 물체의 모양을 복원하는 것을 목표로 한다. 더 나아가서 영상의 피사체 중 필요가 없거나 있어서는 안 될 대상들을 영상의 손상으로 간주하고 영상을 복원하면서 대상 물체를 제거하는 역할을 한다.
- 본 논문에서는 Criminisi의 표본 기반 영상 인페인팅 기술을 이용하여 틀린그림찾기 게임의 영상 생성 과정을 자동화 하는 방법을 제안한다. 먼저 2장에서는 틀린그림찾기 게임 영상의 기존 생성 방법들에 대해서 설명하고 본 논문에서 다룰 대상을 정리한다.
- 본 논문에서는 표본 기반 영상 인페인팅을 이용하여 틀린그림찾기 게임 컨텐츠를 자동 생성하는 방법을 제안하였다. 실험을 통해 제안하는 방법이 틀린그림찾기 게임의 틀린그림 영역들과 게임 시간을 적절히 생성할 수 있음을 확인하였다.
제안 방법
- [Table 1]은 네 가지 실험에서 산출된 수치들을 나타내는 표이다. 각각 문제의 개수와 선택된 윈도우의 크기, 문제 크기를 의미하는 Si의 평균치, 산출된 게임 시간과 PSNR, MSSIM으로 구성되었다. PSNR과 MSSIM은 각각 Peak Signal-to-Noise Ratio의 약자와 Mean Structural Similarity Index Measurement의 약자로, PSNR이 높을수록 시각적으로 원본 영상과 유사하여 틀린 그림을 식별하기 어려움을 의미한다.
- 원본 영상의 크기는 598x616이고 윈도우 크기는 7이다. 두 번째 실험에서는 5개의 틀린그림 영역을 선정하였고 Td는 20초로, Hd는 0.5로 설정하였다. 게임 시간은 150.
- 옷깃 부분의 형태가 변화하는 형태로 수정되었다. 두 번째 틀린그림 영역은 나무의 도끼 자국으로 선정하였다. 깨끗하게 자국이 남은 원본의 그림에서 나무에 흠집만 난 상태로 수정되었다.
- 컨텐츠 생성자가 생성할 틀린 그림을 마킹하면 마킹된 영역은 1로, 마킹되지 않은 영역은 0으로 이진 영상으로 표현한다. 본 논문에서 제안하는 방법은 two-pass 알고리즘에 8-연결성을 이용하여 마킹한 영역의 개수를 n으로 설정한다.
- 설정이 완료된 후 count Objects 함수와 count Each Region Pixel 함수를 통해 바이너리 영상에서 two-pass 알고리즘을 이용하여 선택 영역의 개수 n과 각 영역에 속하는 화소수 {m}을 카운트 한다.
- 세 번째 실험 영상은 원본 영상의 크기가 223x139이고 윈도우 크기는 9이다. 세 번째 실험에서는 4개의 틀린그림 영역을 생성하였다. Td는 10초, Hd는 0.
- 원본 영상의 크기는 295x335이고 윈도우 크기는 9이다. 세 번째 실험에서는 6개의 틀린그림 영역을 선정하였고 Td는 두 번째 실험과 동일하게 20초, Hd는 0.5로 설정하였다. 게임 시간은 180.
- 본 논문에서 실험은 Microsoft Windows 7 64 비트 운영체제와 16GB RAM, Nvidia Geforce GTX 970 그래픽카드와 삼성 840PRO 256GB SSD의 환경에서 수행되었다. 실험은 C/C++언어를 기반으로 구현되었으며 MFC와 OpenCV 라이브러리를 이용하여 구현하였다. 실험은 다섯 개의 영상을 이용하여 수행하였다.
- 제안하는 방법은 먼저 입출력 모듈에서 영상을 입력받는 것으로 시작된다. 영상을 입력받은 후 이를 마킹 모듈에 전달하여 사용자가 영상의 특정 물체를 변형할 수 있도록 영역들을 지정한다. 사용 자는 영역 지정창에서 원본 영상에 직접 영역을 마킹한다.
- 제안하는 방법은 먼저 입출력 모듈에서 영상을 입력받는 것으로 시작된다. 영상을 입력받은 후 이를 마킹 모듈에 전달하여 사용자가 영상의 특정 물체를 변형할 수 있도록 영역들을 지정한다.
대상 데이터
- 네 번째 실험은 물 속 나무꾼 영상을 사용하였고 실험 결과가 [Fig. 10]에 있다. 세 번째 실험 영상은 원본 영상의 크기가 223x139이고 윈도우 크기는 9이다.
- 세 번째 틀린그림 영역은 영상 중앙 좌측의 붉은 색 캐릭터가 들고 있는 구슬로, 물체가 제거된 모양으로 수정되었다. 네 번째 틀린그림 영역은 영상 상단부 나무에 걸쳐있는 나비를 선정하였다. 나비는 제거되고 주변 나무의 형태가 복원되어 물체가 제거된 모양으로 수정되었다.
- 다섯 번째 실험은 두 소녀 영상을 사용하였고 실험 결과가 [Fig. 11]에 있다. 원본 영상의 크기가 258x257이고 선정된 게임 영상의 윈도우 크기는 7 이다.
- 두 번째 실험은 숲 속 동물들 영상을 사용하였고 실험 결과가 [Fig. 8]에 있다. 원본 영상의 크기는 598x616이고 윈도우 크기는 7이다.
- 솜털뭉치가 제거되고 모자의 모서리가 확장된 형태로 수정되었다. 두 번째 틀린 그림 영역은 영상의 중앙에 있는 노란색 전구의 내부로 선정하였다. 내부의 밝은 노란색 등이 제거되어 물체가 제거된 모양으로 수정되었다.
- 거미의 다리 한 개가 제거되는 형태로 수정되었다. 두 번째 틀린그림 영역은 중앙 캐릭터의 다리 문양을 선정하였다. 다리의 빨간색 무늬가 제거되고 검정색 윤곽선이 형성되어 형태가 변환된 모양으로 수정되었다.
- 본 논문에서 실험은 Microsoft Windows 7 64 비트 운영체제와 16GB RAM, Nvidia Geforce GTX 970 그래픽카드와 삼성 840PRO 256GB SSD의 환경에서 수행되었다. 실험은 C/C++언어를 기반으로 구현되었으며 MFC와 OpenCV 라이브러리를 이용하여 구현하였다.
- 인페인팅 모듈에서는 표본기반 인페인팅 기법을 사용하여 마킹된 영역에 유사그림을 채워서 틀린그림을 완성한다. 사용자는 채워진 영역들 중에서 적절한 후보영역들을 선택하여 최종 틀린그림들로 선정한다. 생성된 유사 영상은 입출력 모듈을 통해서 출력된다.
- 10]에 있다. 세 번째 실험 영상은 원본 영상의 크기가 223x139이고 윈도우 크기는 9이다. 세 번째 실험에서는 4개의 틀린그림 영역을 생성하였다.
- 세 번째 실험은 크리스마스 트리 영상을 사용하였고 실험 결과가 [Fig. 9]에 있다. 원본 영상의 크기는 295x335이고 윈도우 크기는 9이다.
- 내부의 밝은 노란색 등이 제거되어 물체가 제거된 모양으로 수정되었다. 세 번째 틀린그림 영역은 영상 좌측 하단의 병정인형 모자로 선정하였다. 흰색 버튼이 제거되면서 머리가 움푹 파인 형태로 수정되었다.
- 머리의 모형은 유지되고 눈썹은 제거된 형태로 수정되었다. 세 번째 틀린그림 영역은 오른쪽 소녀의 가운데 머릿결로 선정하였다. 소녀의 머릿결이 짧게 변화된 형태로 수정되었다.
- 실험은 다섯 개의 영상을 이용하여 수행하였다. 실험에 사용된 원본 영상들은 모두 인터넷에서 확보한 일반적인 카툰 영상들이다[13,14,15,16,17].
- 실험은 C/C++언어를 기반으로 구현되었으며 MFC와 OpenCV 라이브러리를 이용하여 구현하였다. 실험은 다섯 개의 영상을 이용하여 수행하였다. 실험에 사용된 원본 영상들은 모두 인터넷에서 확보한 일반적인 카툰 영상들이다[13,14,15,16,17].
- 9]에 있다. 원본 영상의 크기는 295x335이고 윈도우 크기는 9이다. 세 번째 실험에서는 6개의 틀린그림 영역을 선정하였고 Td는 두 번째 실험과 동일하게 20초, Hd는 0.
- 첫 번째 실험 결과는 숲 속 토끼 영상을 사용하였고 실험 결과가 [Fig. 7]에 있다 첫 번째 줄은 좌측부터 원본 영상, 마킹 영상, 생성된 영상을 의미한다. 두 번째 줄은 원본 영상에서 마킹된 부분을 확대한 영상이고 마지막 세 번째 줄은 생성된 영상에서 마킹된 부분을 확대한 영상이다.
- 첫 번째 실험 영상인 'rabbit in forest' 영상의 크기는 263x222이고, 윈도우 크기는 5이고, 틀린그림 영역은 총 5개이다.
- 틀린그림 영역 4개 중에서 첫 번째 틀린그림 영역은 쿠키의 초코칩으로 선정하였다. 쿠키를 담은 상자의 원형은 유지되고 쿠키는 제거되어 물체가 제거된 형태로 수정되었다.
- 틀린그림 영역 5개 중에서 첫 번째 틀린그림 영역은 영상 우측 하단 거미의 다리를 선정하였다. 거미의 다리 한 개가 제거되는 형태로 수정되었다.
- 틀린그림 영역 6개 중에서 첫 번째 틀린그림 영역은 우측 하단 산타클로스 인형의 모자 끝 솜털 뭉치로 선정하였다. 솜털뭉치가 제거되고 모자의 모서리가 확장된 형태로 수정되었다.
이론/모형
- 표본 기반 영상 인페인팅의 복원 품질을 결정하는 구성하는 두 번째 요소로는 영상 요소는 패치간 유사도 비교가 있다. Criminisi는 패치 간 유사도를 비교하기 위해 SSE(Sum of Squared Error)를 사용하였다[10]. ψp와 ψk간의 유사도는 n채널 영상의 경우 (eq.
- 따라서 본 논문에서는 세 번째 방식으로 특정 물체를 제거하는 기법에 주목한다. 특정 물체를 제거하여 틀림그림찾기 영상의 생성을 자동화하는데 표본 기반 영상 인페인팅기법을 적용한다.
성능/효과
- 세 번째 틀림그림 영역은 우측 상단 새의 우측 날개를 제거하는 형태로 수정되었다. 네 번째 틀림그림 영역은 새의 부리로, 부리가 위로 치솟은 형태에서 구부러진 형태로 수정되었다. 마지막 틀림그림 영역은 토끼의 귀 끝 돌출부로 돌출 모양을 완화시켜서 수정되었다.
- 우측으로 삐져나온 창틀 모서리가 제거되는 형태로 수정되었다. 다섯 번째 틀린그림 영역은 영상 좌측 창틀에 인접한 눈송이는 제거되고, 인접해있던 창틀은 복원되었다. 마지막 틀린그림 영역은 영상 중앙 상단의 빨간 공을 선정하였다.
- 나비는 제거되고 주변 나무의 형태가 복원되어 물체가 제거된 모양으로 수정되었다. 마지막 틀린그림 영역은 우측 상단의 나뭇잎과 나무가 겹쳐진 부분으로, 나무의 형상이 복원되고 나뭇잎의 분포가 좁아져서 형태가 변형된 모양으로 수정되었다.
- 다리의 빨간색 무늬가 제거되고 검정색 윤곽선이 형성되어 형태가 변환된 모양으로 수정되었다. 세 번째 틀린그림 영역은 영상 중앙 좌측의 붉은 색 캐릭터가 들고 있는 구슬로, 물체가 제거된 모양으로 수정되었다. 네 번째 틀린그림 영역은 영상 상단부 나무에 걸쳐있는 나비를 선정하였다.
- 두 번째 틀림 그림 영역은 토끼의 왼팔 팔꿈치로, 돌출부가 제거되는 형태로 수정되었다. 세 번째 틀림그림 영역은 우측 상단 새의 우측 날개를 제거하는 형태로 수정되었다. 네 번째 틀림그림 영역은 새의 부리로, 부리가 위로 치솟은 형태에서 구부러진 형태로 수정되었다.
- 본 논문에서는 표본 기반 영상 인페인팅을 이용하여 틀린그림찾기 게임 컨텐츠를 자동 생성하는 방법을 제안하였다. 실험을 통해 제안하는 방법이 틀린그림찾기 게임의 틀린그림 영역들과 게임 시간을 적절히 생성할 수 있음을 확인하였다. 한편 표본 기반 영상 인페인팅은 아직 숙련된 전문가만큼 시각적으로 완벽한 영상 합성을 수행하기엔 부족하다.
후속연구
- 틀림그림찾기 영상의 생성을 위한 세 가지 방식 중에서 세 번째 방식의 기술 수준이 가장 높다. 세 번째 방식의 약간의 응용으로 다른 물체로 대치하는 경우에도 사용될 수 있다. 세 번째 방식으로 특정 물체를 제거하여 배경을 자연스럽게 복원한 후 원래 물체와 유사한 다른 물체를 해당 위치에 배치하게 되면 시각적으로도 자연스러운 유사 영상을 생성할 수 있다.
- 한편 표본 기반 영상 인페인팅은 아직 숙련된 전문가만큼 시각적으로 완벽한 영상 합성을 수행하기엔 부족하다. 이에 따라 발전된 형태의 다른 영상 인페인팅을 적용하는 후속 연구가 필요할 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.