[논문]영상 동영상에서의 효율적인 비사실적 렌더링

손태일; 박경주

doi:10.9717/kmms.2012.15.8.977

영상 동영상에서의 효율적인 비사실적 렌더링
Efficient Non-photorealistic Rendering Technique in Single Images and Video 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.15 no.8, 2012년, pp.977 - 985

손태일 (중앙대학교 첨단영상대학원 영상학과) , 박경주 (중앙대학교 첨단영상대학원 영상학과)

초록
AI-Helper

본 연구에서는 단일영상과 동영상에서의 효율적인 비사실적 렌더링 기법을 제안한다. 단일영상의 경우에는 최근 단일영상 NPR 기법에서 많이 사용되는 플로우 기반 DoG 필터와 Bilateral 필터를 CUDA 환경에서 구현하여 실시간 처리가 가능하게 한다. 또한 동영상의 경우에는 기존의 NPR 동영상 방법인 매 프레임마다 단일영상 NPR 기법을 적용하여 생성하는 방법이 아닌 첫 프레임은 단일영상에 적용되는 NPR기법을 사용하여 스타일화 하고, 다음 프레임부터는 움직임 벡터를 기반으로 한 픽셀 맵핑을 사용하여 이전 프레임에서 움직임이 있는 픽셀의 밝기 값을 다음 프레임의 움직임 벡터 위치로 복사함으로써 불필요한 계산량을 줄이고, 프레임 간의 일관성 또한 유지시키는 방법을 제안한다. 본 연구에서는 실험을 통하여 그 성능을 증명하였다.

Abstract ▼ AI-Helper

The purpose of this study was to present a non-photorealistic rendering technique that is efficient in single images and moving images. In case of single images, they could be processed in a real-time base by realizing flow-based DoG filter and bilateral filter, which have been frequently used in the single image NPR technique recently, in the CUDA environment. In case of moving images, the investigator presented not the existing method of NPR moving images which generating images by applying the single image NPR technique to every frame, but the method of using the single image NPR technique in the first frame and stylizing it, and then of using the motion vector-based pixel mapping in the second frame on and copying the bright values of pixels that move on the frame into the location of next frame's motion vector, thus reducing unnecessary volume of calculation and maintaining the consistency between frames. In this study, the performance of this method was proved via an experiment.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 단일영상의 경우에는 최근 단일영상 NPR 기법에서 많이 사용되는 플로우 기반 DoG 필터와 Bilateral 필터를 CUDA 환경에서 구현하였다. 또한 동영상의 경우에는 기존의 NPR 동영상 방법인 매 프레임마다 단일영상 NPR 기법을 적용하여 생성하는 방법이 아닌 첫 프레임은 단일영상에 적용되는 NPR기법을 사용하여 스타일화 하고, 다음 프레임부터는 움직임 벡터를 기반으로 한 픽셀 맵핑을 사용하여 이전 프레임에서 움직임이 있는 픽셀의 밝기 값을 다음 프레임의 움직임 벡터 위치로 복사함으로써 불필요한 계산량을 줄였고, 프레임 간의 일관성 또한 유지시켰다.
기존의 NPR 동영상은 연속된 각 프레임마다 단일영상 NPR기법을 적용해서 모든 프레임을 연결하여 생성하는 방법들이 제시되어 왔으며, 카툰이나 일러스트레이션 같은 스타일화를 동영상에 적용하면 느린 처리 속도, 반자동화로 인한 수작업, 결과 영상의 튀는 현상이나 플리커링 현상 등 단점들로 인해 사용하기 곤란하였다. 본 연구에서는 불필요한 계산을 줄이고, 프레임 간 일관성을 유지하여 자연스러운 NPR 동영상을 생성하기 위하여 이전 프레임과 현재 프레임의 객체들의 움직임을 추정하고, 움직임이 없는 객체들에 대해서는 이전 프레임에서 연산한 것을 그대로 사용하고, 움직임이 있는 객체들에 대해서는 움직임 정보를 바탕으로 움직인 위치로 픽셀을 맵핑한다.

제안 방법

본 연구에서는 단일영상의 경우에는 최근 단일영상 NPR 기법에서 많이 사용되는 플로우 기반 DoG 필터와 Bilateral 필터를 CUDA 환경에서 구현하였다. 또한 동영상의 경우에는 기존의 NPR 동영상 방법인 매 프레임마다 단일영상 NPR 기법을 적용하여 생성하는 방법이 아닌 첫 프레임은 단일영상에 적용되는 NPR기법을 사용하여 스타일화 하고, 다음 프레임부터는 움직임 벡터를 기반으로 한 픽셀 맵핑을 사용하여 이전 프레임에서 움직임이 있는 픽셀의 밝기 값을 다음 프레임의 움직임 벡터 위치로 복사함으로써 불필요한 계산량을 줄였고, 프레임 간의 일관성 또한 유지시켰다.
본 연구에서는 GPU를 이용하여 Bilateral 필터를 병렬처리 할 수 있도록 설계하여 시간복잡도를 줄인다. 또한 플로우 기반 DoG 필터에서 조금 확장하여 곡률 의존 DoG 필터를 사용하여 NPR 단일영상을 생성한다. 마찬가지로 병렬처리 할 수 있도록 설계하여 시간복잡도를 줄인다.
본 연구에서는 3.1절의 Bilateral 필터와 3.2절에서 소개한 플로우 기반 DoG 필터를 실시간으로 처리하기 위하여 GPU 프로그래밍 언어인 CUDA를 사용한다. 연산에 필요한 데이터와 알고리즘을 그래픽스 하드웨어에 적합하도록 변환한다.
본 연구에서는 GPU를 이용하여 Bilateral 필터를 병렬처리 할 수 있도록 설계하여 시간복잡도를 줄인다. 또한 플로우 기반 DoG 필터에서 조금 확장하여 곡률 의존 DoG 필터를 사용하여 NPR 단일영상을 생성한다.
본 연구에서의 실험결과는 첫 프레임은 ETF를 이용하여 플로우 필드를 생성하고, 플로우 필드를 기반으로 곡률의존 DoG를 적용하여 선의 다양한 두께와 갈라짐을 표현한 NPR기법을 사용하여 스타일화 하였고, 계산량이 많은 NPR기법을 병렬처리 함으로써 실시간 처리가 가능하게 하였다. 실험을 통하여, 그 성능을 증명하였다.
성능을 비교하기 위하여 기존의 플로우 기반 DoG 필터와 Bilateral 필터를 이용한 선 스타일화 방법과 CUDA를 이용한 방법의 수행시간을 비교하였다. 실험을 위하여 CPU는 Intel i5 760 2.
본 연구에서는 Kang et al.이 제안한 Edge tangent flow(ETF)를 이용하여 플로우 기반 DoG 필터를 확장한 곡률 의존 DoG 필터를 적용하여 NPR 영상을 생성한다.
자연스러운 NPR 동영상을 생성하기 위하여 첫 프레임은 단일영상에 적용되는 NPR기법으로 스타일화 하고, 다음 프레임부터는 움직임 정보을 기반으로 객체(전경과 배경)들을 이동하여 NPR 동영상을 생성한다.
블록 검색 방법은 다이아몬드 검색(Diamond Search)[21]을 사용한다. 특정 블록 주변의 검색 변위에 대하여 SAD를 계산하여 움직임 벡터를 추출한다.

대상 데이터

본 논문에서는 그림 3과 같이 256개의 블록과 256개의 쓰레드를 주어 프로그래밍 하였다. 하나의 쓰레드는 하나의 화소를 처리한다.
성능을 비교하기 위하여 기존의 플로우 기반 DoG 필터와 Bilateral 필터를 이용한 선 스타일화 방법과 CUDA를 이용한 방법의 수행시간을 비교하였다. 실험을 위하여 CPU는 Intel i5 760 2.80 GHz, GPU는 NVIDIA 9800GT를 사용하였다.

데이터처리

반복 횟수에 따라서 다른 영상을 얻을 수 있다. 그림 10은 Bousseau의 Texture Advection을 사용하여 동영상을 수채화로 추상화한 연구[17]과 본 연구의 방법으로 추상화 한 결과를 비교하였다. Bousseau는 텍스쳐에 대한 일관성을 유지하기 위해 광류의 선(Optical Flow)을 따라는 텍스쳐 어드벡션(texture advection)을 제안하였지만, 한 프레임 당 어드벡션(Advection)을 구하는데 5초의 시간이 걸린다.

이론/모형

블록 검색 방법은 다이아몬드 검색(Diamond Search)[21]을 사용한다. 특정 블록 주변의 검색 변위에 대하여 SAD를 계산하여 움직임 벡터를 추출한다.
마찬가지로 병렬처리 할 수 있도록 설계하여 시간복잡도를 줄인다. 시간복잡도를 줄이기 위하여 GPU 프로그래밍 기법인 CUDA[18]을 사용한다.
움직임 추정은 블록 매칭 알고리즘[19,20]을 사용한다. 블록 매칭 알고리즘에서 부호화(encoding)될 현재 프레임은 겹치지 않는 블록으로 나누어진 뒤, 각각의 현재 블록과 가장 비슷한 블록을 이전 프레임에서 찾게 된다.

성능/효과

매 프레임에 NPR기법을 적용하여 선을 스타일화 하면 플리커링을 유발하는 영역이 생기지만 본 논문의 연구 방법을 사용하면 보다 자연스럽고 일관성이 유지된 동영상을 생성할 수 있다. 그림 13은 논문 이외의 상용툴인 포토샵의 플러그인으로 사용되는 Toonit를 이용하여 동영상의 첫 프레임만을 생성한 뒤, 본 논문의 방법을 사용하여 생성하였더니 Toonit을 이용하여 생성한 동영상과 비슷한 효과를 낼 수 있었다.
기존 방법보다 약 100～120배 정도 속도가 향상된 것을 볼 수 있다. 기존 방법으로 수행할 때는 영상의 크기가 2배 커질 때마다 전체 수행시간은 4배 이상 늘어나는 반면, 본 연구의 제안된 방법은 영상의 크기가 커져도 수행시간은 거의 차이를 보이지 않는다.
그림 11,12는 동영상 입력을 매 프레임 마다 NPR 기법을 적용하여 추상화한 결과와 움직인 기반을 사용한 추상화 한 본 연구의 결과를 비교하였다. 매 프레임에 NPR기법을 적용하여 선을 스타일화 하면 플리커링을 유발하는 영역이 생기지만 본 논문의 연구 방법을 사용하면 보다 자연스럽고 일관성이 유지된 동영상을 생성할 수 있다. 그림 13은 논문 이외의 상용툴인 포토샵의 플러그인으로 사용되는 Toonit를 이용하여 동영상의 첫 프레임만을 생성한 뒤, 본 논문의 방법을 사용하여 생성하였더니 Toonit을 이용하여 생성한 동영상과 비슷한 효과를 낼 수 있었다.
기존의 방법은 곡률의존 DoG 필터를 매 프레임마다 적용하기 때문에 512×512 동영상 기준으로 960초의 수행시간이 걸린다. 하지만 본 연구의 방법을 이용하면 첫 프레임만 스타일화 하고, 나머지 프레임은 움직임 추정 기반으로 픽셀 맵핑을 하기 때문에 불필요한 계산을 줄이며 보다 효율적이고 빠르게 NPR 동영상을 생성할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	NPR 기법에 사용되는 Bilateral 필터의 단점은 무엇인가?	최근 단일영상 NPR 기법은 Bilateral 필터와 플로우 기반 Difference-of -Gaussian(DoG) 필터를 많이 사용한다. 하지만 Bilateral 필터의 시간복잡도는 O(총픽셀수필터커널사이즈필터커널사이즈)로 커널사이즈가 커질수록 실시간 처리가 어렵다. 또한 플로우 기반 DoG 필터의 경우는 외곽선 플로우 뱡향을 알아내기 위해 계산량이 증가하고, 이를 DoG Filter에 반복적으로 적용하기 때문에 시간이 오래 걸린다.
	NPR 방법은 어느 분야에 활용되는가?	입력된 단일 영상이나 동영상을 사람이 직접 그린듯한 느낌으로 스타일화 하는 NPR 방법은 주요한 부분을 부각하기 위해 과장을 하거나 사소한 부분을 생략하여 표현한다. 이러한 NPR 방법들은 게임, 애니메이션, CF 등과 같은 엔터테인먼트에 뿐만 아니라 설계, 과학적 가시화 등 교육 분야에서도 많이 활용된다.
	NPR의 목적은 무엇인가?	NPR(Non-Photorealistic Rendering)은 인간 친화적인 영상이나 동영상을 생성하기 위해 사람이 손으로 그린 듯한 느낌의 영상 생성을 목적으로 한다. 입력된 단일 영상이나 동영상을 사람이 직접 그린듯한 느낌으로 스타일화 하는 NPR 방법은 주요한 부분을 부각하기 위해 과장을 하거나 사소한 부분을 생략하여 표현한다.

참고문헌 (21)

J. Canny, "A Computational Approach to Edge Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-8, Issue 6, pp. 679-698, 1986.

상세보기
C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. of the 1998 IEEE International Conference on Computer Vision. pp. 839-846, 1998.
D. Decarlo and A. Santella, "Stylization and Abstraction of Photographs." ACM TOG (Proceedings of SIGGRAPH 2002) , pp. 769-776, 2002.
A. Orzan, A. Bousseau, P. Barla, and J. Thollot, "Structure-preserving Manipulation of Photographs," Proc. Non-Photorealistic Animation and Rendering, pp. 103-110, 2007.
H. Kang, S. Lee, and C. Chui, "Coherent Line Drawing," Proc. NPAR (2007) , pp. 43-50. 2007.
H. Kang, S. Lee, and C. Chui, "Flow-Based Image Abstraction," IEEE Transactions on Visualization and Computer Graphics, Vol. 15, Issue 1, pp. 62-76, 2009.

상세보기
H. Kang, and S. Lee, "Shape-Simplifying Image Abstraction," Computer Graphics Forum, Vol. 27, Issue 7, pp. 1773-1780, 2008.

상세보기
J. E. Kyprianidis, and J. Dollner, "Image Abstraction by Structure Adaptive Filtering," Proc. EG UK Theory and Practice of Computer Graphics, Eurographics Association, pp. 51-58. 2008.
H. Kang, C. Chui, and U. Chakraborty, "A Unified Scheme for Adaptive Stroke-based Rendering," The Visual Computer, Vol. 2, No. 9, pp. 814-824, 2006.
H. Winnemoller, S. C. Olsen, and B. Gooch, "Real-Time Video Abstraction," SIGGRAPH '06: ACM SIGGRAPH 2006 Papers, pp. 1221-1226, 2006.
B. Gooch, E. Reinhard, and A. Gooch, "Human Facial Illustrations: Creation and Psychophysical evaluation," ACM Trans. Graph., Vol. 23, Issue 1, pp. 27-44, 2004.

상세보기
M. Son, H. Kang, and Y. Lee, "Abstract Line Drawings from 2D Images," Proc. of the IEEE Pacific Conference on Computer Graphics and Applications (PG'07) , pp. 333-342. 2007.
P. Litwinowicz, "Processing Images and Video for an Impressionist Effect," SIGGRAPH' 97, pp. 407-414, 1997.
A. Hertzmann, and K. Perlin "Painterly Rendering for Video and Interaction," NPAR'2000, pp. 7-12, 2000.
A. Hertzmann, "Fast Paint Texture," NPAR' 2000, pp. 91-96, 2002.
J. Hays, and I. Essa, "Image and Video Based Painterly Animation," NPAR'2004, pp. 113-120, 2004.
A. Bousseau, F. Neyret, J. Thollot, and D. Salesin, "Video Watercolorization using Bidirectional Texture Advection," ACM Transactions on Graphics, Vol. 26, No. 3, pp 104, 2007.

상세보기
계희원, 김준호, "GPGPU 환경에서 최대휘소투영 렌더링의 고속화 방법," 멀티미디어학회논문지, 제14권, 제8호, pp.981-991, 2011.

원문보기 상세보기
Jianhua Lu and Ming L. Liou, "A Simple and Efficent Search Algorithm for Block-Matching Motion Estimation," IEEE Trans. Circuits And Systems For Video Technology, Vol. 7, No. 2, pp. 429-433, 1997.

상세보기
박성모, 유태경, 정용재, 문광석, 김종남, "움직임 벡터의 분포와 적응적인 탐색 패턴 및 매칭기준을 이용한 유사 무손실 고속 움직임 예측 알고리즘," 멀티미디어학회논문지, 제13권, 제7호, pp. 991-999, 2010.

원문보기 상세보기
Shan Zhu and Kai-Kuang Ma, "A New Diamond Search Algorithm for Fast Block- Matching Motion Estimation," IEEE Transactions on Image Processing, Vol. 9, No. 2, PP. 292-296, 2000.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증