멀티미디어 산업의 발달과 함께 디지털 콘텐츠 시장의 확산을 가져오고 있다. 그 중 인터넷 만화와 같은 디지털 만화 시장의 확장은 급속하게 커지고 있어서, 콘텐츠의 부족과 다양성 때문에 동영상 카투닝에 대한 연구가 계속되고 있다. 지금까지는 동영상 카투닝은 비사실적 렌더링과 말풍선에 초점이 맞추어졌으나, 이러한 것들을 적용하기 위해서는 카투닝 서비스에 적합한 프레임 추출이 우선시 되어야만 한다. 기존의 방법으로는 동영상의 장면전환이 일어나는 샷(shot)안의 프레임을 추출하여, 사용자가 지정한 영역을 임의의 색상으로 렌더링(Rendering)하는 시스템이 있다. 하지만 이러한 방법은 사람의 손을 거치는 반자동적인 방법으로서 정확한 프레임 추출을 위해 사람의 손을 거쳐야하는 단점이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하고, 보다 정확한 카투닝에 적용할 프레임을 추출하기 위해 오디오 및 비디오 분리를 통한 방법을 제안한다. 먼저 동영상으로부터 오디오와 비디오를 분리한다. 오디오는 먼저 MFCC와 영교차율의 특징을 추출하고, 이 특징 정보를 미리 학습된 데이터와 GMM 분류기를 통하여 음악, 음성, 음악+음성으로 분류한 후 음성 영역을 설정한다. 비디오는 히스토그램을 이용한 방법과 같은 일반적인 장면전환 프레임을 추출 후 얼굴 검색을 통해서 만화에서 의미가 있는 프레임을 추출한다. 그 후 음성 영역내에 얼굴이 존재하는 장면전환 프레임이나 일정 시간동안 음성이 지속되는 영역 중 장면전환 프레임을 추출하여 동영상 카투닝에 적합한 프레임을 자동으로 추출한다.
멀티미디어 산업의 발달과 함께 디지털 콘텐츠 시장의 확산을 가져오고 있다. 그 중 인터넷 만화와 같은 디지털 만화 시장의 확장은 급속하게 커지고 있어서, 콘텐츠의 부족과 다양성 때문에 동영상 카투닝에 대한 연구가 계속되고 있다. 지금까지는 동영상 카투닝은 비사실적 렌더링과 말풍선에 초점이 맞추어졌으나, 이러한 것들을 적용하기 위해서는 카투닝 서비스에 적합한 프레임 추출이 우선시 되어야만 한다. 기존의 방법으로는 동영상의 장면전환이 일어나는 샷(shot)안의 프레임을 추출하여, 사용자가 지정한 영역을 임의의 색상으로 렌더링(Rendering)하는 시스템이 있다. 하지만 이러한 방법은 사람의 손을 거치는 반자동적인 방법으로서 정확한 프레임 추출을 위해 사람의 손을 거쳐야하는 단점이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하고, 보다 정확한 카투닝에 적용할 프레임을 추출하기 위해 오디오 및 비디오 분리를 통한 방법을 제안한다. 먼저 동영상으로부터 오디오와 비디오를 분리한다. 오디오는 먼저 MFCC와 영교차율의 특징을 추출하고, 이 특징 정보를 미리 학습된 데이터와 GMM 분류기를 통하여 음악, 음성, 음악+음성으로 분류한 후 음성 영역을 설정한다. 비디오는 히스토그램을 이용한 방법과 같은 일반적인 장면전환 프레임을 추출 후 얼굴 검색을 통해서 만화에서 의미가 있는 프레임을 추출한다. 그 후 음성 영역내에 얼굴이 존재하는 장면전환 프레임이나 일정 시간동안 음성이 지속되는 영역 중 장면전환 프레임을 추출하여 동영상 카투닝에 적합한 프레임을 자동으로 추출한다.
While the broadband multimedia technologies have been developing, the commercial market of digital contents has also been widely spreading. Most of all, digital cartoon market like internet cartoon has been rapidly large so video cartooning continuously has been researched because of lack and variet...
While the broadband multimedia technologies have been developing, the commercial market of digital contents has also been widely spreading. Most of all, digital cartoon market like internet cartoon has been rapidly large so video cartooning continuously has been researched because of lack and variety of cartoon. Until now, video cartooning system has been focused in non-photorealistic rendering and word balloon. But the meaningful frame extraction must take priority for cartooning system when applying in service. In this paper, we propose new automatic frame extraction method for video cartooning system. At frist, we separate video and audio from movie and extract features parameter like MFCC and ZCR from audio data. Audio signal is classified to speech, music and speech+music comparing with already trained audio data using GMM distributor. So we can set speech area. In the video case, we extract frame using general scene change detection method like histogram method and extract meaningful frames in the cartoon using face detection among the already extracted frames. After that, first of all existent face within speech area image transition frame extract automatically. Suitable frame about movie cartooning automatically extract that extraction image transition frame at continuable period of time domain.
While the broadband multimedia technologies have been developing, the commercial market of digital contents has also been widely spreading. Most of all, digital cartoon market like internet cartoon has been rapidly large so video cartooning continuously has been researched because of lack and variety of cartoon. Until now, video cartooning system has been focused in non-photorealistic rendering and word balloon. But the meaningful frame extraction must take priority for cartooning system when applying in service. In this paper, we propose new automatic frame extraction method for video cartooning system. At frist, we separate video and audio from movie and extract features parameter like MFCC and ZCR from audio data. Audio signal is classified to speech, music and speech+music comparing with already trained audio data using GMM distributor. So we can set speech area. In the video case, we extract frame using general scene change detection method like histogram method and extract meaningful frames in the cartoon using face detection among the already extracted frames. After that, first of all existent face within speech area image transition frame extract automatically. Suitable frame about movie cartooning automatically extract that extraction image transition frame at continuable period of time domain.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 카투닝을 위해서는 우선 적정한 프레임 추출이 우선이다. 따라서 본 논문에서는 동영상에서 비디오의 얼굴 검출과 오디오의 음성영역 추출을 이용하여 동영상 카투닝에 적합한 자동적 프레임 추출 방법을 제안했다는 점에서 새로운 연구 방향이라고 할 수 있다.
지금까지의 동영상 카투닝은 비사실적 렌더링과 말풍선에 초점이 맞춰졌고, 카투닝을 위한 프레임 추출인 기본적인 장면전환 프레임 추출에 대해서는 기존연구가 진행되지 않았다. 즉, 기존 연구는 영화를 화면에 만 화화 하는 것이 주목적 이었다면, 본 논문에서는 비실사 렌더링을 하기 전 프레임 추출을 위한 기초연구가 목적이다. 기존의 카투닝을 위한 장면전환 프레임 추출은 사용자에 의한 반자동 적인 방법을 사용하였다.
제안 방법
각각의 포인트(비디오나 이미지의 픽셀)에서 비슷한 포인트 간의 지역적인 조밀도를 바탕으로 결과를 추측한다. 즉 Mean-Shift 알고리즘은 비슷한 데이터들 간의 지역적인 조밀도의 변화도(Gradient)를 추측한다.
이는 크기성분을 살리고 위상성분을 버려서 화자의 입과 입력디바이스(마이크 등) 간의 거리 변화에 덜 민감하게 한다. 그 후 IDFT(Inverse Discrete Fourier Transform)를 통하여 MFCC를 구한다. k번째 Mel Filter Bank를 통과한 신호를 S[k]라고 할 경우, 식 (6)과 같이 표현된다.
그리고 Preu 등은 동영상의 대본을 이용하여 장면(Scene)에 대한 시간 및 특징정보를 미리 구성한다. 그리고 이 정보를 통하여 말풍선의 형태정보를 구성한 후 장면의 시작점으로부터 얼굴이 검출된 프레임에 말풍선들을 반자동으로 렌더링 하는 시스템을 제안하였다[5].
따라서 영화의 장르에 따라 구분지어 오분류 확률을 조사 하였다. 단 테스트에 사용한 영화들은 사람을 주인공으로 하는 영화들을 10분씩 실험에 사용하였다.
이러한 카투닝 시스템의 요구사항들을 만족시키기 위해서 일반적인 장면전환 검출 후 얼굴이 검출되는 프레임과 대화가 이루어지는 시점의 프레임을 추출하여 본 논문에서 제시하는 조건에 맞추어 카투닝 시스템을 구성하였다. 따라서 기존에 사람이 직접 수동으로 장면 전환점으로부터 프레임을 추출하는 방법에서 벗어나 카투닝에 의미 있는 프레임을 추출하여 사용함으로써 만화의 이야기 전개가 자연스럽게 이루어지도록 하였다.
따라서 본 논문에서는 기존의 방법대로 장면전환 검출 후 얼굴 검출을 이용한 비디오 필터링과 음성 검출을 이용한 오디오 필터링 기법을 제시하는 조건에 맞추어 효과적인 자동 카투닝 시스템을 구축하였다.
영상마다 오분류가 되는 확률은 영상의 화면 구도 및 영상 효과, 영화감독의 촬영 기법 등에 의해서 다르게 나온다. 따라서 영화의 장르에 따라 구분지어 오분류 확률을 조사 하였다. 단 테스트에 사용한 영화들은 사람을 주인공으로 하는 영화들을 10분씩 실험에 사용하였다.
각 콘텐츠 중 처음과 끝부분의 묵음 부분이 3초 이상 존재하는 경우 그 부분은 제외 하였다. 또한 샘플 주파수를 통일하기 위하여 16kHz 이상 되는 콘텐츠는 다운샘플링을 통하여 주파수를 일치 시켰다. 한 프레임의 크기는 25ms이며 12.
장면전환 검출을 하기 위해서 기존의 방법은 영상이 변화하는 시점을 이용하여 추출하였다. 또한 카투닝을 하기 위해서는 장면전환 프레임 중 사용자가 직접 선택하여 카투닝에 사용하였다. 그러나 시스템 자동화라는 측면에서 적합하지 않고, 이야기 전개가 이루어지는 시점을 찾아서 사용자가 프레임을 직접 추출하는 것은 시스템에 적합하지 않다.
제안하는 시스템에서는 동영상 카투닝을 위한 장면 전환 알고리즘을 적용하기 위해서 먼저 동영상으로부터 오디오와 비디오로 각각 추출한다. 먼저 오디오로부터 특징을 추출 후 구성된 데이터베이스를 이용하여 테스트 하고자 하는 콘텐츠의 음성 영역을 추출한다.
본 논문에서 오디오 신호의 음성/음악 분류를 위하여 MFCC(Mel-Frequency Cepstral Coefficient)과 영교차율(ZCR: Zero-Crossing Rate)의 조합을 이용하여 분류하였다. 두 특징들 간의 상호조합이 가장 양호한 결과를 생성한다[9].
본 논문에서는 26개의 필터로 구성된 필터뱅크로 필터링을 하였으며 분류항목의 특징을 가장 잘 나타내는 2개의 계수값을 이용하였다. 선별된 계수값의 변화를 살펴보면 음성, 음성+음악, 음악 순으로 변화를 보였다[9].
본 논문에서는 말풍선이 필요한 장면인데 프레임 추출을 하지 않는 경우를 오분류로 분류하였다. 영상마다 오분류가 되는 확률은 영상의 화면 구도 및 영상 효과, 영화감독의 촬영 기법 등에 의해서 다르게 나온다.
이러한 카투닝 시스템의 요구사항들을 만족시키기 위해서 일반적인 장면전환 검출 후 얼굴이 검출되는 프레임과 대화가 이루어지는 시점의 프레임을 추출하여 본 논문에서 제시하는 조건에 맞추어 카투닝 시스템을 구성하였다. 따라서 기존에 사람이 직접 수동으로 장면 전환점으로부터 프레임을 추출하는 방법에서 벗어나 카투닝에 의미 있는 프레임을 추출하여 사용함으로써 만화의 이야기 전개가 자연스럽게 이루어지도록 하였다.
장면전환 검출을 하기 위해서 기존의 방법은 영상이 변화하는 시점을 이용하여 추출하였다. 또한 카투닝을 하기 위해서는 장면전환 프레임 중 사용자가 직접 선택하여 카투닝에 사용하였다.
제안하는 시스템에서는 동영상 카투닝을 위한 장면 전환 알고리즘을 적용하기 위해서 먼저 동영상으로부터 오디오와 비디오로 각각 추출한다. 먼저 오디오로부터 특징을 추출 후 구성된 데이터베이스를 이용하여 테스트 하고자 하는 콘텐츠의 음성 영역을 추출한다.
특징 파라미터 θ로는 영교차율과 MFCC를 사용하였으며 MFCC 특징 파라미터는 각 분류항목 특징을 가장 잘 나타낼 수 있는 2개의 계수값(1, 2차)을 선별하여 사용하였다.
대상 데이터
오디오 데이터는 각각 10분 분량의 영화 콘텐츠 30편, 공중파 드라마 15편, 음악 방송 15편, 뉴스 10편 및 3분 분량의 기타 음악파일로 구성하였다. 각 콘텐츠 중 처음과 끝부분의 묵음 부분이 3초 이상 존재하는 경우 그 부분은 제외 하였다.
또한 샘플 주파수를 통일하기 위하여 16kHz 이상 되는 콘텐츠는 다운샘플링을 통하여 주파수를 일치 시켰다. 한 프레임의 크기는 25ms이며 12.5ms씩 이동시켜가며 특징 파라미터를 추출하였다. 특징 파라미터 θ로는 영교차율과 MFCC를 사용하였으며 MFCC 특징 파라미터는 각 분류항목 특징을 가장 잘 나타낼 수 있는 2개의 계수값(1, 2차)을 선별하여 사용하였다.
이론/모형
가우시안 혼합모델의 훈련과정에서는 MLE(Max -imum Likelihood Estimation) 알고리즘을 이용하여 최대 가우시안 혼합 분포 값을 가지는 파라미터를 추정하였다. 음성과 음악의 인식 과정에서는 추정된 파라미터를 이용하여, 입력된 신호 데이터의 특징 벡터에 대해 각각의 가우시안 혼합 분포를 구하고, 그 중 가장 큰 확률 값을 가지는 파라미터를 인식 결과로 표현할 수 있다.
두 특징들 간의 상호조합이 가장 양호한 결과를 생성한다[9]. 또한 오디오 신호의 분류 결정은 훈련된 데이터베이스에 대해 학습시킨 분류항목별 가우시안 혼합 모델(GMM: Gaussian Mixture Model)을 적용하여 그 중 최대 확률을 가지는 것을 선택하였다.
그러나 이것은 인종이나 사람 피부색의 차이가 존재하기 때문에 한계가 있다. 본 논문에서는 Viola[10] 및 Lienhart[8] 등이 제안한 하르분류기(Harr Classifier)를 통한 Adaboost 알고리즘을 사용하여 얼굴이 검출된 프레임을 추출 하였다.
분류기에 사용하는 알고리즘으로 가우시안 혼합 모델을 사용하였다. 가우시안 혼합 모델은 특징 벡터의 분포를 몇 개의 가우시안의 가중치 합으로 모델링 하는 것이다.
영상 내 얼굴 검출을 위해 [그림 4]와 같은 특징들을 사용하는데 있어 연산 속도를 증가시키기 위해 Viola 등은 적분영상(Integral Image)을 사용하였다. 적분영상은 영상의 어떤 한 위치 x, y에 대해 픽셀들의 밝기 값의 합을 나타낸다.
성능/효과
액션/SF 영화와 같이 움직임이 빠르고 배경음악을 많이 사용하는 영화에서는 오분류율이 높아진다. 그러나 기존의 얼굴검출만으로 프레임을 추출하는 방법에 비해 제안한 방법의 오분류율이 적어짐을 확인할 수 있다.
동영상 카투닝에서 ①은 프레임이 추출되면 안 되고 ②는 추출되어야만 하는 프레임이다. 기존의 얼굴검출을 기반으로 한 동영상 카투닝과 달리 본 알고리즘을 적용 시에는 ②~⑨ 까지 보다 적절한 프레임을 추출하였다.
후속연구
향후 연구방향으로는 본 논문에서 제시한 프레임 추출 방법을 위한 조건을 좀 더 확장하고, 영화 혹은 드라마의 사건이 일어날 장소를 미리 보여주는 인물도 음성도 없지만 이야기 전개상 꼭 필요한 장면에 대한 자동적 추출 방법에 대해 더욱 연구해야 한다. 또한 음성영역 추출의 결과를 보다 정밀하게 하여 동영상 카투닝에 보다 절적한 프레임 추출을 할 수 있도록 연구할 예정에 있다.
본 논문에서 제안하는 동영상 카투닝을 위해서는 비디오 및 오디오 추출의 결과를 통한 조건적 영상 프레임의 추출이 필요하다. 프레임 추출을 위한 조건은 다음과 같다.
향후 연구방향으로는 본 논문에서 제시한 프레임 추출 방법을 위한 조건을 좀 더 확장하고, 영화 혹은 드라마의 사건이 일어날 장소를 미리 보여주는 인물도 음성도 없지만 이야기 전개상 꼭 필요한 장면에 대한 자동적 추출 방법에 대해 더욱 연구해야 한다. 또한 음성영역 추출의 결과를 보다 정밀하게 하여 동영상 카투닝에 보다 절적한 프레임 추출을 할 수 있도록 연구할 예정에 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
얼굴 검출을 이용한 필터링은 어떤 경우에 문제점을 가지는가?
① 주인공의 대사가 없는데 주변인물의 얼굴 때문에 장면 프레임이 검출되는 경우
② 주인공이 화면에 존재하며 뒷모습을 보이고 대사 하는 경우
장면전환점을 찾기 위한 방법에는 무엇이 있는가?
① 인접프레임의 변화량을 이용하여 픽셀 값의 차이를 비교하는 방법
② 히스토그램(Histogram) 차이를 비교하는 방법
③ 에지를 추출하여 비교하는 방법
④ 인접한 블록사이의 유사도를 비교하는 방법
⑤ DCT(Discrete Cosine Transform) 계수나 모션 벡터를 비교하는 방법
기존의 영상 데이터에서 장면 전환점을 찾기 위해 어떤 기법이 주로 사용되었는가?
기존의 영상 데이터에서 장면 전환점을 찾기 위해서 키프레임을 추출하는 기법이 주로 사용된다. 이 프레임은 동영상을 가장 효율적으로 대표하는 장면들로 구성 되어 있다.
류동성, 조환규, "HSV 색상 모델과 영역 확장 기법을 이용한 동영상 프레임 이미지의 흑백 만화 카투닝 알고리즘", 정보과학회논문지 : 시스템 및 이론, 제35권, 제12호, pp.560-567, 2008.
W. I. Hwang, P. J. Lee, B. K. Chun, D. S. Ryu, and H. G. Cho, "Cinema Comics : Cartoon Generation From Video Stream," In Proc. of GRAPP, pp.299-304, 2006.
J. Preu and J. Loviscach, "From movie to comic, informed by the screenplay," In SIGGRAPH 2007:ACM SIGGRAPH posters, p.99, 2007.
D. Kurlander, T. Skelly, and D. Salesin, "Comic chat," In Proceedings of SIGGRAPH, ACM Press, pp.225-236, 1996.
B. K. Chun, D. S. Ryu, W. I. Hwang, and H. G. Cho, "An automated procedure for word balloon placement in cinema comics," The 2nd International Symposium on Visual Computing, pagesII, pp.576-585, 2006.
R. Lienhart and J. Maydt, "An Extended Set of Harr-like Features for Rapid Object Detection," IEEE ICIP, pp.900-903, 2002.
이경록, 류시우, 곽재영, "실험에 의한 음성？음악 분류 특징의 비교", 한국콘텐츠학회 추계종합학술대회 논문집, 제2권, 제2호, pp.308-313, 2004.
P. Viola and M. J. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE CVPR, Vol.1, pp.511-518, 2001.
G. Bradski and A. Kaehler, "Learning OpenCV: Computer Vision with the OpenCV Library," Cambridge, MA: O'Reilly, 2008.
S. U. Jung, "Effiecient Rectangle Feature Extraction for Real-time Facial Expression Recognition based on AdaBoost," Master's Thesis, Korea Advanced Institue of Science and Technology, 2005.
K. G. Derpanis, "Integral image-based representations," Technical report, Department of Computer Science and Engineering, York University, 2007.
이원오, 이의철, 박강령, 이희경, 박민식, 이한규, 홍진우, "얼굴 및 눈 위치 추적을 통한 IPTV 화면 인터페이스 제어에 관한 연구", 한국통신학회논문지, 제35권, 제6호, pp.859-993, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.